Critérios e diretivas para revisão - Trilha 4

Trilha 4 - Recursos e ambientes educacionais

Diretrizes para avaliar anonimização

O EduComp adota um processo de revisão com anonimização dupla. Nestes casos, os artigos submetidos devem omitir qualquer informação que permita a identificação de seus autores, tais como:

  • Informações de autoria. O artigo não deve incluir nome e filiação dos autores, nem outras informações que permitam a identificação dos autores, tais como nome do local da intervenção, identificação de projetos ou informações sobre financiamento;
  • Referências a trabalhos anteriores dos autores. Trabalhos anteriores devem ser apresentadas em terceira pessoa (por exemplo, usar "no trabalho de Fulano et al.” em vez de "em nosso trabalho"), ou de forma anonimizada (por exemplo, [referência omitida]);
  • Links para artefatos relacionados ao trabalho. O artigo deve apontar para repositórios ou websites que não permitam a identificação do nome ou da instituição dos autores. Sugestão: serviço Anonymous GitHub.

Todas as informações de autoria devem ser omitidas do texto. Apresentar as informações de autoria e mascará-las com formatação diferente da SBC (por exemplo, letra preta em fundo preto, ou letra branca em fundo branco) não é o mesmo que omitir, pois diferentes aplicativos de visualização de PDF podem apresentar essas informações em formatos mais explícitos; ou as pessoas revisoras podem ver as informações pessoais ao copiar e colar trechos do artigo para verificação de fatos no momento da revisão.

Diretrizes para avaliar escopo e aderência

Como a Educação em Computação é uma área interdisciplinar, em alguns casos, classificar a aderência de artigos pode levar a certas dúvidas. De regra geral, o manuscrito deve apresentar uma contribuição para a formação de pessoas na área de Computação. Dessa forma, ficam fora do escopo do EduComp:

  • Artigos que enfocam mais no desenvolvimento de ferramentas computacionais educativas (Informática na Educação) do que na formação do ser humano em uma área da Computação.
  • Artigos que enfocam na formação em outras áreas do conhecimento, tais como Geografia, Matemática, Letramento Digital, etc. Por outro lado, podem fazer parte do escopo, artigos que relatam projetos de pesquisa e extensão executados por estudantes de Computação atuando na educação de outras áreas de conhecimento, mas desde que o trabalho enfoque como o projeto promoveu uma melhor formação dos estudantes de Computação, e não do público que recebeu formação sobre outra área de conhecimento.

Diretrizes sobre os critérios do formulário de avaliação

O processo de revisão dos artigos do EduComp inova ao solicitar feedback específico, tanto quantitativo como qualitativo, para diferentes critérios de revisão:

  • Em termos quantitativos, os revisores devem pontuar cada artigo de acordo com vários critérios em uma escala variando de "Discordo Totalmente" a "Concordo Totalmente" (1 a 4) descritos a seguir.
  • Para os itens de 2 a 8, os revisores deverão oferecer feedback qualitativo que justifique a nota atribuída ao respectivo critério. Esse feedback visa melhorar a qualidade das revisões, provendo avaliação específica aos critérios próprios para cada um dos cinco tipos de artigos esperados pelo EduComp.

Os trabalhos sobre recursos e ambientes educacionais (Trilha 4) deverão ser avaliados conforme os seguintes critérios, em formulário via JEMS3:

  1. Aderência ao tema, à trilha e aos tópicos de interesse do EduComp: O artigo apresenta recurso didático, ambiente ou plataforma para educação em computação? Deve ficar claro como o artefato pode ser usado em processos de ensino e aprendizagem em Computação, com informações sobre como adotar ou adaptar o artefato em outros contextos e instituições.
  2. Contribuição para a área: Como você avalia a contribuição para a área de educação em computação, considerando o potencial de impacto do recurso ou ambiente?
  3. Apresentação do recurso / ambiente: O recurso ou ambiente está bem-apresentado, contemplando a motivação para o seu desenvolvimento, objetivos, conteúdo, principais componentes e funcionalidades ilustradas por telas, contexto de uso, público-alvo, tecnologias utilizadas e licença?
  4. Análise de similares: O trabalho é posicionado / comparado com recursos ou ambientes similares?
  5. Fundamentos teóricos e/ou pedagógicos: O recurso ou ambiente tem sua concepção embasada em fundamentos teóricos e/ou pedagógicos?
  6. Replicabilidade: Como você avalia a possibilidade do uso do recurso ou ambiente por outro(a)s educadores(as)?
  7. Qualidade e organização textual: Como você avalia a qualidade do texto (incluindo figuras e tabelas), considerando clareza, coerência, coesão, ortografia, gramática e formatação, conforme o modelo SBC?
  8. Recomendação para o artigo: De maneira geral, qual o seu julgamento a respeito do artigo? Com base nos critérios avaliados, ele deve ser publicado?
  9. Familiaridade do(a) avaliador(a) com o tema do artigo: Qual é o conhecimento que você tem sobre o tema abordado pelo artigo?

Diretrizes para avaliar artigos sobre recursos e ambientes educacionais

Os artigos sobre recursos didáticos ou sobre ambientes ou plataformas para educação em computação devem descrever cuidadosamente um recurso ou ambiente educacional e seu contexto, e fornecer uma rica reflexão sobre a sua aplicação. Todos os artigos nesta trilha devem fornecer detalhes suficientes para que outros possam adotar a inovação descrita no artigo.

Para um artigo nesta trilha, eis alguns fatores-chave a serem trazidos pelos autores e avaliados pelos revisores:

  1. O artefato apresentado é de interesse para o público do EduComp? Deve ficar claro como o artefato pode ser usado em processos de ensino e aprendizagem em Computação, com informações sobre como adotar ou adaptar o artefato em outros contextos e instituições.
  2. O artefato é fundamentado em teorias de aprendizagem? Deve-se explicar os fundamentos pedagógicos que orientam as decisões de design, interação e apresentação dos conteúdos.
  3. O artefato é apresentado em detalhes que ilustrem seu uso e sua aplicação educacional? Devem ser incluídos: objetivo, motivação, funcionalidades ilustradas por telas, contexto de uso, público-alvo, tecnologias utilizadas, licença.
  4. Artefatos similares:
    1. São citados artefatos similares (protótipos ou produtos prontos) que tenham objetivos similares e/ou abordem temas similares? Caso contrário, uma boa revisão deve indicar artefatos similares não mencionados. Simplesmente dizer “A seção de trabalhos relacionados está incompleta” não é suficiente.
    2. Os autores descrevem claramente a relação entre os artefatos similares e o artefato apresentado? Deve-se descrever de que forma o artefato apresentado se baseia em trabalhos prévios e de que maneira ele é diferente, ou seja, traz uma nova contribuição.
  5. As observações e/ou descobertas relacionadas ao uso do artefato estão claramente apresentadas? Essas descobertas devem ser discutidas, incluindo:
    1. Relação / comparação com trabalhos prévios;
    2. Implicações dos resultados para uso futuro;
    3. Implicações dos resultados para o ensino e aprendizagem;
    4. Limitações do artefato.