Critérios e diretivas para revisão - Trilha 1

Trilha 1 - Artigos de pesquisa

Diretrizes para avaliar anonimização

O EduComp adota um processo de revisão com anonimização dupla. Nestes casos, os artigos submetidos devem omitir qualquer informação que permita a identificação de seus autores, tais como:

  • Informações de autoria. O artigo não deve incluir nome e filiação dos autores, nem outras informações que permitam a identificação dos autores, tais como nome do local da intervenção, identificação de projetos ou informações sobre financiamento;
  • Referências a trabalhos anteriores dos autores. Trabalhos anteriores devem ser apresentadas em terceira pessoa (por exemplo, usar "no trabalho de Fulano et al.” em vez de "em nosso trabalho"), ou de forma anonimizada (por exemplo, [referência omitida]);
  • Links para artefatos relacionados ao trabalho. O artigo deve apontar para repositórios ou websites que não permitam a identificação do nome ou da instituição dos autores. Sugestão: serviço Anonymous GitHub.

Todas as informações de autoria devem ser omitidas do texto. Apresentar as informações de autoria e mascará-las com formatação diferente da SBC (por exemplo, letra preta em fundo preto, ou letra branca em fundo branco) não é o mesmo que omitir, pois diferentes aplicativos de visualização de PDF podem apresentar essas informações em formatos mais explícitos; ou as pessoas revisoras podem ver as informações pessoais ao copiar e colar trechos do artigo para verificação de fatos no momento da revisão.

Diretrizes para avaliar escopo e aderência

Como a Educação em Computação é uma área interdisciplinar, em alguns casos, classificar a aderência de artigos pode levar a certas dúvidas. De regra geral, o manuscrito deve apresentar uma contribuição para a formação de pessoas na área de Computação. Dessa forma, ficam fora do escopo do EduComp:

  • Artigos que enfocam mais no desenvolvimento de ferramentas computacionais educativas (Informática na Educação) do que na formação do ser humano em uma área da Computação.
  • Artigos que enfocam na formação em outras áreas do conhecimento, tais como Geografia, Matemática, Letramento Digital, etc. Por outro lado, podem fazer parte do escopo, artigos que relatam projetos de pesquisa e extensão executados por estudantes de Computação atuando na educação de outras áreas de conhecimento, mas desde que o trabalho enfoque como o projeto promoveu uma melhor formação dos estudantes de Computação, e não do público que recebeu formação sobre outra área de conhecimento.

Diretrizes sobre os critérios do formulário de avaliação

O processo de revisão dos artigos do EduComp inova ao solicitar feedback específico, tanto quantitativo como qualitativo, para diferentes critérios de revisão:

  • Em termos quantitativos, os revisores devem pontuar cada artigo de acordo com vários critérios em uma escala variando de "Discordo Totalmente" a "Concordo Totalmente" (1 a 4) descritos a seguir.
  • Para os itens de 2 a 9, os revisores deverão oferecer feedback qualitativo que justifique a nota atribuída ao respectivo critério. Esse feedback visa melhorar a qualidade das revisões, provendo avaliação específica aos critérios próprios para cada um dos cinco tipos de artigos esperados pelo EduComp.

Os artigos de pesquisa (Trilha 1) deverão ser avaliados conforme os seguintes critérios, em formulário via JEMS3:

  1. Aderência: Trata-se de um artigo de pesquisa científica em educação em computação?
  2. Trabalhos Relacionados: O artigo está fundamentado em trabalhos prévios relevantes?
  3. Teoria: O artigo baseia-se em teoria(s) quando apropriado?
  4. Metodologia: O trabalho descreve seus métodos e/ou inovações suficientemente para replicação ou metanálise, para que outros entendam como os dados foram obtidos, analisados e interpretados ou como a inovação funciona?
  5. Consistência e coerência: Os métodos e/ou inovações utilizados abordam de forma sólida as questões de pesquisa do trabalho?
  6. Impacto: O artigo promove o avanço do conhecimento em educação em computação?
  7. Implicações: O artigo discute os resultados e sumariza de modo claro as contribuições, implicações e limitações do trabalho?
  8. Apresentação: O texto do artigo é escrito adequadamente, considerando estruturação, clareza, coerência, coesão, ortografia, gramática e formatação (incluindo figuras e tabelas)?
  9. Recomendação: Com base nos critérios acima, o artigo deve ser publicado no EduComp?
  10. Familiaridade do(a) avaliador(a) com o tema do artigo: Os revisores descrevem o nível de conhecimento que têm sobre o tema abordado pelo artigo.
  11. Familiaridade do(a) avaliador(a) com os métodos do artigo: Os revisores descrevem o nível de conhecimento que têm sobre os métodos usados no artigo.

Diretrizes para avaliar artigos de pesquisa

Os artigos de pesquisa submetidos devem descrever uma pesquisa de base empírica em educação em computação. Devem seguir padrões rigorosos, descrevendo hipóteses ou questões de pesquisa, métodos e resultados típicos de estudos de pesquisa. Normalmente, concentram-se em tópicos relevantes para a educação em computação, com ênfase em:

  • objetivos educacionais e unidades/tópicos de conhecimento relevantes para a educação em computação;
  • métodos ou técnicas em educação em computação;
  • avaliação de abordagens pedagógicas;
  • estudos das diferentes populações envolvidas na educação de computação, incluindo (mas não se limitando a) alunos e professores, além de questões de gênero, diversidade e subrepresentação.

São também aceitos artigos de replicação e artigos que apresentem resultados que não confirmam as hipóteses ou mesmo resultados inesperados que atendam aos critérios a seguir.

Para um artigo típico desta categoria, eis alguns fatores-chave a serem trazidos pelos autores e avaliados pelos revisores:

  1. Há uma ou mais questões de pesquisa claramente definidas? Já que o artigo será organizado em torno delas, normalmente é bom colocá-las no resumo e na primeira seção do artigo.
  2. As questões são de interesse do público do EduComp?
  3. Trabalhos relacionados
    1. Os trabalhos relevantes estão incluídos? Caso contrário, o(a) revisor(a) deve fornecer referências ao material ausente. Simplesmente dizer “A seção de trabalhos relacionados está incompleta” não é suficiente.
    2. Os autores descrevem claramente a relação entre os trabalhos prévios e as questões de pesquisa do trabalho presente? De que forma o trabalho presente se baseia em trabalhos prévios e de que maneira ele é diferente?
  4. Teoria(s):
    1. O projeto é baseado em teoria relevante (e.g., educacional, psicológica, sociológica, organizacional)? Se não, deveria ser? E quais são algumas das teorias que os autores deveriam considerar?
    2. A teoria é descrita com clareza, com citações apropriadas?
    3. A relação da teoria com o projeto atual está claramente descrita?
  5. A coleta de dados está descrita de forma suficientemente clara para que o(a) leitor(a) possa reproduzi-la? As dicas de relatos do CSEd Research têm ótimas recomendações sobre quais dados coletar, analisar e relatar. Algumas informações importantes a serem incluídas:
    1. Sobre os dados: por que este tipo específico de dado é relevante para suas questões de pesquisa?
    2. Sobre os participantes: quantos, qual a sua formação (são professores, alunos, egressos, etc.); e se eles tiveram alguma experiência prévia formal em computação; gênero, idade e quaisquer outros fatores que sejam relevantes para o projeto dos autores.
    3. Sobre a(s) pessoa(s) que coletam os dados: Qual é a sua relação com os participantes? Por exemplo, se os dados foram coletados de alunos em uma aula, o professor era observador não-participante ou participante?
    4. Sobre o processo de coleta de dados: o projeto utilizou questionários, entrevistas, amostras de trabalhos dos alunos, outros? No caso de questionários ou entrevistas, exatamente quais perguntas foram feitas?
  6. O processo/método de análise de dados está suficientemente descrito para que o(a) leitor(a) possa reproduzi-lo?
    1. Qual método foi usado?
    2. O método é descrito com uma citação adequada?
    3. A implementação do método está descrita com clareza suficiente? Quantas pessoas estiveram envolvidas? Qual processo foi usado para resolver quaisquer divergências?
    4. O processo/método de análise é apropriado para responder às questões de pesquisa?
  7. Os resultados da análise estão claramente sumarizados?
  8. Os resultados são amplamente discutidos, incluindo:
    1. Sua relação com as questões de pesquisa?
    2. Sua relação com trabalhos prévios?
    3. As implicações dos resultados para o ensino?
    4. As implicações dos resultados para pesquisas futuras?
  9. As ameaças à validade, no caso de trabalhos quantitativos, ou as questões de validade e confiabilidade, no caso de trabalhos qualitativos, são discutidas?
  10. A avaliação dos revisores deve respeitar a perspectiva de pesquisa (qualitativa, quantitativa ou de métodos mistos) dos autores.