Critérios de revisão

Trilha 1 - Artigos de pesquisa

O processo de revisão dos artigos do EduComp inova ao solicitar feedback específico, tanto quantitativo como qualitativo, para diferentes critérios atendidos ou não pelos artigos. Em termos quantitativos, os revisores devem pontuar cada artigo de acordo com vários critérios em uma escala variando de "Discordo Totalmente" a "Concordo Totalmente" (1 a 4) descritos a seguir. Além disso, para os itens de 2 a 9, deverão oferecer feedback qualitativo que justifique a nota dada na escala. O objetivo do feedback qualitativo explícito por item é melhorar a qualidade das revisões a partir da avaliação específica de critérios válidos para o tipo de artigo em avaliação, oferecendo feedback construtivo e evitando confusão entre diferentes tipos de contribuição (e.g., um artigo de pesquisa deve ser avaliado de forma diferente de um relato de experiência ou de um artigo sobre recurso educacional).

  1. Aderência: Trata-se de um artigo de pesquisa científica em educação em computação.
  2. Trabalhos Relacionados: O artigo está fundamentado em trabalhos prévios relevantes.
  3. Teoria: O artigo baseia-se em teoria(s) quando apropriado.
  4. Metodologia: O trabalho descreve seus métodos e/ou inovações suficientemente para replicação ou metanálise, para que outros entendam como os dados foram obtidos, analisados e interpretados ou como a inovação funciona.
  5. Consistência e coerência: Os métodos e/ou inovações utilizados abordam de forma sólida as questões de pesquisa do trabalho.
  6. Impacto: O artigo promove o avanço do conhecimento em educação em computação.
  7. Implicações: O artigo discute os resultados e sumariza de modo claro as contribuições, implicações e limitações do trabalho.
  8. Apresentação: O texto do artigo é escrito adequadamente, considerando estruturação, clareza, coerência, coesão, ortografia, gramática e formatação (incluindo figuras e tabelas).
  9. Recomendação: Com base nos critérios acima, o artigo deve ser publicado no EduComp.
  10. Familiaridade do(a) avaliador(a) com o tema do artigo: Os revisores descrevem o nível de conhecimento que têm sobre o tema abordado pelo artigo.
  11. Familiaridade do(a) avaliador(a) com os métodos do artigo: Os revisores descrevem o nível de conhecimento que têm sobre os métodos usados no artigo.

Diretrizes para artigos de pesquisa

Os artigos de pesquisa submetidos devem descrever uma pesquisa de base empírica em educação em computação. Devem seguir padrões rigorosos, descrevendo hipóteses ou questões de pesquisa, métodos e resultados típicos de estudos de pesquisa. Normalmente, concentram-se em tópicos relevantes para a educação em computação, com ênfase em:

  • objetivos educacionais e unidades/tópicos de conhecimento relevantes para a educação em computação;
  • métodos ou técnicas em educação em computação;
  • avaliação de abordagens pedagógicas;
  • estudos das diferentes populações envolvidas na educação de computação, incluindo (mas não se limitando a) alunos e professores, além de questões de gênero, diversidade e subrepresentação.

São também aceitos artigos de replicação e artigos que apresentem resultados que não confirmam as hipóteses ou mesmo resultados inesperados que atendam aos critérios a seguir.

Para um artigo típico desta categoria, eis alguns fatores-chave a serem trazidos pelos autores e avaliados pelos revisores:

  1. Há uma ou mais questões de pesquisa claramente definidas? Já que o artigo será organizado em torno delas, normalmente é bom colocá-las no resumo e na primeira seção do artigo.
  2. As questões são de interesse do público do EduComp?
  3. Trabalhos relacionados
    1. Os trabalhos relevantes estão incluídos? Caso contrário, o(a) revisor(a) deve fornecer referências ao material ausente. Simplesmente dizer “A seção de trabalhos relacionados está incompleta” não é suficiente.
    2. Os autores descrevem claramente a relação entre os trabalhos prévios e as questões de pesquisa do trabalho presente? De que forma o trabalho presente se baseia em trabalhos prévios e de que maneira ele é diferente?
  4. Teoria(s):
    1. O projeto é baseado em teoria relevante (e.g., educacional, psicológica, sociológica, organizacional)? Se não, deveria ser? E quais são algumas das teorias que os autores deveriam considerar?
    2. A teoria é descrita com clareza, com citações apropriadas?
    3. A relação da teoria com o projeto atual está claramente descrita?
  5. A coleta de dados está descrita de forma suficientemente clara para que o(a) leitor(a) possa reproduzi-la? As dicas de relatos do CSEd Research têm ótimas recomendações sobre quais dados coletar, analisar e relatar. Algumas informações importantes a serem incluídas:
    1. Sobre os dados: por que este tipo específico de dado é relevante para suas questões de pesquisa?
    2. Sobre os participantes: quantos, qual a sua formação (são professores, alunos, egressos, etc.); e se eles tiveram alguma experiência prévia formal em computação; gênero, idade e quaisquer outros fatores que sejam relevantes para o projeto dos autores.
    3. Sobre a(s) pessoa(s) que coletam os dados: Qual é a sua relação com os participantes? Por exemplo, se os dados foram coletados de alunos em uma aula, o professor era observador não-participante ou participante?
    4. Sobre o processo de coleta de dados: o projeto utilizou questionários, entrevistas, amostras de trabalhos dos alunos, outros? No caso de questionários ou entrevistas, exatamente quais perguntas foram feitas?
  6. O processo/método de análise de dados está suficientemente descrito para que o(a) leitor(a) possa reproduzi-lo?
    1. Qual método foi usado?
    2. O método é descrito com uma citação adequada?
    3. A implementação do método está descrita com clareza suficiente? Quantas pessoas estiveram envolvidas? Qual processo foi usado para resolver quaisquer divergências?
    4. O processo/método de análise é apropriado para responder às questões de pesquisa?
  7. Os resultados da análise estão claramente sumarizados?
  8. Os resultados são amplamente discutidos, incluindo:
    1. Sua relação com as questões de pesquisa?
    2. Sua relação com trabalhos prévios?
    3. As implicações dos resultados para o ensino?
    4. As implicações dos resultados para pesquisas futuras?
  9. As ameaças à validade, no caso de trabalhos quantitativos, ou as questões de validade e confiabilidade, no caso de trabalhos qualitativos, são discutidas?
  10. A avaliação dos revisores deve respeitar a perspectiva de pesquisa (qualitativa, quantitativa ou de métodos mistos) dos autores.