Prata da casa: pesquisadores do IFSP-BRA têm artigo sobre IA publicado na Revista Brasileira de Informática na Educação

Os pesquisadores Luiz Carlos Pereira Filho (ex-aluno do IFSP-BRA e atualmente colaborador), profa. Talita de Paula Cypriano de Souza e prof. Luciano Bernardes de Paula, todos membros do grupo de pesquisa e-Comp - Grupo de Pesquisa em Computação Aplicada à Educação, tiveram artigo publicado na RBIE (Revista Brasileira de Informática na Educação -https://journals-sol.sbc.org.br/index.php/rbie).

Trata-se de uma versão estendida de um artigo premiado no SBIE de 2023 (Simpósio Brasileiro de Informática na Educação - https://cbie.sbc.org.br/2023/), submetido a convite da revista. No artigo original, foram analisadas respostas do ChatGPT, da OpenAI, em relação a conteúdos introdutórios de programação de computadores. Na versão estendida, submetida à RBIE, além dos testes originais terem sido refeitos, também foram analisadas as respostas do Gemini, IA generativa do Google, e foi feita uma comparação entre os resultados de ambos LLMs.

Como resultado, foi possível verificar que o desempenho geral dos LLMs testados, em relação às respostas corretas, foi de ~78,2% para o ChatGPT e ~69,6% para o Gemini. Destaca-se que mesmo com esse potencial para auxiliar no processo de aprendizagem de programação, as respostas geradas pelos LLMs não devem ser consideradas totalmente corretas, demandando conhecimento prévio de quem os usa para analisá-las e fazer uso delas, assim como a supervisão docente.

O artigo pode ser obtido no link a seguir:

PEREIRA FILHO, L. C.; SOUZA, T. de P. C. de; PAULA, L. B. de. Análise das Respostas de LLMs em Relação ao Conteúdo Introdutório de Programação: um Comparativo entre o ChatGPT e o Gemini. Revista Brasileira de Informática na Educação, [S. l.], v. 33, p. 722–747, 2025. DOI: 10.5753/rbie.2025.4477. Disponível em: https://journals-sol.sbc.org.br/index.php/rbie/article/view/4477.