Para justificar o desejo de alterações no Enem e o veto a determinados temas, o presidente Jair Bolsonaro (sem partido) e sua equipe têm criticado questões que classificaram como ideológicas —perguntas que, segundo eles, promoveriam “doutrinação” em vez de medir o conhecimento dos candidatos.
Mas análise estatística inédita feita pela Folha mostra o contrário: questões que causaram polêmica entre conservadores foram eficientes em testar o conhecimento técnico dos participantes nas áreas avaliadas pelo exame.
O Enem, que começa neste domingo (21) e segue no próximo (28), é alvo de críticas do presidente desde quando ele era deputado.
A reportagem analisou 24 questões que foram criticadas por políticos conservadores, como Bolsonaro, ou que abordam a ditadura militar (1964-1985). Desde 2019, início da atual gestão, nenhuma questão sobre o regime caiu na prova, e integrantes do governo chegaram a dizer que o tema seria polêmico.
Segundo especialistas, pode ser considerada uma boa pergunta aquela que consegue discriminar os participantes de acordo com o nível de conhecimento, ou seja, alunos que dominam o tema vão melhor que aqueles com pouco aprendizado na área.
A partir de análise dos microdados do exame, divulgados de forma anonimizada pelo Inep (órgão responsável pelo Enem), a reportagem testou o desempenho de questões criticadas, presentes nas provas de linguagens e ciências humanas, segundo quatro critérios estabelecidos na literatura científica da área. Foram avaliadas todas as edições de 2009 a 2019.
Além da capacidade de discriminar participantes que dominam o conhecimento avaliado, foram levados em conta a relação entre o acerto no determinado item e nos demais, a chance de participantes de menor proficiência acertarem mais que alunos melhores e, por fim, se o item se comporta de acordo com o modelo TRI (Teoria da Resposta ao Item) de três parâmetros adotado pelo Enem para a correção das provas.
Dos 24 itens, apenas uma questão —do Enem 2016 e que tratava de ditaduras no Brasil e América Latina—não apresentou a qualidade esperada em um dos parâmetros avaliados. Quando se considera o conjunto dos critérios, porém, a avaliação é que a pergunta é satisfatória.
As outras 23 tiveram o desempenho esperado em todos os pontos avaliados. Do total de itens analisados, 5 são questões que foram consideradas ideológicas pelos grupos conservadores e 19 abordam a ditadura.
Questionado, o Inep (Instituto Nacional de Estudos e Pesquisas Educacionais) não respondeu.
O embate ideológico é a principal marca da gestão Bolsonaro na área da educação. O governo tem aversão a perguntas que tragam, por exemplo, qualquer menção a questões de gênero. Antes de eleito, o presidente já disse ser homofóbico em entrevista gravada.
No Enem de 2015, por exemplo, uma pergunta que citava a filósofa feminista Simone de Beauvoir causou a ira de Bolsonaro e outros políticos. O item atendeu a todos os critérios de uma boa questão, porém.
Em meio a denúncias atuais de assédio moral a servidores e pressão para interferência na prova, Bolsonaro disse na semana passada que o Enem começava a ficar com “cara do governo” e voltou a atacar o exame. “Aquilo mede algum conhecimento? Ou é ativismo político e na questão comportamental?”
Como revelou a Folha na sexta (19), o presidente chegou a pedir ao MEC (Ministério da Educação) que o Enem tratasse o golpe de 1964 como revolução.
Em 2019, ano da primeira edição que não abordou a ditadura, o ex-ministro da Educação Abraham Weintraub defendeu a ausência sob argumento de que era uma polêmica sem objetivo para a seleção de alunos para universidades.
“Como aqui no Brasil existe ainda uma coisa não pacificada de como foi o período do regime militar, o objetivo do Enem não é polemizar, e sim selecionar as melhores cabeças”, disse ele em janeiro de 2020.
O atual chefe da pasta, pastor Milton Ribeiro, tem repetido que a preocupação seria técnica, ao criticar itens de edições anteriores.
“A prova do Enem tem de ser técnica no sentido direto. O governo tem que conhecer [com a prova] o que o aluno sabe, e não [trazer] uma pegadinha”, disse o ministro na última quarta-feira (17) na Câmara.
Ribeiro fazia menção, como já ocorreu em outras ocasiões, a uma pergunta de 2018 que trazia, no texto de apoio, menção a um dialeto utilizado por travestis, o pajubá. Na época, Bolsonaro disse que o item supostamente iria “estimular a molecada a se interessar por isso”.
A questão, da prova de linguagens, exigia do candidato conhecimentos sobre dialetos, tema pertinente à variação linguística. Os dados mostram que o comportamento do item na prova seguiu o que se espera de uma boa questão: participantes mais bem preparados, e com melhor desempenho no exame, tiveram maior índice de acerto.
O conteúdo sobre “variedades linguísticas sociais, regionais e de registro” é previsto na matriz na qual devem se basear as perguntas do Enem. A Base Nacional Comum Curricular também prevê essa abordagem no ensino médio.
Ainda na Câmara, Ribeiro disse que “questões que são peculiares a determinados guetos ou pensamentos” dariam “primazia para um grupo que está treinado a determinada linguagem e prática, em detrimento da grande maioria do povo brasileiro que não conhece esse linguajar”. Sob esse raciocínio, travestis ou o público LGBTQIA+ seriam beneficiados nessas perguntas.
Não há dados sobre participantes LGBTQIA+, mas a Folha, a partir de uma análise proposta pelo professor Ricardo Primi (Universidade São Francisco), avaliou o desempenho dos 189 candidatos que fizeram o Enem naquele ano com nome social, em geral adotado por pessoas trans.
Apesar de o grupo ser pequeno, não há um padrão que mostre que esses participantes acertaram mais a questão que outros candidatos com notas semelhantes.
O modelo matemático adotado pelo exame, a chamada TRI, prevê itens calibrados de acordo com três parâmetros: discriminação (se diferencia os candidatos de acordo com o nível de conhecimento naquele tema), dificuldade e probabilidade de acerto casual. A nota dos participantes depende não só do número de acertos, mas também entra no cálculo quais perguntas foram respondidas corretamente.
Especialista em avaliação e TRI, o professor Tufi Machado Soares, da UFJF (Universidade Federal de Juiz de Fora), explica que uma boa questão, do ponto de vista psicométrico, tem que garantir, sobretudo, um bom ajuste com o modelo usado na pontuação, a discriminação entre participantes de proficiências diferentes e deve refletir com qualidade as matrizes de referência no teste.
“A questão estabelece função que associa a probabilidade de acerto com nível de proficiência do aluno. E questões com maior discriminação aumentam a precisão da medida dos alunos”, diz. Estudos indicam, segundo Tufi, que o nível de precisão da proficiência é maior com a TRI do que pontuação clássica.
Presidente do Inep quando o Enem passou a ter o modelo atual de correção, em 2009, o professor da USP Reynaldo Fernandes diz que a TRI é um modelo mais sofisticado de extrair informações dos respostas. Mas “a alma de qualquer” prova são os itens.
“Tem que haver procedimentos, um sistema [de escolha de questões]. Se uma questão entrou para o banco de itens, está resolvido. E dai só se leva em conta as questões técnicas”, diz.
Nas últimas semanas, o governo passa por uma crise que envolve denúncias de interferência no conteúdo da prova e assédio moral de servidores. O ministro Milton Ribeiro tem reafirmado que não houve interferência, em contraste com suas próprias declarações —ele mesmo já disse que não permitiria questões que considerasse inadequadas, prometeu que olharia a prova pessoalmente, e depois recuou.
Em 2019, o Inep criou uma comissão que censurou questões do Enem. Em junho deste ano, a Folha revelou que uma portaria do Inep estabelecia uma espécie de “tribunal ideológico”, com a criação de uma nova instância permanente de análise dos itens das avaliações da educação básica.
O documento falava em não permitir “questões subjetivas” e atenção a “valores morais” e ia contra posicionamento técnico do próprio Inep. O órgão engavetou a portaria depois da repercussão.
Reynaldo Fernandes afirma que a discussão sobre o que perguntar nas provas vai existir sempre, e não é ruim que ocorra na sociedade. “Mas essas disputas devem ser discutidas entre acadêmicos. Não é por que eu sou governo e acho que não teve ditadura, que não teve holocausto, e mudo. O Enem não é o local para esse debate.”
METODOLOGIA
A reportagem, feita a partir dos microdados do Enem, se baseia em um modelo estatístico que estima a chance de um candidato acertar uma questão dada a sua proficiência na prova.
Para isso, foram calculados três parâmetros. São eles: parâmetro de discriminação (mede se a questão consegue diferenciar os candidatos de acordo com o nível de conhecimento naquele tema), parâmetro de dificuldade (indica o nível de dificuldade daquela questão) e parâmetro de acerto casual (estima a chance do candidato acertar porque chutou).
Eles fazem parte da metodologia que o Inep utiliza para corrigir e dar nota aos candidatos. O órgão, contudo, não forneceu o valor dos parâmetros que são utilizados, e foi feito um cálculo próprio.
Foram consideradas na análise 24 questões que abordam temas como ditadura militar ou questões LGBTQIA+ e que foram alvo de críticas de grupos conservadores.
Para ler a metodologia completa, clique aqui.
Fonte: Folha de São Paulo
