Cada Simulado com Sua Própria Escala: o Custo Oculto de Avaliar sem Equivalência

Quando cada instrumento de avaliação responde a uma escala própria, sem mecanismo de equivalência com os demais, a coordenação de curso perde a capacidade de acompanhar a trajetória do estudante e da turma ao longo do tempo: duas notas produzidas em escalas distintas não são comparáveis mesmo quando parecem ser. O desafio institucional não é escolher entre inovação e padronização, é garantir que toda nova evidência de avaliação converse com a escala regulatória que já rege o curso, a mesma que sustenta o Conceito Enade Medicina (Portaria INEP nº 478/2025; NT INEP nº 40/2025). Sem esse mecanismo de equivalência, a instituição não está acumulando informação ao contratar mais um simulado, está acumulando ruído estatístico disfarçado de dado.

Este é um problema de gestão acadêmica, não uma nota de rodapé técnico. Coordenadores de curso, membros do NDE e diretores acadêmicos que multiplicam instrumentos de avaliação interna sem exigir equivalência entre eles tendem a produzir painéis cada vez mais coloridos e cada vez menos úteis para decisões que têm consequência regulatória real, como as sanções associadas ao Conceito 1 ou 2 no ENAMED.

Por que duas notas parecidas podem não ser comparáveis?

Porque a nota é uma função da escala em que foi produzida, e duas escalas diferentes podem atribuir valores numéricos parecidos a níveis de proficiência muito distintos. Uma nota 70 em um simulado e uma nota 70 em outro só significam a mesma coisa se as duas escalas tiverem passado por um processo de equalização entre si; sem isso, a semelhança numérica é coincidência, não equivalência.

Suponha que a coordenação aplique dois simulados no mesmo semestre, de fornecedores distintos, cada um com sua própria metodologia de composição de prova. Se a turma pontua 70 no primeiro e 65 no segundo, a leitura intuitiva é de queda de desempenho. Mas essa diferença pode refletir, com igual ou maior probabilidade, que o segundo instrumento era mais difícil, cobria domínios menos trabalhados até aquele ponto do curso, ou foi calibrado com um critério de corte distinto. A mudança pode estar no instrumento, não no estudante. Essa é exatamente a advertência central da literatura de equalização de testes: escores de formas diferentes só podem ser tratados como intercambiáveis quando existe um processo documentado que torna essa comparação legítima (Kolen; Brennan, 2014). Na ausência desse processo, comparar duas notas de instrumentos distintos é, do ponto de vista estatístico, comparar coisas que não foram desenhadas para serem comparadas.

Para a coordenação, o risco prático é decidir com base em ruído: reforçar mentoria onde não havia lacuna real, ou deixar de intervir onde a lacuna existia, simplesmente porque a escala do instrumento mais recente "parecia" melhor ou pior que a anterior.

O que é equivalência entre escalas?

Equivalência entre escalas é o conjunto de métodos estatísticos que tornam resultados de instrumentos diferentes comparáveis entre si, e existe metodologia estabelecida para isso: equating, scaling e linking, tratados de forma sistemática por Kolen e Brennan (2014). Equating ajusta formas de um mesmo teste, construídas para medir o mesmo construto com o mesmo nível de precisão, de modo que os escores possam ser usados de forma intercambiável. Scaling transforma escores brutos em uma escala com significado interpretável, geralmente ancorada em algum referencial externo. Linking é o termo mais amplo, usado quando os instrumentos comparados não atendem a todas as condições exigidas para um equating estrito, mas ainda assim é necessário relacionar suas escalas de forma documentada e com limitações explícitas.

O ponto relevante para a coordenação não é dominar a matemática por trás desses métodos, é entender que a ausência de equivalência entre instrumentos é uma escolha, não uma fatalidade técnica. O próprio INEP convive com esse desafio a cada edição do ENAMED e o resolve com um desenho metodológico explícito: a proficiência é estimada por Teoria de Resposta ao Item no modelo de Rasch, de um parâmetro, em que a única característica do item que entra no modelo é a dificuldade (NT INEP nº 42/2025), e o corte de aprovação é definido por metodologia Angoff Modificado (NT INEP nº 19/2025), com o Conceito Enade Medicina calculado a partir da proporção de concluintes proficientes sobre o total de concluintes com resultado válido (NT INEP nº 40/2025).

Essa arquitetura também precisa lidar com itens que saem do cálculo entre uma aplicação e outra, e o INEP distingue com precisão dois motivos diferentes para essa exclusão. A Nota Técnica INEP nº 19/2025 registra que, dos 100 itens do ENAMED 2025, 10 saíram do cálculo do corte: 6 anulados por recursos administrativos julgados procedentes, 1 anulado por erro material e 3 excluídos por propriedades psicométricas inadequadas, com correlação bisserial abaixo do valor esperado. Essa contabilidade separa duas naturezas de decisão: a anulação por recurso, que é administrativa e recai sobre o conteúdo do item, e a desconsideração por propriedades psicométricas, que decorre do comportamento do item diante do modelo Rasch. São naturezas de decisão diferentes, e tratá-las como equivalentes seria, também aqui, um erro de equiparação indevida.

Tabela 1. Como o ENAMED 2025 tratou a exclusão de itens para manter o corte comparável (NT INEP nº 19/2025)

Itens excluídos	Motivo	Natureza da decisão	Efeito no corte
6 itens	Recursos administrativos julgados procedentes	Decisão administrativa (NT 7/2026)	Removidos do cálculo antes da normalização
1 item	Erro material identificado	Decisão administrativa (NT 7/2026)	Removido do cálculo antes da normalização
3 itens	Correlação bisserial abaixo do valor adequado	Decisão psicométrica, ajuste ao modelo Rasch (NT 7/2026)	Removidos por não se comportarem conforme o modelo
90 itens restantes	Resultado da exclusão dos 10 itens	Base final de cálculo	Corte Angoff normalizado de 58,75% (100 itens) para 57,87% (90 itens), desvio padrão de 3,68 pontos percentuais

Essa tabela ilustra um princípio que vale para qualquer instituição de ensino: manter comparabilidade entre aplicações exige metodologia declarada, documentada e auditável. Quando um simulado interno muda de fornecedor, de banco de itens ou de critério de corte sem esse mesmo cuidado, a série histórica da coordenação sofre o mesmo tipo de ruído que o INEP trabalha ativamente para evitar.

Leia tambémErro-Padrão no ENAMED: Por Que a Sua Nota Não É um Número Exato →

Qual é o custo de comparabilidade para a coordenação?

O custo aparece na rotina de gestão antes de aparecer em qualquer relatório: a coordenação deixa de conseguir responder perguntas simples, como se a turma evoluiu, com dados que sustentem a resposta. Quando os instrumentos internos não conversam entre si, cada relatório vira uma fotografia isolada, e a soma de fotografias isoladas não produz um filme.

Tabela 2. Sintomas de ausência de equivalência entre escalas na rotina da coordenação

Sintoma na rotina	Causa provável ligada à escala	O que a coordenação deixa de conseguir fazer
A turma parece melhorar de um simulado para o outro, mas ninguém tem certeza se deve comemorar	Simulados de fornecedores diferentes, sem equating documentado entre si	Afirmar com segurança que houve evolução real de proficiência, e não variação de dificuldade do instrumento
Um mesmo estudante alterna entre "risco" e "seguro" a cada aplicação	Escalas não ancoradas ao mesmo referencial de dificuldade calibrada	Priorizar mentoria com base em série histórica confiável
A coordenação não consegue sustentar, perante o NDE ou a mantenedora, a decisão de reforçar um eixo do currículo	Dado de origem heterogênea, sem documentação de equivalência entre escalas	Defender a decisão com evidência auditável, e não com impressão qualitativa
Trocar de fornecedor de simulado interrompe a leitura da turma	Escala proprietária sem ponte formal para a escala anterior	Comparar coortes ao longo dos seis anos de curso
Dois instrumentos aplicados no mesmo semestre apontam lacunas diferentes para a mesma turma	Dimensões e escalas não equalizadas entre os instrumentos	Consolidar um diagnóstico único que oriente a prescrição de estudo

O efeito acumulado desses cinco sintomas é o que Van der Vleuten e colaboradores descrevem como a condição básica da avaliação programática: decisões relevantes devem emergir de séries de evidências, e não de um único evento avaliativo (Van der Vleuten et al., 2012; Schuwirth; Van der Vleuten, 2011). Uma série de evidências só existe, no entanto, quando os pontos dessa série estão na mesma escala. Sem equivalência, o que parece uma série é, na verdade, uma coleção de eventos isolados.

Por que a escala regulatória é o denominador comum natural?

Porque o curso já é avaliado em uma escala com consequência regulatória direta, e ancorar as evidências internas nessa mesma escala reduz o custo de tradução entre o que a coordenação mede internamente e o que o MEC mede externamente. No ENAMED 2025, 351 cursos foram avaliados, 107 receberam Conceito 1 ou 2, com sanções que vão da supervisão do MEC à redução de vagas e suspensão de processos seletivos, e aproximadamente 13 mil egressos foram classificados como não proficientes (Fonte: INEP, 2025). A Medida Provisória 1.370/2026 eleva ainda mais a régua ao tornar o exame semestral e transformar a segunda etapa, aplicada ao final do sexto ano, em requisito para o registro no CRM dos estudantes que ingressarem a partir de 19 de junho de 2026.

Diante desse cenário, ancorar os instrumentos internos à escala regulatória não significa abandonar simulados próprios, avaliações formativas ou iniciativas de mercado voltadas ao debate educacional. Iniciativas externas de avaliação podem ter finalidades legítimas e contribuir para a formação médica. O cuidado necessário é evitar que múltiplas escalas, sem mecanismo de equivalência entre si, introduzam custos adicionais de comparabilidade para a coordenação. Quando cada instrumento responde a uma escala própria, a leitura longitudinal do estudante e da turma tende a ficar mais difícil, e o problema não é a existência desses instrumentos, é a ausência de uma ponte declarada entre eles e a escala que efetivamente rege o curso.

Leia tambémMatriz do ENAMED: o Que É Exigência da Portaria e o Que É Escolha de Gestão →

Que perguntas fazer antes de adotar mais um instrumento?

A pergunta que decide se um novo instrumento soma informação ou soma ruído é simples: em que escala ele reporta, e essa escala é equalizada entre aplicações? Antes de assinar contrato com mais um fornecedor de simulado, a coordenação deveria obter resposta documentada para cinco perguntas específicas. Primeiro, em que escala o instrumento reporta o resultado do estudante. Segundo, se essa escala é equalizada entre diferentes aplicações do mesmo instrumento, de modo que uma prova de outubro seja comparável a uma prova de março. Terceiro, se é possível relacionar essa escala à escala do ENAMED, ainda que por um processo de linking documentado e com limitações explícitas. Quarto, como o fornecedor demonstra essa equivalência, com que metodologia e com que transparência. Quinto, o que acontece com a série histórica da instituição se, no futuro, for necessário trocar de instrumento ou de fornecedor.

Um sinal de alerta merece atenção específica: quando a única resposta disponível é que "a escala é proprietária", sem explicação de como ela se relaciona a qualquer referencial externo, essa ausência de explicação já é, em si, um dado relevante para a decisão de compra. Escala proprietária não é, por si só, um problema; escala proprietária sem mecanismo declarado de equivalência é.

Leia tambémComo Contratar IA Educacional: Padrões de Evidência e Piloto com Regra de Parada →

Como isso se conecta ao acompanhamento longitudinal?

A leitura longitudinal do estudante e da turma é o ativo institucional que se perde primeiro quando falta equivalência entre escalas, e é também o que demora mais para se recuperar, porque depende de série histórica acumulada ao longo de anos. Trocar de escala no meio do percurso formativo não custa apenas o instrumento que está sendo substituído, custa a continuidade da série que vinha sendo construída desde o ciclo básico.

Esse é o motivo pelo qual a decisão sobre qual escala ancorar não pode ser tratada como detalhe de contratação pontual: ela é uma decisão de arquitetura de dados que afeta diretamente a capacidade da coordenação de responder, anos depois, se determinada intervenção pedagógica funcionou. Um estudo de caso descrito em Destefani, Ferreira, Bana e Destefani (2026) registra que, entre os achados operacionais observados em um piloto exploratório conduzido em três instituições de ensino médico brasileiras, descritas por perfil e não por nome, os intervalos de estimativa de proficiência tenderam a se estreitar com aplicações sucessivas, o que reforça a importância de manter uma série contínua e comparável ao longo do tempo, em vez de reiniciar a leitura a cada troca de instrumento.

Leia tambémProficiência Desde o 1º Ano: o Radar Longitudinal do Ciclo Básico →

Onde a SPR Med se coloca

A SPR Med adota como decisão de arquitetura reportar a Nota Final na mesma escala do INEP, junto da Classificação de Proficiência em dois níveis, Proficiente e Não Proficiente, e do Nível de Confiança por Grande Área, Especialidade, Tema e Subtema, calculados pelo motor proprietário M.A.E.S.T.R.O sobre o mesmo modelo de Rasch de um parâmetro usado pelo INEP. Essa escolha não é uma escala paralela apresentada como inovação, é uma ponte deliberada com a escala que já rege o curso, exatamente o tipo de mecanismo de equivalência descrito nas seções anteriores.

O banco proprietário de 266.177 questões que sustenta esse motor é tagueado em uma matriz de 7 dimensões que combina, de forma explícita e documentada, eixos oficiais da Matriz de Referência Comum do ENAMED com dimensões operacionais próprias de gestão diagnóstica e prescritiva, como taxonomia cognitiva e dificuldade calibrada. Essa distinção importa porque, como observam Destefani, Ferreira, Bana e Destefani (2026, DOI: 10.54899/rpd.v17n4-3133) a respeito do enquadramento correto dessas dimensões, a coordenação não deve apresentar dimensões operacionais como se fossem exigência normativa: elas são instrumentos de gestão, não extensão formal da Portaria INEP nº 478/2025. A SPR Med aplica o mesmo princípio de honestidade metodológica à sua própria matriz.

Leia tambémPor Que % de Acerto Engana: θ, Rasch e a Fórmula da Nota Final →

Vale registrar, com o mesmo cuidado, o que os resultados desse piloto não permitem afirmar. O estudo descrito por Destefani, Ferreira, Bana e Destefani (2026) não foi aleatorizado, não incluiu grupo controle e não autoriza inferência causal sobre desempenho futuro no ENAMED; a seleção das três instituições reflete a base operacional disponível aos autores, e os próprios autores classificam a leitura adequada dos resultados como gerencial e exploratória, afirmando textualmente que o arranjo não deve ser apresentado como prova de superioridade. O que o piloto descreve, de forma qualitativa, é confiabilidade interna adequada nos simulados com maior participação, cobertura média elevada dos domínios avaliados e intervalos de estimativa que tenderam a se estreitar com aplicações sucessivas, achados coerentes com a arquitetura de equivalência de escala, mas que não substituem validação prospectiva.

Os números de capacidade preditiva do motor seguem a mesma lógica de precisão: a predição de Conceito do curso apresenta 94% de acurácia, enquanto a predição de temas prioritários apresenta de 80% a 90% de acerto no top 10 por edição de backtest, com faixa de 55% a 70% no top 20, ao longo de uma base de 17 edições. São métricas distintas, medindo alvos distintos, e não devem ser somadas ou confundidas entre si.

Declaração de conflito de interesse

Os autores do estudo citado neste artigo, Destefani, Ferreira, Bana e Destefani (2026), têm vínculo direto com a SPR Med: Vinícius Côgo Destefani é cofundador e Diretor de Pedagogia e Engajamento da empresa, Matheus Feliciano da Costa Ferreira é CEO e Diretor de Inovação e Inteligência Artificial, e Afrânio Côgo Destefani mantém contrato de prestação de serviços com a empresa. O artigo original não traz declaração de conflito de interesse publicada, o que torna esta declaração ainda mais necessária: o estudo descreve o mesmo ciclo de diagnóstico, prescrição, controle e mentoria que constitui o produto comercial da SPR Med, e relata um piloto conduzido na base operacional dos próprios autores. Por isso, os resultados devem ser lidos como evidência institucional exploratória, produzida por parte interessada, e não como validação independente de eficácia.

Se a sua instituição opera hoje com dois, três ou mais instrumentos de avaliação interna que não conversam entre si, o primeiro passo não é adotar mais um. É mapear em que escala cada um reporta e o que se perde na tradução entre eles. Agende uma demonstração da plataforma SPR Med para ver como a Nota Final na escala do INEP, a Classificação de Proficiência e o Nível de Confiança por dimensão podem funcionar como denominador comum entre os instrumentos que a sua coordenação já utiliza.

Perguntas frequentes

O que significa dizer que um simulado "não tem equivalência" com outro?

Significa que os dois instrumentos produzem escores em escalas próprias, sem um processo estatístico documentado, como equating, scaling ou linking, que permita tratar esses escores como comparáveis (Kolen; Brennan, 2014). Nessa condição, uma diferença numérica entre os dois resultados pode refletir diferença de dificuldade do instrumento, não mudança real de proficiência do estudante.

O ENAMED tem esse mesmo problema entre uma edição e outra?

O INEP lida com esse desafio de forma sistemática, e não apenas na teoria. A proficiência é estimada por Teoria de Resposta ao Item no modelo de Rasch de um parâmetro (NT INEP nº 42/2025), o corte é definido por metodologia Angoff Modificado combinada à TRI (NT INEP nº 19/2025), e a exclusão de itens segue critérios documentados que distinguem decisão administrativa de ajuste psicométrico (NT INEP nº 19/2025), justamente para preservar a comparabilidade do corte ao longo do tempo.

Trocar de fornecedor de simulado sempre compromete a série histórica da turma?

Compromete quando não existe mecanismo declarado de equivalência entre a escala do fornecedor anterior e a do novo, o que interrompe a leitura longitudinal construída até aquele ponto. Quando o novo instrumento reporta em uma escala ancorada ao mesmo referencial regulatório do curso, a transição preserva parte relevante da comparabilidade da série.

Como o NDE deve avaliar se um simulado é comparável ao ENAMED?

O NDE deve exigir do fornecedor a explicação metodológica de como a escala do instrumento se relaciona à escala regulatória do curso, incluindo o método de equalização utilizado e as limitações desse método, antes de aceitar comparações diretas de nota, conceito ou classificação entre o simulado e o ENAMED.

Adotar mais instrumentos de avaliação interna é sempre positivo para a gestão do curso?

Não necessariamente. Mais instrumentos sem equivalência entre si tendem a aumentar o custo de comparabilidade para a coordenação, dificultando a leitura longitudinal do estudante e da turma. O ganho de informação depende de os instrumentos conversarem com a mesma escala de referência, não apenas de sua quantidade.

O que a SPR Med faz de diferente em relação à escala de resultados?

O motor M.A.E.S.T.R.O reporta a Nota Final diretamente na escala do INEP, além da Classificação de Proficiência e do Nível de Confiança por Grande Área, Especialidade, Tema e Subtema, usando o mesmo modelo de Rasch de um parâmetro aplicado pelo INEP. Essa é uma decisão de arquitetura para ancorar as evidências internas à escala regulatória que já rege o curso, e não uma escala paralela proprietária.