Como Contratar IA Educacional: Padrões de Evidência e Piloto com Regra de Parada

Antes de contratar uma solução de IA educacional, a instituição deveria exigir que a alegação de eficácia especifique qual desfecho foi medido, examinar acessibilidade, privacidade, segurança, reuso de dados e mecanismos de reporte de dano, e desenhar um piloto que defina usuários, duração, fluxos de dados, critérios de sucesso, regras de parada e responsabilidade pela revisão antes da implantação. Ausência de evidência deve ser registrada como incerteza, e não convertida em promessa de benefício. Esse é o processo de compra que separa uma decisão de gestão acadêmica responsável de uma aposta em painel de vendas.

A maior parte dos pilotos de tecnologia educacional em faculdades de medicina fracassa silenciosamente. Não porque a ferramenta seja ruim, mas porque ninguém definiu, antes de começar, o que contaria como sucesso e o que faria a instituição parar. Sem essa definição prévia, o piloto vira um teste de paciência institucional: continua até alguém se cansar, e nenhuma decisão baseada em evidência é tomada. Este artigo é o instrumento operacional para coordenadores, diretores acadêmicos e membros do NDE que precisam avaliar, contratar e monitorar fornecedores de IA educacional no contexto do ENAMED.

Que evidência um fornecedor precisa apresentar?

Um fornecedor de IA educacional precisa apresentar evidência proporcional ao tamanho da alegação que faz: quanto maior a promessa de impacto, maior o ônus de prova exigido. Reportar apenas engajamento (número de acessos, tempo de uso) ou melhora de escore em questões semelhantes às do banco de itens do próprio fornecedor não constitui evidência suficiente para decisões institucionais. Essa é a segunda prioridade de governança descrita no paper de análise conceitual sobre o ENAMED e a governança de IA na preparação para exames, que recomenda avaliar qualidade do raciocínio, calibração da confiança, utilidade do feedback, transferência para casos não familiares, acessibilidade, desempenho diferencial entre grupos de alunos e mudanças não intencionais no comportamento de estudo.

A tabela a seguir organiza essas dimensões em perguntas objetivas que a instituição pode levar à reunião de contratação, com o padrão de evidência aceitável e o sinal de alerta correspondente.

Dimensão de avaliação	Pergunta ao fornecedor	Evidência aceitável	Sinal de alerta
Qualidade do raciocínio	O sistema avalia o processo de resposta ou só a alternativa marcada?	Registro de que o aluno é solicitado a explicar o raciocínio antes ou depois da resposta	Feedback limitado a "correto" ou "incorreto" sem justificativa
Calibração da confiança	O sistema comunica o quanto se pode confiar em cada recomendação?	Indicador de confiança por nível de agregação (área, tema, subtema)	Recomendação apresentada como certeza absoluta, sem faixa de incerteza
Utilidade do feedback	O feedback orienta uma ação pedagógica verificável?	Feedback vinculado a objetivo curricular, caso clínico ou fonte confiável	Feedback genérico, repetido independentemente do erro cometido
Transferência para casos não familiares	Existe evidência de que o desempenho melhora além dos itens de treino?	Relato de teste em cenários clínicos distintos dos itens de prática	Melhora reportada apenas em itens semelhantes aos usados no treino
Acessibilidade	A ferramenta funciona igualmente bem para todos os perfis de aluno?	Documentação de testes com diferentes dispositivos, conexões e necessidades	Ausência de qualquer menção a acessibilidade no material do fornecedor
Desempenho diferencial entre grupos	Há diferença de desempenho entre subgrupos de alunos?	Relato de análise por subgrupo, mesmo que preliminar	Fornecedor não sabe ou não quer responder
Mudanças não intencionais no comportamento de estudo	O uso da ferramenta pode estreitar o currículo?	Reconhecimento explícito do risco e mecanismo de monitoramento	Negação categórica de qualquer risco de estreitamento

Essas dimensões respondem a uma lógica simples: engajamento e escore em itens semelhantes são fáceis de produzir e fáceis de vender, mas dizem pouco sobre aprendizagem transferível. A instituição que aceita apenas esses dois indicadores está comprando conforto de apresentação, não evidência de efeito educacional.

Leia tambémGovernança de IA na Preparação para o ENAMED: 5 Prioridades para a Faculdade →

Como ler uma alegação de eficácia sem se enganar?

Uma alegação de eficácia só é interpretável quando especifica o desfecho medido, a população testada, o comparador utilizado e a duração da observação. Acurácia de curto prazo em questões não é equivalente a competência clínica, e melhora em questões similares às do banco de treino não é evidência de melhor cuidado ao paciente. Essa distinção é central na análise conceitual sobre governança de IA na preparação para o ENAMED, que trata a chamada personalização como "treino adaptativo para a prova" (adaptive test coaching) sempre que o objetivo prático do sistema se reduz a aumentar o sucesso em itens semelhantes aos da avaliação, e não a desenvolver raciocínio clínico transferível.

A pergunta que todo gestor deveria fazer diante de qualquer alegação de fornecedor é: medido como, em quem, comparado com o quê, por quanto tempo? Um fornecedor que responde "nossos alunos melhoraram 20% no simulado" sem especificar o instrumento de medida, a amostra, o grupo de comparação e o intervalo de observação está oferecendo uma frase de marketing, não um dado avaliável.

A transição de uma ferramenta pedagogicamente defensável para uma ferramenta de treino estreito para a prova costuma ser gradual, o que a torna difícil de perceber em uma demonstração comercial de trinta minutos. Quatro sinais ajudam a identificar essa transição: o aluno recebe questões pareadas mecanicamente a erros anteriores, sem contextualização; o sistema favorece temas associados a ganho provável de escore em vez de relevância clínica; o feedback fica cada vez mais curto e mais centrado na resposta correta; e painéis de progresso recompensam visualmente o acerto de item mais do que a qualidade do raciocínio demonstrado. Cada recurso, isoladamente, parece útil. Juntos, podem redefinir aprendizagem como predição da alternativa correta, e não como desenvolvimento de competência clínica.

A distinção deve se basear em função educacional, não em rótulo comercial. Uma ferramenta é mais defensável quando solicita ao aluno explicar o raciocínio, identifica incerteza, vincula respostas a fontes confiáveis, incentiva reflexão e conecta a prática a contextos clínicos. É mais preocupante quando apresenta certeza sem suporte, oculta como as recomendações são geradas, usa dados sensíveis do aluno sem limites claros, ou otimiza escore sem qualquer evidência de transferência além da prova.

Leia tambémQuando a Personalização por IA Vira Treino para a Prova →

O que examinar em privacidade, segurança e equidade?

A instituição precisa examinar seis frentes antes de assinar qualquer contrato de IA educacional: acessibilidade, desempenho linguístico, privacidade, segurança, reuso de dados e mecanismos de reporte de dano. Relações comerciais e conflitos de interesse institucionais também devem ser divulgados publicamente, tanto pelo fornecedor quanto pela instituição contratante. Essa exigência está entre as cinco prioridades de governança propostas na análise conceitual sobre ENAMED e IA (Destefani, Ferreira e Destefani, 2026), e não pode ser tratada como item secundário da negociação comercial.

O argumento de equidade é concreto e merece atenção direta do NDE: acesso desigual a ferramentas pagas pode ampliar lacunas de preparação dentro da mesma turma, criando dois grupos de alunos com trajetórias formativas distintas dentro do mesmo curso. Além disso, sistemas adaptativos podem reproduzir vieses presentes nos dados de treinamento ou nos bancos de itens usados para calibrar o sistema, o que exige da instituição, e não apenas do fornecedor, uma postura de vigilância continuada.

Este artigo não substitui o exame técnico de arquitetura de dados, criptografia e conformidade que deve ser conduzido pela área de tecnologia da informação da instituição em conjunto com o encarregado de proteção de dados. O que se recomenda aqui é o roteiro de perguntas que a gestão acadêmica deve levar a esse exame técnico, não o detalhamento da infraestrutura em si.

Leia tambémArquitetura e Segurança de Dados em Plataformas de Gestão Acadêmica de Medicina →

Como desenhar um piloto delimitado?

Um piloto de IA educacional só produz aprendizagem institucional quando define, antes do início, seis elementos: usuários, duração, fluxos de dados, critérios de sucesso, regras de parada e responsabilidade pela revisão. Sem essa definição prévia, qualquer resultado observado durante o piloto pode ser interpretado de forma retroativa e favorável ao fornecedor, o que anula o propósito de testar antes de comprometer o curso inteiro. O piloto delimitado (bounded pilot) é o conceito central da análise conceitual de governança de IA aplicada ao ENAMED, e sua ausência é o motivo mais comum de fracasso silencioso em iniciativas de tecnologia educacional.

A tabela abaixo detalha o que significa definir bem cada elemento e qual é o erro típico cometido pelas instituições que pulam essa etapa.

Elemento do piloto	O que significa definir bem	Erro típico quando não se define antes
Usuários	Turma, ano e número de alunos claramente delimitados, com critério de inclusão explícito	Expandir o uso informalmente para outras turmas antes de qualquer avaliação
Duração	Prazo fixo, com data de início e de encerramento da fase de teste	Piloto que "vai continuando" indefinidamente sem data de revisão
Fluxos de dados	Quais dados entram, quais saem, quem acessa e por quanto tempo são retidos	Descoberta tardia de que dados de alunos foram compartilhados com terceiros
Critérios de sucesso	Desfechos específicos, mensuráveis e acordados antes do início, distintos de engajamento	Julgar sucesso pela satisfação anedótica de alguns alunos ou professores
Regras de parada	Gatilhos pré-acordados que interrompem ou restringem o uso, independentemente de investimento já feito	Continuar o uso mesmo diante de incidentes, porque "já se pagou pela licença"
Responsabilidade pela revisão	Nome e cargo de quem analisa os dados do piloto e decide sobre continuidade	Ninguém designado, e a decisão de continuar se torna automática por omissão

O piloto deve comparar a preparação apoiada por IA com a prática educacional já existente no curso, e não apenas medir o desempenho dos alunos que usaram a ferramenta em isolamento. Sinais qualitativos (entrevistas com alunos e docentes, relatos de uso indevido, percepção de utilidade) devem ser coletados ao lado dos sinais quantitativos (frequência de uso, desempenho em avaliações formativas). Um painel de uso sozinho não responde à pergunta que realmente importa: a ferramenta melhorou o raciocínio clínico, ou apenas o desempenho em itens parecidos com os do próprio sistema?

Cautela obrigatória: melhora de desempenho em questões similares não é evidência de melhor cuidado clínico. Essa frase deveria estar impressa na ata de qualquer reunião de decisão sobre continuidade de piloto.

O que é uma regra de parada e por que ela precisa existir antes?

Uma regra de parada é o gatilho pré-acordado que interrompe ou restringe o uso de uma ferramenta de IA educacional, definido antes do início do piloto e independente do investimento financeiro ou de tempo já realizado. Ela existe precisamente para tirar a decisão do calor do momento e do viés de custo afundado (sunk cost), que leva instituições a continuar usando uma ferramenta problemática apenas porque já pagaram por ela ou já treinaram professores para usá-la. Esse é um conceito pouco explorado na literatura de tecnologia educacional em geral, e sua ausência costuma ser o ponto cego mais caro de qualquer processo de compra institucional.

Exemplos de gatilhos coerentes com o quadro de governança incluem: incidentes de saída imprecisa da ferramenta (alucinações, informações clinicamente incorretas apresentadas como certas), reclamações recorrentes de alunos sobre a qualidade ou pertinência do feedback, sinal de estreitamento curricular (professores relatando que alunos priorizam temas de alta probabilidade de cair na prova em detrimento de competências clínicas mais amplas) e desempenho diferencial relevante entre grupos de alunos, que pode indicar viés no sistema ou desigualdade de acesso.

A regra de parada não precisa ser punitiva nem definitiva. Pode significar suspensão temporária para investigação, restrição a um subconjunto de usos aprovados, ou renegociação de termos com o fornecedor. O ponto essencial é que a decisão de parar, restringir ou continuar seja tomada com base em critérios acordados antes, e não em uma negociação emocional no momento em que o problema já apareceu.

Quem participa da supervisão do piloto?

A supervisão de um piloto de IA educacional deve incluir representantes estudantis, líderes de avaliação do curso, professores clínicos, encarregados de privacidade e, quando a escala ou as consequências do uso justificarem, revisores independentes externos à instituição. Essa composição plural reduz o risco de que a decisão sobre continuidade seja tomada exclusivamente pela área de tecnologia ou pela coordenação comercial que negociou o contrato, sem a voz de quem efetivamente vivencia o uso da ferramenta em sala de aula e em atividade clínica.

O desenvolvimento docente é parte necessária dessa supervisão, e não um acompanhamento opcional. Professores precisam de oportunidades estruturadas para testar prompts, identificar alucinações e viés nas saídas do sistema, julgar a qualidade real do feedback gerado e reconhecer quando um aluno está terceirizando o raciocínio clínico para a ferramenta em vez de desenvolvê-lo. Relatos iniciais sugerem que engajamento estruturado e prático ajuda educadores médicos a explorar inteligência artificial generativa de forma crítica, embora avaliação robusta desse tipo de capacitação ainda seja necessária (Chadha et al., 2025, conforme citado na análise conceitual sobre governança de IA no ENAMED). Alunos, por sua vez, precisam de instrução explícita sobre verificação de fontes, atribuição adequada, privacidade de dados e os limites das explicações geradas por modelo.

A avaliação programática, princípio consolidado na literatura de avaliação médica (van der Vleuten et al., 2012), oferece um lembrete útil para essa supervisão: ela resiste a fazer um único escore ou um único método carregar mais significado do que ele suporta. Mapear o conhecimento relevante ao ENAMED dentro do currículo pode ser razoável e até desejável, mas essa iniciativa deve coexistir com avaliação no local de trabalho, observação direta, feedback narrativo, simulação e revisão longitudinal do desempenho do aluno, não substituí-las.

Leia tambémAvaliação Programática em Medicina: o ENAMED Como Uma Evidência, Não Como a Régua →

O que acontece depois da assinatura do contrato?

Depois da assinatura, a instituição precisa manter monitoramento contínuo, porque governança de IA educacional não se completa com uma aprovação única no momento da contratação. É preciso revisar periodicamente incidentes reportados, reclamações de alunos, acurácia das saídas geradas pela ferramenta, padrões de participação, sinais de equidade entre subgrupos e evidência de estreitamento curricular ao longo do tempo. Uma ferramenta deve ser revisada, restringida ou retirada quando seus riscos excedem o valor educacional demonstrado, mesmo que essa ferramenta já esteja incorporada à rotina do curso há algum tempo.

Esse monitoramento contínuo se conecta diretamente ao problema de subescores por domínio identificado na literatura psicométrica (Haberman, 2008; Sinharay, 2010) e discutido no quadro conceitual sobre boletim individual do ENAMED (Destefani, Ferreira e Destefani, 2026). O valor de qualquer resultado por domínio, seja ele gerado pelo boletim oficial do exame, seja gerado por uma ferramenta de IA educacional, depende de confiabilidade, distinção em relação ao escore total e ganho informacional real para a decisão pretendida. Esses requisitos frequentemente não são satisfeitos quando a evidência por domínio é baseada em poucos itens. A consequência prática para a gestão acadêmica é que resultados de IA por tema ou subtema não deveriam ser apresentados como estimativas individuais precisas sem qualificação da incerteza envolvida, e a ação institucional recomendada diante de sinal frágil é buscar informação complementar antes de iniciar qualquer remediação padronizada, não amplificar a imprecisão original com decisões automáticas.

Leia tambémRelatório por Área: Quando o Desempenho por Domínio Não Sustenta Decisão →

Bloco de conflito de interesse

Declaração de conflito de interesse: os autores dos estudos citados neste artigo (Destefani, Ferreira e Destefani, 2026, publicados no Brazilian Journal of Development e no International Journal for Multidisciplinary Research) são fundadores da SPR Med. Vinícius Côgo Destefani é cofundador e Diretor de Pedagogia e Engajamento; Matheus Feliciano da Costa Ferreira é CEO e Diretor de Inovação e Inteligência Artificial; Afrânio Côgo Destefani tem contrato de serviços com a empresa. Os artigos não avaliam nem promovem produto, base de dados ou alegação de desempenho da SPR Med, e estão publicamente disponíveis para verificação. A SPR Med, como fornecedora de tecnologia educacional para instituições de ensino médico, espera ser avaliada pelos mesmos critérios de evidência, transparência e piloto delimitado descritos neste artigo, e não pede tratamento diferenciado por ser citada em pesquisa de seus próprios fundadores.

Vale registrar, com a mesma honestidade, o que os papers não provam. O quadro de quatro componentes proposto para o boletim individual do ENAMED (domínio, evidência, incerteza, ação) é explicitamente não validado pelos próprios autores, que reconhecem a necessidade de entrevistas cognitivas, testes de usabilidade e comparação de versões com estudantes reais antes de qualquer afirmação de eficácia. A análise sobre governança de IA na preparação para o ENAMED é uma análise narrativa e conceitual direcionada, não uma revisão sistemática: não avalia produto de IA específico, não estima efeito, não reporta desfechos de estudantes e não faz metanálise ou inferência causal. As cinco prioridades de governança e o conceito de piloto delimitado são proposições para adaptação e avaliação locais, não normas testadas empiricamente como intervenção integrada.

Um argumento que pode ser feito com honestidade, sem recorrer aos papers como validação: a Matriz de Referência Comum do ENAMED (Portaria INEP 478/2025) organiza 15 competências, 21 domínios, 7 áreas de formação, 6 cenários de prática e 7 atributos do perfil do egresso, e qualquer ferramenta que reporte desempenho por domínio ou tema enfrenta o mesmo desafio estrutural de confiabilidade descrito na literatura de subescores. O motor da SPR Med, construído sobre TRI/Rasch de 1 parâmetro (o mesmo modelo psicométrico usado pelo INEP conforme a Nota Técnica INEP nº 42/2025), entrega Nível de Confiança junto à Classificação de Proficiência por Grande Área, Especialidade, Tema e Subtema, precisamente para que a instituição não trate um número fino de evidência como se fosse uma certeza. Essa é uma resposta de desenho de produto ao problema, não uma validação científica do problema em si.

Checklist de contratação

Antes de assinar qualquer contrato de IA educacional, a instituição deveria conseguir responder afirmativamente a estas perguntas: o fornecedor especifica o desfecho exato medido em qualquer alegação de eficácia, incluindo população, comparador e duração da observação? A proposta de piloto define, por escrito, usuários, duração, fluxos de dados, critérios de sucesso, regras de parada e responsável pela revisão, antes do início do uso? O exame de privacidade, segurança, reuso de dados e equidade foi conduzido com a área técnica e o encarregado de proteção de dados, e não apenas com a apresentação comercial do fornecedor? A composição da supervisão inclui representantes estudantis, professores clínicos e, quando cabível, revisor independente, além da área de tecnologia? Existe compromisso contratual de monitoramento contínuo após a assinatura, com possibilidade de revisão, restrição ou rescisão baseada em risco observado?

Se a resposta a qualquer uma dessas perguntas for não, a instituição está prestes a comprar uma aposta, não um instrumento de gestão acadêmica.

Converse com nosso time de consultoria acadêmica para estruturar um roteiro de contratação de IA educacional adaptado ao PDI da sua instituição, com modelo de piloto delimitado e regras de parada prontas para levar ao NDE.

Documentos oficiais relacionados

• Matriz de Referência Comum: Portaria Inep nº 478/2025.
• Notas técnicas do Inep: cálculo da nota, proficiência e conceito institucional.
• Edital ENAMED 2026, republicado em 21/08: regras de participação e aplicação.

Perguntas frequentes

O que a instituição deve exigir antes de contratar uma IA educacional?

Deve exigir que a alegação de eficácia especifique o desfecho medido, a população testada, o comparador e a duração da observação; um exame de privacidade, segurança, equidade e reuso de dados; e um piloto delimitado com critérios de sucesso e regras de parada definidos antes do início do uso.

O que é uma regra de parada em um piloto de tecnologia educacional?

É o gatilho pré-acordado, definido antes do início do piloto, que interrompe ou restringe o uso da ferramenta diante de sinais como incidentes de saída imprecisa, reclamações de alunos, sinal de estreitamento curricular ou desempenho diferencial entre grupos, independentemente do investimento já realizado.

Melhora de desempenho em questões de simulado prova que a ferramenta funciona?

Não necessariamente. Acurácia de curto prazo em questões similares às do banco de treino da ferramenta não é evidência de melhor cuidado clínico nem de competência transferível, e deve ser tratada como um sinal parcial, não como prova de eficácia.

Quem deve participar da supervisão de um piloto de IA educacional em medicina?

Representantes estudantis, líderes de avaliação do curso, professores clínicos, encarregados de privacidade e, quando a escala ou as consequências justificarem, revisores independentes externos à instituição.

O que fazer quando o fornecedor não tem evidência sobre uma dimensão específica, como desempenho diferencial entre grupos?

A ausência de evidência deve ser registrada explicitamente como incerteza no processo de decisão, e não convertida em promessa implícita de benefício. Isso não impede a contratação, mas deve constar do desenho do piloto como ponto de monitoramento prioritário.

A SPR Med se isenta desses critérios por ser citada em pesquisa de seus próprios fundadores?

Não. A SPR Med declara publicamente o conflito de interesse sempre que cita esses estudos e espera ser avaliada pelos mesmos padrões de evidência, transparência e piloto delimitado descritos neste artigo, sem tratamento diferenciado.

Sobre a autoria