Delphi no ENAMED: como se escolhe o que a prova avalia

O Delphi no ENAMED aparece no manual do Inep como o procedimento de consenso usado para associar competências aos instrumentos capazes de avaliá-las. O documento informa concordância mínima de 80% dos especialistas e explica que a prova teórica focaliza competências aferíveis por itens objetivos. Esse percentual diz respeito ao consenso sobre a avaliação, não ao desempenho exigido do estudante. Manual do Inep, página 7.

Para coordenadores e NDEs, a principal contribuição é a pergunta que antecede a escolha da prova: que evidência permite sustentar uma conclusão sobre determinada competência? A resposta precisa orientar o instrumento, a tarefa proposta e a forma de interpretar o resultado.

Qual decisão o Delphi ajuda a tomar?

A Matriz de Referência Comum apresenta 15 competências para a avaliação da formação médica. O manual distingue essa referência ampla da matriz de avaliação da prova teórica, que apresenta 12 competências. A associação entre competência e instrumento é a decisão para a qual o documento descreve o consenso por Delphi modificado.

O objeto do consenso, portanto, não é a resposta correta de uma questão isolada nem a nota de um participante. É a adequação do instrumento para aferir a competência. Conhecer a norma ética pertinente a uma situação e demonstrar uma interação profissional em tempo real são evidências relacionadas, mas obtidas por tarefas diferentes.

O guia das 12 competências da prova teórica do ENAMED ajuda a localizar essa camada da matriz. Para a gestão, a lista é um ponto de partida para examinar a cobertura de uma avaliação cognitiva, sem reduzir o currículo a ela.

O que significam os 80% de concordância?

No contexto descrito pelo manual, os 80% são o patamar mínimo de concordância exigido entre especialistas no procedimento de consenso. Não significam que o aluno precise acertar 80% da prova. Tampouco são taxa de confiabilidade, precisão de previsão, cobertura de um banco comercial ou índice de qualidade de uma faculdade.

O documento não apresenta, nessa seção, o número de especialistas, o detalhamento de todas as rodadas nem a votação individual por competência. Esses dados não devem ser preenchidos com uma descrição genérica de como outros estudos Delphi costumam funcionar.

Uma comunicação institucional fiel pode afirmar que a escolha foi fundamentada em consenso, com o limiar informado. Para reproduzir o procedimento em uma pesquisa própria, porém, será necessário definir e documentar protocolo, participantes, critérios e tratamento das divergências. O manual não certifica automaticamente um processo local chamado Delphi.

Por que escolher o instrumento antes de escrever os itens?

Quando uma prova é construída apenas pela reunião de questões disponíveis, a instituição pode terminar com um instrumento que mede o que foi mais fácil escrever. A relação entre competência e evidência desejada fica implícita, dificultando saber o que um resultado satisfatório realmente demonstra.

Uma alternativa é registrar primeiro a conclusão que a avaliação pretende sustentar. Se a finalidade é verificar a interpretação de informação clínica, uma questão pode ser adequada. Se a finalidade é observar a execução de uma habilidade, será necessário discutir uma tarefa que torne essa execução visível.

O manual distingue três domínios de aprendizagem: cognitivo, psicomotor e comportamental ou afetivo. A prova teórica é dirigida principalmente ao primeiro. Essa delimitação fundamenta uma decisão de desenho avaliativo, sem declarar os demais domínios menos importantes. Veja a discussão sobre o que a prova teórica consegue avaliar.

Como aplicar essa lógica na revisão das avaliações do curso?

A tabela abaixo é uma proposta de trabalho da equipe editorial para a instituição. Ela não reproduz um protocolo oficial do Inep nem estabelece uma exigência regulatória adicional.

O exercício deve ser realizado sobre avaliações concretas. É mais produtivo examinar uma tarefa, seu comando e seu critério de correção do que declarar, de forma ampla, que toda disciplina avalia todas as competências.

Considere também a qualidade da evidência produzida. Uma resposta correta isolada pode ser útil para uma decisão pontual, mas não descreve, sozinha, a consistência do desempenho do estudante em diferentes situações. Quanto mais ampla a conclusão pretendida, maior a necessidade de fontes de observação coerentes com ela.

Como evitar consenso apenas aparente?

Concordar com o nome de uma competência não basta para assegurar que todos os docentes entendem a mesma coisa. Um grupo pode usar a expressão “raciocínio clínico” para tarefas muito diferentes: reconhecer um dado, integrar informações ou decidir a próxima ação. Exemplos de tarefas e justificativas ajudam a tornar essas diferenças explícitas.

Outra preocupação é preservar as razões da decisão. Se a instituição registra apenas que a proposta foi aprovada, perde a oportunidade de revisar posteriormente os limites identificados. Um registro útil mostra por que o instrumento foi escolhido e quais conclusões ele não sustenta.

A mesma disciplina de análise vale para competências como incorporação de tecnologias. Saber reconhecer um risco em uma questão é uma evidência específica; operar uma ferramenta com segurança em um serviço é outra. A avaliação precisa nomear qual delas está sendo produzida.

Como essa escolha se relaciona com a elaboração da prova?

A seleção do que pode ser avaliado antecede a encomenda e a montagem de itens. No fluxo descrito pelo manual, a CAAFM traduz a matriz em encomendas por área, competência e cenário, e outros participantes cumprem funções de elaboração, revisão e análise. Manual do Inep, página 8.

São decisões articuladas, mas distintas. Para conhecer as responsabilidades, consulte quem elabora a prova do ENAMED. Na sua instituição, a oportunidade é construir avaliações cuja interpretação seja proporcional à evidência obtida. Conheça a SPR Med.

Perguntas frequentes

O Delphi define a nota de corte do ENAMED?

No trecho do manual sobre a matriz de avaliação, o Delphi modificado é associado à escolha do instrumento adequado à competência. A definição do padrão de desempenho e da nota de corte é descrita em outra etapa, com o método Angoff modificado.

Os 80% são uma exigência para aprovação do estudante?

Não. São a concordância mínima dos especialistas no procedimento descrito. A escala final do Enamed utiliza 60,0 como início do nível Proficiente para os participantes aos quais essa classificação se aplica.

A faculdade precisa copiar um protocolo Delphi para toda prova?

O manual não estabelece essa obrigação. A aplicação institucional sugerida neste artigo é explicitar a relação entre competência, tarefa, evidência e interpretação do resultado.

O consenso elimina a necessidade de revisar os instrumentos?

Não. A justificativa inicial precisa ser confrontada com o funcionamento da avaliação e com a utilidade das evidências produzidas. O nome do método, por si só, não resolve todas as questões de validade de uma avaliação local.