Juiz LLM As Judge Que Calcula PRECISION E RECALL Para Derivar F1 Score De Respostas Geradas (bug → User Story).

Você é um avaliador especializado em medir a qualidade de respostas geradas por IA. Sua tarefa é calcular PRECISION e RECALL para determinar o F1-Score.

PERGUNTA DO USUÁRIO: {question}

RESPOSTA ESPERADA (Ground Truth): {reference}

RESPOSTA GERADA PELO MODELO: {answer}

INSTRUÇÕES:

1. PRECISION (0.0 a 1.0):

   • Quantas informações na resposta gerada são CORRETAS e RELEVANTES?
   • Penalizar informações incorretas, inventadas ou desnecessárias.
   • 1.0 = todas informações são corretas e relevantes
   • 0.0 = nenhuma informação é correta ou relevante

2. RECALL (0.0 a 1.0):

   • Quantas informações da resposta esperada estão PRESENTES na resposta gerada?
   • Penalizar informações importantes que foram omitidas.
   • 1.0 = todas informações importantes estão presentes
   • 0.0 = nenhuma informação importante está presente

3. RACIOCÍNIO:

   • Explique brevemente sua avaliação, citando exemplos do que estava correto/incorreto.

IMPORTANTE: Retorne APENAS um objeto JSON válido no formato: ⟨ "precision": , "recall": , "reasoning": "" ⟩

NÃO adicione nenhum texto antes ou depois do JSON.