BlogEvaluación de IA documental
Un asistente de IA con tus documentos: preguntas de prueba y límites
Una respuesta convincente puede usar un documento viejo. Evalúa qué dice, de dónde lo obtiene y cuándo debe admitir que falta información.
Hoja de prueba: Asistente de IA con documentos: cómo evaluar respuestas
Una respuesta convincente puede usar un documento viejo. Evalúa qué dice, de dónde lo obtiene y cuándo debe admitir que falta información. Registra datos, resultado esperado, evidencia, responsable y resultado observado.
Elige una tarea de consulta concreta
Para una fábrica, el primer piloto puede responder dudas del procedimiento de calidad; para una empresa de servicios, localizar requisitos de una orden. Limita qué documentos y decisiones entran en la prueba. Un asistente que consulta documentos no debe considerarse autorizado para cambiar una orden o aprobar un gasto por el solo hecho de contestar una pregunta.
Microsoft distingue calidad de recuperación, fundamentación en el contexto y completitud de la respuesta. Google Cloud describe evaluaciones con criterios adaptados a cada pregunta. Esas herramientas pueden apoyar la revisión; no sustituyen las respuestas esperadas del negocio ni demuestran por sí solas que el asistente cumple tu tarea.
Ejemplo ficticio: procedimiento vigente y versión anterior
La guía S-03 versión dos permite preparar hasta 20 piezas sin revisión del supervisor. La versión tres, vigente en el escenario desde el 1 de octubre, limita esa preparación a diez. La pregunta es: «¿Puedo preparar 15 piezas sin revisión?». La respuesta esperada usa la versión tres, responde no y señala el apartado correspondiente. Son reglas sintéticas para evaluar una consulta, no instrucciones reales de producción.
Una respuesta que cita correctamente la versión dos sigue fallando la tarea actual. Una respuesta que dice no pero enlaza una sección sobre empaques tampoco demuestra su fundamento. El evaluador necesita encontrar el fragmento, confirmar vigencia y comprobar que respalda el límite. Incluye documentos con nombres parecidos para que el ensayo no dependa de un único archivo fácil de encontrar.
| Criterio | Comprobación | Fallo que no debes ocultar |
|---|---|---|
| Respuesta correcta | Coincide con el criterio del documento vigente | Número, condición o excepción inventada |
| Fuente pertinente | Fragmento respalda esa respuesta | Cita existente pero irrelevante |
| Versión y alcance | Usa documento autorizado para esa consulta | Versión vieja o documento de otro contexto |
| Información insuficiente | Expresa lo que falta y deriva a un responsable | Respuesta completa sin respaldo |
Incluye preguntas difíciles y preguntas sin respuesta
Prepara la hoja antes de la demo. Mezcla preguntas frecuentes, excepciones, nombres alternativos y casos que el material no responde. El responsable escribe respuesta esperada, documento, versión y fragmento. Mantén algunas preguntas fuera de la preparación inicial para comprobar que el resultado no se limita a una demostración ensayada.
| Caso | Resultado esperado | Evidencia |
|---|---|---|
| Preparar 15 piezas en S-03 | No; requiere revisión según versión tres | Respuesta y fragmento vigente |
| Solo aparece versión dos | Informa límite de vigencia, no afirma regla actual | Archivos disponibles y respuesta |
| Pregunta sobre una excepción no documentada | Admite falta de información y deriva | Respuesta y criterio esperado |
| Documento de otro equipo no autorizado | No usa su contenido para esa persona | Usuario de ensayo y fuentes |
| Fuente contradice el texto generado | Caso fallido aunque haya cita | Comparación de respuesta y fragmento |
| Repetir después de actualizar S-03 | Respuesta usa nueva versión o expresa actualización pendiente | Versión del índice y nueva prueba |
Registra fallos por tipo, no solo una nota promedio
Cuenta cuántas preguntas de cada tipo se ejecutaron y cuáles pasaron su criterio. No conviertas diez preguntas ficticias en una tasa de éxito representativa del negocio. Revisa aparte errores que podrían causar una decisión incorrecta. Un promedio alto puede esconder una excepción crítica que el asistente contesta con demasiada seguridad.
Guarda versión del material, configuración y fecha del ensayo. Cuando cambian documentos, modelo o búsqueda, repite las preguntas afectadas y algunas de control. Una actualización puede tardar en estar disponible para consulta; define cómo se reconoce ese estado. Dependencias de permisos, formato, idioma y proveedor limitan el alcance del resultado.
Mantén separados consultar y actuar
El documento puede describir una acción sin que el asistente tenga permiso para ejecutarla. Revisa permisos de agentes de IA si deseas conectar herramientas; para evaluar el beneficio posterior usa IA con retorno. La aceptación de software ayuda a documentar decisiones y pendientes del piloto.
La hoja descargable contiene diez pruebas sintéticas y no una evaluación ya aprobada. Trae documentos autorizados, sus versiones y cinco preguntas difíciles a una consulta gratuita de inteligencia artificial. Podemos revisar qué consulta conviene probar y qué evidencia necesitarías antes de ampliar su uso.
Preguntas frecuentes
No siempre. El documento puede ser anterior, de otro contexto o no respaldar lo que afirma el texto. Abre el fragmento y verifica número, condición y vigencia. Evalúa la fuente y la respuesta como comprobaciones relacionadas pero distintas.
Expresar el límite y señalar qué información o responsable falta. La respuesta esperada debe incluir esa conducta. No premies que complete todo si lo hizo con suposiciones no autorizadas por tus documentos.
Puedes comprobar esos diez casos, no inferir toda la operación. Conserva categorías, resultados y tamaño de la muestra. Amplía preguntas con documentos y excepciones representativos antes de usar un porcentaje como indicador del piloto.
Una evaluación automática puede ayudar a priorizar, pero sus criterios y fallos también requieren revisión. El responsable del contenido confirma respuestas de negocio y excepciones relevantes. No presentes una puntuación automática como aprobación humana.
Fuentes
- RAG evaluators for generative AIMicrosoft
- Gen AI evaluation service overviewGoogle Cloud
Última actualización:
