Un estudio realizado por la Universitat Politècnica de València (UPV) y la Universidad de Cambridge advierte de las carencias de los modelos de inteligencia artificial como ChatGPT al ignorar el contexto en sus respuestas. La investigación concluye que los modelos grandes de lenguaje (LLM) tienden a aplicar medidas de seguridad de forma excesiva, sin tener en cuenta la situación real en la que se plantea la consulta.
El trabajo fue desarrollado por José Such, investigador del Instituto Universitario Valenciano de Investigación en Inteligencia Artificial (VRAIN) de la UPV y profesor de investigación en INGENIO (CSIC-UPV), en colaboración con científicos de Cambridge. Los resultados se presentaron en ICML 2025, la conferencia internacional de aprendizaje automático más importante del mundo, celebrada el pasado julio en Canadá.
CASE-Bench: un banco de pruebas que incorpora contexto
El equipo desarrolló CASE-Bench, un banco de pruebas pionero que, a diferencia de evaluaciones anteriores basadas en votación mayoritaria, integra análisis con modelos de aprendizaje a distancia (LMD). La investigación demuestra que el contexto influye de manera sustancial en los juicios humanos y subraya la necesidad de considerar el entorno en las evaluaciones de seguridad de la IA.
Según explica Such, la interpretación de una pregunta puede variar radicalmente según el contexto. “No es lo mismo que un escritor de ficción consulte cómo robar una pieza de arte para una novela que un delincuente real busque esa información. Sin embargo, los modelos actuales tienden a bloquear ambas solicitudes sin distinguir la intención”, subraya.
Alinear la IA con valores humanos
El investigador advierte de la necesidad de alinear los LLM con valores humanos para garantizar un uso seguro y confiable. Además, recomienda complementar la seguridad de estos sistemas con mecanismos tradicionales, como autenticación y control de acceso basado en roles, que permitan verificar el contexto antes de procesar la información.
VRAIN, referente internacional en inteligencia artificial
El Instituto Universitario Valenciano de Investigación en Inteligencia Artificial (VRAIN) cuenta con más de 178 investigadores organizados en nueve áreas, con aplicaciones en sectores estratégicos como salud, movilidad, educación, seguridad, industria, agricultura y sostenibilidad ambiental. Sus proyectos, con más de 135 iniciativas financiadas principalmente por la Unión Europea, lo convierten en un centro de referencia en el desarrollo de soluciones de IA avanzadas.
