Los asistentes virtuales basados en inteligencia artificial (IA) se han vuelto omnipresentes en nuestra vida diaria: desde las aplicaciones de nuestros teléfonos hasta los complejos sistemas de atención al cliente y los motores de búsqueda. Sin embargo, un reciente y revelador estudio de la Universidad Carnegie Mellon (CMU) de Estados Unidos arroja una luz crítica sobre la autoconfianza de estos sistemas, sugiriendo que podrían estar más seguros de sí mismos de lo que realmente deberían. Este hallazgo plantea importantes interrogantes sobre la fiabilidad y la interacción con las IA a medida que su presencia sigue creciendo.
La investigación comparó el nivel de autoconfianza de personas con el de cuatro de los grandes modelos de lenguaje (LLM) más conocidos: ChatGPT, Bard/Gemini, Sonnet y Haiku. Las tareas evaluadas fueron diversas, abarcando desde responder preguntas de cultura general y predecir resultados de partidos de la NFL hasta identificar dibujos al estilo del popular juego Pictionary. El patrón observado fue claro y preocupante: tanto humanos como máquinas tendieron a sobrestimar su rendimiento inicial. Sin embargo, la diferencia crucial radicó en la capacidad de ajuste: solo los humanos corrigieron sus expectativas después de completar las tareas.
La brecha entre la confianza humana y la artificial
Trent Cash, primer firmante del estudio publicado en la revista Memory & Cognition, explicó esta disparidad con un ejemplo sencillo: “Si una persona creía que iba a acertar 18 preguntas y al final acertaba 15, después corregía su estimación a unas 16. Seguía siendo un poco optimista, pero menos”. En contraste, los modelos de IA no solo no corrigieron su exceso de confianza, sino que, en algunos casos, «se volvieron aún más seguros de sí mismos tras fallar”. Esta tendencia a mantener o incluso aumentar la sobreconfianza, a pesar de las evidencias de error, fue detectada de forma consistente entre los diferentes sistemas de IA evaluados a lo largo de dos años de recopilación de datos con versiones actualizadas de los modelos.
Esta sobreconfianza de la IA presenta un problema significativo, como señala Danny Oppenheimer, coautor del estudio. “El problema es que, al expresar sus respuestas con seguridad, los usuarios pueden asumir que la IA tiene razón, incluso cuando no es así”. A diferencia de los seres humanos, que a menudo dan pistas no verbales o muestran un lenguaje corporal que denota duda o incertidumbre, las máquinas no poseen esta capacidad. No muestran señales claras que permitan al usuario discernir si realmente «saben» de lo que están hablando o si simplemente están generando una respuesta con una seguridad infundada. Esta falta de metacognición, es decir, la capacidad de la IA para ser consciente de sus propios procesos mentales y limitaciones, es un punto central del estudio.
Cuando la IA falla con seguridad: El Ejemplo de Gemini
Aunque responder trivialidades o predecir premios de cine pueda parecer un asunto menor, el trabajo de la CMU pone el foco en una cuestión más profunda: la capacidad de la IA para aprender de sus errores y su nivel de introspección.
El estudio reveló que, cuando se preguntó a los modelos sobre temas más subjetivos o inciertos, como identificar dibujos o predecir ganadores futuros, su nivel de error fue notablemente alto. Pese a ello, su confianza no disminuyó. En una de las pruebas más ilustrativas, el modelo Gemini solo logró identificar correctamente una imagen de cada 20. Sorprendentemente, a pesar de este bajo rendimiento, estimó haber acertado más de 14 imágenes. “Era como ese amigo que asegura que es buenísimo jugando al billar, pero no mete una sola bola”, comentó Trent Cash, evidenciando el paralelismo con comportamientos humanos de autoengaño o exceso de seguridad.
Entre los modelos evaluados, Sonnet fue el que mostró un menor exceso de confianza, lo que sugiere que algunos sistemas podrían estar mejor calibrados en este aspecto. Por su parte, ChatGPT-4 exhibió un rendimiento más cercano al comportamiento humano en la tarea del juego de dibujo, lo que indica que existen variaciones en el grado de «autoconfianza ilusoria» entre las diferentes IA.
Una llamada a la prudencia y la conciencia de los límites de la IA
Los autores del estudio hacen una llamada a la prudencia. Si bien los modelos de IA están en constante evolución y pueden mejorar con la alimentación de más datos, por ahora, conviene ser escépticos ante sus afirmaciones. Una estrategia útil para los usuarios podría ser preguntar explícitamente a la IA sobre su nivel de confianza en una respuesta, especialmente en escenarios donde la propia IA admita cierta inseguridad.
Danny Oppenheimer lanza una advertencia crucial que resuena con la esencia de la investigación: “La IA no está diseñada para responder todo lo que se le plantea. Cuando el chatbot no sabe algo, muchas veces ni siquiera se da cuenta de que no lo sabe”. Esta afirmación subraya una limitación fundamental de los sistemas actuales: la falta de capacidad para detectar su propia ignorancia.
A medida que estas tecnologías se integran cada vez más en nuestra vida cotidiana, reconocer sus límites —como la ausencia de introspección o la incapacidad para aprender de forma adaptativa a partir de sus propios errores de confianza— será crucial. Este conocimiento es indispensable para desarrollar sistemas de IA más fiables y responsables, que no solo sean potentes en sus capacidades, sino también transparentes en sus limitaciones.
“Tal vez haya algo intrínsecamente humano en cómo aprendemos y reflexionamos sobre nuestras acciones”, concluye Cash. Esta reflexión final nos invita a considerar si la capacidad de autoevaluación y ajuste de la confianza es una cualidad única de la cognición humana, un desafío que la IA aún debe superar para alcanzar una verdadera madurez en su interacción con nosotros.
