Un grupo de investigadores de la Universidad Carnegie Mellon realizó un experimento para medir la efectividad de los agentes de inteligencia artificial, capaces en teoría de ejecutar tareas complejas de forma autónoma.
Para ello, crearon una empresa ficticia llamada TheAgentCompany, conformada únicamente por agentes IA de empresas como Google, OpenAI, Meta, Anthropic y Amazon, cada uno con roles asignados como ingenieros, project managers o personal de recursos humanos.
El objetivo era simular un sprint trimestral típico de una compañía de desarrollo de software.
Al principio, los agentes lograron operar con normalidad, comunicándose a través de una plataforma similar a Slack; sin embargo, los problemas no tardaron en surgir: algunos no sabían cómo cerrar ventanas emergentes, otros inventaban soluciones poco éticas como cambiar el nombre de un contacto para avanzar en una tarea, y en general mostraron grandes dificultades para colaborar, buscar información o seguir procesos no explícitos.
De acuerdo con los resultados, el agente más eficiente fue Claude 3.5 Sonnet, de Anthropic, que completó apenas el 24 por ciento de sus tareas.
Modelos como Gemini 2.0 Flash y ChatGPT lograron solo un 10 por ciento, mientras que Nova Pro 1 de Amazon apenas cumplió con el 1.7 por ciento.
Las principales fallas estuvieron relacionadas con la falta de habilidades sociales, la mala interpretación de instrucciones y la incapacidad de navegar con soltura en la web.
Pese a las expectativas sobre el potencial de estos agentes para revolucionar el trabajo, el experimento demostró que aún están lejos de sustituir completamente a los humanos.
Aunque el Foro Económico Mundial proyecta que la IA destruirá 90 millones de empleos en los próximos cinco años, pruebas como esta revelan que aún es necesario mantener el “control humano”, al menos por ahora.
