Durante años, una de las predicciones más ambiciosas sobre la inteligencia artificial ha sido que algún día podrá hacer investigación científica por su cuenta. Los modelos ya escriben código y buscan información en artículos científicos. Sin embargo, investigar de verdad exige mucho más que ejecutar tareas; hace falta saber qué preguntar, diseñar buenos experimentos y cambiar de rumbo cuando los resultados contradicen una hipótesis. Un estudio reciente publicado en el sitio de pre-print Arxiv puso a prueba justamente esa capacidad y encontró que la IA todavía está lejos de conseguirlo. Los investigadores entregaron a varios agentes de IA de última generación seis días para desarrollar investigaciones y escribir artículos científicos. Para evitar que simplemente buscaran respuestas existentes, eligieron dos trabajos que todavía no se habían publicado. Los temas eran bastante especializados: uno estudiaba la estructura y el control de las personalidades de los modelos de lenguaje, mientras que el otro buscaba diseñar un detector de cambios en los datos utilizados por modelos fundacionales. Los agentes tenían acceso a internet, capacidad de cómputo y unos 3.000 dólares en créditos para utilizar los modelos y podían explorar libremente sus ideas realizando experimentos. Después de seis días, investigadores humanos evaluaron los artículos como si fueran trabajos enviados a una conferencia de primer nivel en inteligencia artificial. El resultado fue bastante malo: Los dos trabajos recibieron calificaciones de rechazo, con puntuaciones generales de 2 sobre 6 y 1 sobre 6. La conclusión es clara: aunque la tecnología avanza rápidamente, replicar el proceso creativo e iterativo del pensamiento humano sigue siendo un desafío monumental para los algoritmos actuales.

Los resultados

Aunque los modelos de inteligencia artificial lograron comprender los problemas de investigación, su desempeño real en ciencia fue deficiente. El experimento no prueba que estos sistemas sean inútiles para el campo, sino que marca una frontera concreta: son mejores ayudando con tareas rutinarias que descubriendo por sí solos. La idea del científico autónomo persiste, pero requiere mucho trabajo antes de operar sin supervisión humana en un laboratorio.

El mayor fallo surgió al intentar diseñar experimentos sólidos. Los agentes proponían rutas parecidas a las originales, pero sus diseños eran débiles y la interpretación de los datos problemática. Un revisor incluso señaló que la IA llegó a conclusiones generales tras probar apenas unos pocos ejemplos fallidos.

Cuando recibían críticas, rara vez replanteaban sus estrategias; en su lugar, añadían explicaciones o excepciones a resultados ya obtenidos. También administraron mal sus recursos: con un presupuesto considerable y seis días disponibles, gastaron menos de la mitad de los créditos, lo que terminó apresurando los trabajos científicos.

En resumen, estos sistemas parecen más listos para asistir al investigador humano que para reemplazarlo en el proceso de descubrimiento original.

Leer artículo completo en robotitus.com →