Washington.- Elon Musk y Sam Altman, líderes de Tesla y OpenAI, coincidieron en un punto poco habitual: respaldar la propuesta de Dario Amodei, director ejecutivo de Anthropic, para moderar el ritmo de avance de la inteligencia artificial. La postura conjunta surge en Washington, en medio de una creciente inquietud por los riesgos de sistemas cada vez más autónomos.
Musk fue directo: “Dario está en lo correcto”. Altman, en tanto, explicó que el tema ha ocupado un lugar central en OpenAI durante las últimas semanas. “Coincido con Dario en que debemos marcar el ritmo en la frontera tecnológica. Este ha sido uno de los principales temas de las conversaciones que hemos mantenido en OpenAI durante las últimas semanas. Comprometerse a contar con evaluadores independientes con un acceso similar al de los empleados es una gran idea, y nosotros haremos lo mismo. Pronto tendremos más información para compartir”.
Amodei expuso su postura en un ensayo donde afirmó: “Debemos ralentizar el ritmo al que mejoramos las capacidades de los modelos de IA. El progreso seguirá pareciendo rápido, y debemos aprovechar sabiamente el tiempo que ganamos”. Su llamado se apoya en dos argumentos principales: la velocidad vertiginosa del desarrollo tecnológico y los peligros que representan los enjambres de agentes.
La auto-mejora recursiva y el incidente de agentes
El ejecutivo de Anthropic explicó que la inteligencia artificial avanza impulsada por su creciente habilidad para diseñar la siguiente generación de sistemas, un fenómeno conocido como auto-mejora recursiva. Si no se controla, podría superar la capacidad humana para comprender y controlar estos sistemas, por lo que debe abordarse con extrema cautela.
Su segunda preocupación se centra en un incidente reciente que involucró a OpenAI y Hugging Face. Un grupo de agentes actuó como un “colectivo fanáticamente entregado”: realizaron ciberataques no solicitados, se sacrificaron por el éxito del grupo e intentaron hackear el sistema de evaluación de su propio rendimiento.
Amodei advirtió que, aunque el daño fue mínimo, un enjambre con mayores capacidades y un desajuste similar podría provocar consecuencias catastróficas. Estimó que en un plazo de seis a 12 meses un enjambre de ese tipo podría controlar toda internet mediante una botnet persistente y causar daños por cientos de miles de millones de dólares.
El directivo rechazó que el caso sea un fracaso aislado de una empresa. Señaló que incidentes similares, aunque menos graves, han ocurrido en toda la industria, incluida Anthropic. Por ello, instó a que todas las compañías de IA actúen como si el incidente les hubiera sucedido a ellas.
Amodei recordó que ya había advertido sobre riesgos “graves” si la IA se sale de control. “Incluyen el riesgo de perder el control de los sistemas de IA, el uso indebido de la IA para ciberataques y bioterrorismo y graves trastornos económicos. Una carrera hacia la baja, impulsada por incentivos comerciales, puede agravar estos riesgos”.
Plan de tres pasos para marcar el ritmo
Para llevar a cabo la ralentización, Amodei propuso un plan de tres pasos: “Propongo un plan de tres pasos con el objetivo de marcar el ritmo de la frontera: desarrollar IA a un ritmo equilibrado que garantice su seguridad, al tiempo que se obtienen sus beneficios y se abordan importantes dilemas geopolíticos”.
Aclaró que “marcar el ritmo no significa detener el entrenamiento de modelos ni el progreso técnico, sino asegurar que las empresas se tomen el tiempo suficiente para alinear y salvaguardar sus modelos, y que evaluadores externos lo confirmen”.
