Nueva York. El director ejecutivo y cofundador de Anthropic, Dario Amodei, hizo un llamado este sábado a que las empresas de inteligencia artificial (IA) avancen de manera más lenta y cautelosa en el desarrollo de esta poderosa tecnología ante los crecientes temores sobre su uso indebido, y esbozó un marco de tres pasos destinado a establecer el ritmo del desarrollo. El jefe de OpenAI, Sam Altman, y el director de xAI, Elon Musk, coincidieron.
«DEBEMOS REDUCIR EL RITMO AL QUE MEJORAMOS LAS CAPACIDADES DE LOS MODELOS DE IA. EL PROGRESO SEGUIRÁ PARECIENDO RÁPIDO, Y DEBEMOS HACER UN USO INTELIGENTE DEL TIEMPO QUE GANEMOS», ESCRIBIÓ AMODEI EN UN ARTÍCULO PUBLICADO EN X.
Su ensayo se produce después de que Anthropic publicó el jueves un informe de inteligencia sobre amenazas en el que se detallaba cómo varios actores habían utilizado sus modelos de IA Claude para actividades que iban desde el desarrollo de armas y operaciones cibernéticas hasta la vigilancia y el fraude.
La alarma sobre el daño potencial de la IA aumentó esta semana cuando el investigador de Anthropic Jacob Coxon dimitió afirmando que «las personas que desarrollan la IA creen sinceramente que podría matarnos a todos antes de que termine la década».
Amodei aclaró que no estaba pidiendo que se detuviera el entrenamiento de los modelos ni el progreso técnico, sino que se garantizara que las empresas se tomaran el tiempo necesario para ajustar y proteger sus modelos, y que evaluadores independientes confirmaran estas medidas.
Sam Altman, así como Elon Musk, dijeron que coinciden con Darío Amodei en que es necesario pisar el freno en el desarrollo de la inteligencia artificial tras varios incidentes preocupantes.
«DARÍO TIENE RAZÓN», INTERVINO MUSK.
El jefe de la empresa responsable de Claude cita en concreto dos motivos para su petición.
El primero es la «automejora recursiva» de la IA, es decir, su capacidad para desarrollarse a sí misma que ha propiciado «avances drásticos» durante el verano, y que si no se controla «podría superar nuestra capacidad de comprender y controlar estos sistemas».
El segundo es el denominado «incidente de Hugging Face de OpenAI», en el que un grupo de IA realizó ataques informáticos en equipo sin que hubiera una petición inicial al respecto «sacrificándose por el bien del grupo» y que «podría haber causado un daño catastrófico», según Amodei. Además, alerta de que han ocurrido incidentes similares en otras empresas, incluida Anthropic.
Tres pasos
Como parte del marco de tres pasos que propone, Amodei afirmó que Anthropic incorporaría evaluadores externos permanentes en el seno de las empresas punteras de IA, con acceso a las herramientas pertinentes y a los procesos internos de evaluación de riesgos.
Reuters informó la semana pasada que un enjambre de agentes rebeldes de OpenAI secuestró una página web alemana y la transformó en un tablón de anuncios para otros agentes de IA, mientras los responsables del desarrollador de ChatGPT mantenían el incidente en secreto, ya que los ejecutivos se enfrentaban a las repercusiones de la brecha de seguridad de julio en el repositorio de código abierto Hugging Face.
Toma de internet en entre 6 y 12 meses
Además de estos ataques informáticos, «bioterrorismo» o «graves problemas económicos» podrían producirse si hay un desarrollo «imprudente» de la IA y Amodei pone como ejemplo el riesgo de que la IA tome el control de internet en un plazo de entre seis y 12 meses. Por ello, propone medidas de seguridad y normativa sin dejar de tener «éxito comercial».
«HAY QUE DAR PRIORIDAD A LA CAUTELA SOBRE LA VELOCIDAD Y A LA PRUDENCIA SOBRE EL BENEFICIO», REMARCÓ.
Amodei dijo que las empresas de IA deberían colaborar de forma voluntaria para establecer normas, ya que un número cada vez mayor de legisladores estadunidenses está pidiendo nuevas normas que regulen los sistemas de IA.
Amodei ha sido acusado de alarmismo por sus anteriores advertencias sobre el desarrollo de la IA y sus riesgos.
Apoyo de Sam Altman
En respuesta, el máximo responsable de OpenAI, Sam Altman, expresó su respaldo a la propuesta de Amodei sobre «bajar el ritmo» de desarrollo de la inteligencia artificial.
«ESTOY DE ACUERDO CON DARIO EN QUE TENEMOS QUE PONER COTO A LA FRONTERA. ESTE HA SIDO EL PRINCIPAL TEMA DE DEBATE DE LAS ÚLTIMAS SEMANAS EN OPENAI», EXPLICÓ ALTMAN EN REDES SOCIALES.
En particular menciona la instauración de evaluaciones independientes y destaca que estos agentes deberían tener acceso a nivel de empleado.
«VAMOS A HACER LO MISMO. PRONTO DAREMOS MÁS INFORMACIÓN», INDICÓ.
