Los líderes de Anthropic,OpenAI y xAI advierten sobre los riesgos de acelerar la IA y plantean nuevas medidas de seguridad,mientras Trump apuesta por mantener el ritmo para competir con China.
Los principales desarrolladores de Inteligencia Artificial (IA) comienzan a plantear la necesidad de moderar el ritmo de avance de los modelos más potentes,mientras crecen las evidencias sobre su uso en actividades de alto riesgo.
Dario Amodei,director ejecutivo de Anthropic,propuso establecer mecanismos para dosificar el desarrollo de la IA de frontera,incluida la incorporación de evaluadores independientes que puedan revisar la seguridad y alineación de los modelos antes de que sean lanzados sistemas con mayores capacidades.
La propuesta recibió el respaldo público de Sam Altman,CEO de OpenAI; Elon Musk,fundador de xAI; y Demis Hassabis,CEO de Google DeepMind. Altman,en particular,señaló que OpenAI también está trabajando en la incorporación de evaluadores independientes y que próximamente dará a conocer más detalles.
“Estoy de acuerdo con Darío en que debemos medir el ritmo del desarrollo. Este ha sido un tema principal de discusiones que hemos tenido en OpenAI en las últimas semanas”,señaló Altman.
La preocupación detrás de estas propuestas está relacionada,entre otros factores,con la posibilidad de que los sistemas de IA adquieran mayores capacidades de autonomía y automejora,lo que podría acelerar el desarrollo de nuevas generaciones de modelos y dificultar su evaluación y control.
El reporte señala que el uso de IA por parte de actores maliciosos está evolucionando. Los ataques ya no se limitan a solicitar a un chatbot información,código o instrucciones,sino que los agentes de IA comienzan a asumir tareas operativas completas,coordinando distintas etapas de actividades maliciosas con una intervención humana más limitada.
Anthropic identificó casos relacionados con el desarrollo de misiles,drones armados,sistemas de guerra electrónica y herramientas para suprimir defensas aéreas,además de un sistema antitorpedos. También detectó intentos de utilizar Claude en investigaciones biológicas relacionadas con un patógeno con potencial pandémico.
Estos casos no representan el uso cotidiano de Claude,sino algunos de los episodios más novedosos o graves identificados por el equipo de inteligencia de Anthropic.
La compañía afirma que cerró las cuentas involucradas,reforzó sus mecanismos de seguridad y compartió información con autoridades y otras empresas cuando fue necesario.
Te recomendamos: La IA redefine el riesgo geopolítico y la ciberdefensa
El reporte refuerza así uno de los argumentos detrás de la propuesta de Amodei: a medida que los modelos adquieren mayores capacidades y pueden ejecutar tareas más complejas con menor intervención humana,también aumenta la necesidad de evaluar sus riesgos antes de ampliar sus capacidades.
El presidente de Estados Unidos,Donald Trump,restó importancia a las advertencias sobre los riesgos de la IA y rechazó los llamados a ralentizar su desarrollo.
“Lideramos a China en materia de IA. Somos el país más avanzado del mundo y,francamente,quiero que siga siéndolo,porque quien gane en IA ganará”,aseveró Trump.
El mandatario sostuvo que las salvaguardas y regulaciones no deben interponerse en la competitividad comercial ni poner en riesgo la posición de liderazgo de Estados Unidos.
La posición marca un contraste con los llamados que comienzan a surgir dentro de la propia industria. Para los desarrolladores,el desafío consiste en mantener el avance de modelos cada vez más capaces sin perder la capacidad de evaluar y controlar sus riesgos.
La compañía publicó un borrador de su Código de Conducta para modelos avanzados y abrió un periodo de consulta pública de seis semanas con expertos,reguladores y ciudadanos. El objetivo es revisar y perfeccionar sus principios antes de utilizarlos como guía para el desarrollo de modelos a partir de 2027.
El documento plantea que los sistemas avanzados deben permanecer subordinados al control humano y cuestiona una carrera sin límites hacia sistemas de inteligencia artificial cada vez más poderosos.
La discusión comienza a dividirse,por tanto,en dos velocidades: mientras los desarrolladores buscan mecanismos para evaluar de manera independiente los riesgos de modelos cada vez más autónomos,algunos actores políticos y económicos presionan para acelerar su desarrollo y adopción como una cuestión de competitividad tecnológica.
