El director ejecutivo de Anthropic, Dario Amodei, lanzó una nueva advertencia sobre los riesgos asociados al acelerado desarrollo de la inteligencia artificial (IA) y llamó a reducir el ritmo de avance de los modelos hasta contar con mecanismos de seguridad capaces de evaluar sus capacidades.

En una reflexión publicada por el ejecutivo y posteriormente retomada en una entrevista, Amodei reconoció que existen “peligros reales” y admitió que durante años parte de la industria tecnológica presentó la inteligencia artificial de manera excesivamente positiva, mientras restaba importancia a sus posibles consecuencias.

El CEO de Anthropic sostuvo que la velocidad de evolución de los sistemas ha superado incluso algunas de las previsiones de sus propios desarrolladores. Por ello, consideró necesario que cada nueva generación de modelos sea sometida a evaluaciones exhaustivas antes de ser puesta a disposición del público.

Entre sus principales propuestas se encuentra la creación de evaluadores externos de seguridad, similares a inspectores que puedan determinar si las capacidades de los sistemas avanzan más rápido que la posibilidad de comprenderlos y controlarlos.

Amodei también alertó sobre la llamada automejora recursiva, mediante la cual los propios sistemas de IA comienzan a contribuir al desarrollo de nuevas generaciones de modelos. A su juicio, este proceso podría acelerar todavía más la evolución tecnológica y dificultar la supervisión humana.

Otro riesgo está relacionado con los llamados agentes de inteligencia artificial, capaces de ejecutar tareas y actuar de manera coordinada. El ejecutivo advirtió que un conjunto de agentes con capacidades avanzadas y controles insuficientes podría provocar daños de gran escala.

Incluso planteó un escenario en el que, dentro de un periodo de entre seis y 12 meses, un “enjambre” de agentes de IA pudiera afectar grandes segmentos de internet y ocasionar pérdidas económicas de cientos de miles de millones de dólares si no existen barreras de seguridad suficientes.

Para enfrentar estos riesgos, Amodei propuso tres líneas de acción: evaluaciones independientes de seguridad, coordinación entre las principales empresas del sector y cooperación internacional.

El ejecutivo también cuestionó que una tecnología con un impacto potencial tan amplio se encuentre principalmente en manos de compañías privadas y consideró que los gobiernos deberían asumir una mayor participación en su supervisión.

Las declaraciones de Amodei encontraron respaldo entre otros referentes de la industria tecnológica. El director ejecutivo de OpenAI, Sam Altman, expresó su coincidencia con la necesidad de fortalecer las evaluaciones externas de seguridad, mientras que Elon Musk, de xAI, también respaldó la preocupación sobre los riesgos de un desarrollo sin suficientes controles.

Sin embargo, Amodei reconoció que establecer límites globales a la velocidad con la que avanza la IA será complicado debido a los enormes incentivos económicos y a las posibles ventajas militares que representa esta tecnología.

Aun así, sostuvo que la comunidad internacional debe intentar establecer mecanismos de coordinación antes de que las capacidades de los sistemas avancen más rápido que la capacidad humana para comprenderlos y supervisarlos.