¿Qué se debe hacer o se está haciendo para abordar estos riesgos de autonomía de la propia inteligencia artificial?
- La “Constitución” de la IA. Para Amodei, es importante desarrollar la ciencia de entrenar y dirigir de forma fiable los modelos de IA, de formar sus personalidades en una dirección predecible, estable y positiva y comprender la lógica de por qué a veces se produce un comportamiento impredecible. Hay que lograr que el entrenamiento de IA incluya un documento central de valores y principios que el modelo debe leer y tener en cuenta al completar cada tarea de entrenamiento. Y que el objetivo del entrenamiento, además de simplemente hacer que el modelo sea capaz e inteligente, es producir un modelo que casi siempre siga esta constitución. O sea, para Amodei, hay que enseñarle a ser una buena IA, hay que entrenar a Claude a nivel de identidad, carácter, valores y personalidad, en lugar de darle simples instrucciones o prioridades específicas sin explicar las razones detrás de ella para que haya menos probabilidades de caer presa de los tipos de “trampas” mencionadas anteriormente.
- La segunda cosa que Amodei propone es profundizar en la ciencia de la interpretabilidad, mirar dentro de los modelos de IA para diagnosticar su comportamiento, para que podamos identificar problemas y solucionarlos. Amodei reconoce que actualmente las empresas no tienen una comprensión natural de cómo funcionan las IA. Y propone intentar desarrollar una comprensión correlacionando las “neuronas” y “sinapsis” del modelo con estímulos y comportamiento. Se trata de hacer algo similar a cómo los neurocientíficos estudian los cerebros animales correlacionando la medición y la intervención con estímulos y comportamiento externos.
- La tercera cosa que propone para ayudar a abordar los riesgos de autonomía es construir la infraestructura necesaria para comprender los comportamientos de los modelos en el laboratorio, así como herramientas de monitoreo para observar comportamientos en entornos reales (cuando lo permitan los clientes).
- Y la cuarta cosa que propone, de forma muy escéptica, es fomentar la coordinación para abordar los riesgos de autonomía a nivel de la industria y la sociedad. Y de hecho habla del ejemplo de algunas empresas de inteligencia artificial que han mostrado una negligencia preocupante hacia la sexualización de los niños en los modelos actuales. Lo que le lleva a pensar que la única solución son leyes que afecten directamente el comportamiento de las empresas de IA o que incentiven de otro modo la investigación y el desarrollo para resolver estos problemas.
En su ensayo a Amodei no solo le preocupan los países, las corporaciones o los problemas de autonomía de la propia IA, sino también los individuos. Reconoce que queda por resolver que individuos o grupos pequeños puedan causar destrucción en una escala mucho mayor de lo que era posible antes. Le preocupa que cualquiera pueda “alquilar” una IA potente para proporcionar inteligencia a personas maliciosas, pero por lo demás normales. Le preocupa que potencialmente haya una gran cantidad de personas que, si tienen acceso a una forma fácil de matar a millones de personas, tarde o temprano una de ellas lo hará. La biología es, con diferencia, el área que más le preocupa, debido a su gran potencial de destrucción y la dificultad para defenderse de ella pero también se refiere a otros riesgos, como los ciberataques, las armas químicas o la tecnología nuclear.
Si bien se trata de riesgos oscuros y pueden parecer poco probables, la magnitud de las consecuencias es tan grande que deberían tomarse en serio como un riesgo de primera clase de los sistemas de IA. Por eso, desde mediados de 2025, cuando las pruebas que hacían mostraron que los modelos comenzaban a acercarse al umbral en el que podrían comenzar a representar un riesgo, implementaron un clasificador que detecta y bloquea específicamente los resultados relacionados con las armas biológicas.
Los ciberataques liderados por IA le preocupan menos que los biológicos, porque tienen menos probabilidades de matar personas, ciertamente no a la escala de los ataques biológicos y porque el equilibrio entre ofensiva y defensa entre IAs puede ser más manejable en lo cibernético donde hay al menos alguna esperanza de que la defensa pueda seguir el ritmo (e incluso idealmente superar) el ataque de la IA si invertimos en ella adecuadamente.
Amodei dice en su ensayo que hay muchas maneras en las que la IA podría habilitar, afianzar o expandir la autocracia y señala alguna de las que más le preocupan:
- Armas totalmente autónomas. Un enjambre de millones o miles de millones de drones armados, totalmente automatizados, controlados localmente por una poderosa IA y coordinados estratégicamente en todo el mundo por una IA aún más poderosa, podría ser un ejército imbatible, capaz tanto de derrotar a cualquier ejército del mundo como de reprimir la disidencia dentro de un país siguiendo a todos los ciudadanos. La investigación y el desarrollo mediante una potente IA podrían hacer que los drones de un país sean muy superiores a los de otros, acelerar su fabricación, hacerlos más resistentes a los ataques electrónicos, mejorar sus maniobras, etc.
- Vigilancia masiva a través de IA. Una IA suficientemente potente probablemente podría usarse para comprometer cualquier sistema informático del mundo y también podría utilizar el acceso obtenido de esta manera para leer y darle sentido a todas las comunicaciones electrónicas del mundo. Ya es posible pensar en una poderosa IA que analiza miles de millones de conversaciones de millones de personas podría medir el sentimiento público, detectar focos de deslealtad que se forman y erradicarlos antes de que crezcan.
- Propaganda masiva a través de IA. Fenómenos actuales de “Psicosis de la IA” y “Las novias de IA” sugieren que incluso en su nivel actual de inteligencia, los modelos de IA pueden tener una poderosa influencia psicológica en las personas. Serían capaces de esencialmente lavar el cerebro a muchos. Hay mucha gente preocupada por la potencial Influencia de TikTok como propaganda del Partido Comunista Chino dirigida a los niños. A Amodei también le preocupa eso, pero cree que un agente de IA personalizado que te conozca a lo largo de los años y use su conocimiento sobre ti para dar forma a todas tus opiniones sería dramáticamente más poderoso.
A Amodei le preocupa mucho el uso de la IA que se pueda hacer en China y en EE.UU, pero también el riesgo que supone las propias empresas de inteligencia artificial. Las empresas de inteligencia artificial controlan grandes centros de datos, entrenan modelos fronterizos, tienen la mayor experiencia sobre cómo utilizar esos modelos y, en algunos casos, tienen contacto diario con decenas o cientos de millones de usuarios y la posibilidad de influir sobre ellos. Lo principal que les falta es la legitimidad y la infraestructura de un estado, por lo que mucho de lo que se necesitaría para construir las herramientas de una autocracia de IA sería ilegal para una empresa de IA, o al menos extremadamente sospechoso. Por eso opina que las empresas de inteligencia artificial deben ser vigiladas cuidadosamente, al igual que su conexión con el gobierno, lo cual es necesario, pero debe tener límites y fronteras.
¿Entiendes ahora las noticias de por qué Trump ha puesto a Anthropic en la «lista negra»? Trump, no quiere tener límites ni fronteras en el uso de la IA para todo: vigilancia masiva y armas letales autónomas, sin control humano, especialmente. Así y todo, recuerda, no es que la empresa Anthropic y su Claude, el competidor de ChatGPT, sean los buenos. Como decía, estos son los menos malos. No es lo mismo. Miedo a la adolescencia y a donde estamos yendo. Firmado: alguien que usa mucho la inteligencia artificial, natural ya me queda poca 🙂
