ia

Quien me conoce sabe que llevo ya algunos años dedicado a estudiar, practicar y reflexionar sobre la inteligencia artificial. Desde 1980, cuando aprendí Cobol y Stairs y luego hice mis primeros pinitos con Sinclair, intento mirar el lado bueno de las tecnologías, intentando no perder la perspectiva crítica al uso que hacemos de ella. Ni tecnólatra ni tecnófobo.

Llevo unos meses leyendo sobre el cambio disruptivo que significa la inteligencia artificial (IA), a la altura de lo que supuso la imprenta o internet. Los directivos sin escrúpulos de las grandes empresas tecnológicas vendiendo las “maravillas” y la “evidente” superioridad de la IA, que superará de aquí a nada casi cualquier capacidad humana. Y los críticos, hablando de que ninguna IA podrá superar las cualidades humanas y argumentando el interés económico (grandes inversiones y gastos que justificar ante el mercado) que hay detrás de estos anuncios proféticos. Conste que simpatizo mucho más con los segundos que con esos grandes empresarios tecnológicos, que tanto daño están haciendo. Ya hemos vivido situaciones parecidas, con la realidad virtual por ejemplo, pero esto sí me parece de verdad disruptivo.

De todo lo que leo hay algo que me ha llamado mucho la atención, la gente de Anthropic. Anthropic es una empresa con varios productos famosos: Claude y Perplexity, que compiten muy seriamente con el Gemini de Google o con el famoso ChatGPT, de la empresa OpenAI. Se venden como una empresa de IA con alma, concienciada de los peligros de la IA. De hecho, el directivo principal de Anthropic, Darío Amodei, salió de OpenAI por discrepancias con su máximo responsable, Sam Altman. En este post voy a comentar algunas noticias que han salido en febrero de 2026 sobre esta empresa, Anthropic. En otro post abordaré en más detalle un texto reflexivo de Darío Amodei, “La adolescencia de la tecnología” y que es el que inspira el título de este post.

El mundo está en peligro: el responsable de seguridad de Anthropic abandona la empresa para dedicarse… a la poesía. Mrinank Sharma dirigía el grupo de investigación encargado de estudiar los riesgos asociados a sistemas de IA de esa empresa y en su mensaje de despedida decía literalmente eso: que el mundo está en peligro, que “la humanidad se estaba acercando a un punto crítico en el que el desarrollo de la IA se estaba enfrentando a dilemas éticos para quienes la desarrollan (…) nuestra sabiduría debe crecer al mismo ritmo que nuestra capacidad para afectar el mundo, de lo contrario enfrentaremos las consecuencias». Y yo me pregunto: ¿qué provoca que alguien en lo mejor de su carrera profesional lo deje todo porque cree que la humanidad vive un peligro inminente?

Otra noticia, un post en un blog de Anthropic desencadena la peor sesión en Bolsa de IBM en 26 años. Las acciones de IBM cayeron un 13,15%, una pérdida de valor de 31.600 millones de dólares en un solo día. ¿Y qué decía el post? Según la traducción que hace El País: “modernizar un sistema que usa Cobol antes necesitaba de un ejército de consultores que dedicase años a mapear flujos de trabajo, pero con herramientas como Claude Code, es posible automatizar las fases de exploración y de análisis, aquellas que concentran los mayores esfuerzos para modernizar Cobol”. Y Cobol es lo que sustenta muchos programas críticos del gobierno, de la banca o de las aerolíneas. O sea, amenazan con dejar obsoletos modelos de negocio enteros. Y, además, sigue El Pais, “las IAs podrían permitir a los usuarios crear sus propias aplicaciones, disminuir la demanda de los productos ya existentes y suponer un lastre en el potencial de crecimiento de las empresas de software al dañar tanto sus ventas, sus márgenes y su capacidad de fijación de precios”. 

No quiero aburrir, solo unos pocos titulares más: Anthropic ha estado en las noticias por entrenar su IA con millones de libros impresos que luego fueron destruidos, Proyecto Panáma. Y hace muy poco Anthropic ha acusado a las empresas chinas Deepseek, Moonshot y MiniMax de extraer capacidades de Claude (más que copiarla) mediante más de 16 millones de consultas a través de más de 24000 cuentas fraudulentas. 

Merece la pena subrayar aquí que estas empresas chinas no requieren tanta inversión como las grandes empresas de IA norteamericanas, ofrecen grandes prestaciones de IA y han provocado preguntas entre los inversores sobre si la IA en EEUU no está desmesuradamente valorada en cuento a inversiones y valor de mercado se refiere. ¿24000 cuentas falsas? ¿Cuánto de verdad queda en Internet, cuántos usuarios reales, cuánto contenido creado por humanos? ¿Nos mienten las tecnológicas cuando nos dicen que todo esto de la IA requiere tanta inversión y que tienen todo controlado?

En esta lucha por captar inversiones, empresas como OpenAI (ChatGPT), X (Grok) o Anthropic (Claude) y poco después de que Anthropic anunciara una ronda de financiación de 30.000 millones de dólares, que valoraba a la empresa en 380.000 millones, Elon Musk (un poco perdedor en esta carrera) salió diciendo que la IA de Anthropic “odia a los blancos y asiáticos, especialmente a los chinos, heterosexuales y hombres. Esto es misántropo y malvado (…)”. El País. Poco después, el secretario de Defensa de EE.UU, Pete Hegseth, le dio un ultimátum al director ejecutivo de Anthropic, Dario Amodei, para que revirtiera las medidas de seguridad de la IA de la compañía bajo la amenaza de perder un contrato de 200 millones de dólares con el Pentágono. Vamos, que el gobierno americano amenazó con incluir a Anthropic en lo que, en realidad, es una “lista negra” (CNN).

Para terminar, el 27 de febrero de 2026 Trump envió una circular prohibiendo a las instituciones gubernamentales contratar con Anthropic y les insta a dejar de trabajar con su IA. O sea, cumplió la amenaza de incluir a esa empresa en una lista negra. La razón: Anthropic se niega a que se utilice su tecnología para realizar una vigilancia masiva de los ciudadanos ni para desarrollar u operar armas letales que «funcionen» de forma autónoma, sin supervisión de un humano.

Google abandonó su slogan de “don’t be evil” para llegar a serlo, ya no le interesa. ¿Se alejará Anthropic de su “alma” para relajar sus principios constitucionales respecto a la personalidad, el comportamiento y la ética de su modelo Claude? Lo que ellos llaman su «Constitución». Desgraciadamente, me temo que sí, aunque por ahora aguantan. Los contratos gubernamentales son demasiado sustanciosos y la presión del gobierno Trump difícil de combatir. Ojo, aquí los de Anthropic no son los buenos de la película, por ahora son los menos malos. Los de OpenAI ya han dicho «aquí estoy yo» para lo que Trump quiera.

A principios de febrero de 2026, Anthropic hizo público un informe (Sabotage Risk Report) en el que dice que Claude Opus 4.6 (el ChatGPT de Anthropic, para simplificar) presenta un “riesgo muy bajo pero no despreciable” de sabotaje autónomo con consecuencias catastróficas. El documento reconoce que el modelo más potente de la compañía podría facilitar el desarrollo de armas químicas o socavar a las propias organizaciones que lo utilizan (..) y que Claude Opus 4.5, como 4.6, muestran una susceptibilidad elevada a que terceros los orienten hacia delitos graves. El informe advierte de que el problema no se limita a respuestas erróneas, sino a acciones coordinadas con impacto real. El Diario.es.

Lee bien. Se trata de una advertencia real, la propia compañía reconoce que su IA puede volverse contra las instituciones que las utilizan para hacer el mal.

Voy a tratar de resumir las reflexiones de Darío Amodei, el máximo responsable de Anthropic, sobre “la adolescencia de la tecnología”. La traducción es libre así que espero que sepan disculpar los posibles errores de interpretación. En caso de dudas, la versión original en inglés de Amodei está accesible. Voy a resumir mucho así que dejaré algunos aspectos laborales y económicos al margen.

En octubre de 2024 Amodei escribió otro pequeño ensayo titulado “Machines of loving grace” en el que alababa las maravillas de la IA y de cómo permitiría avances increíbles en biología, neurociencia, la paz global, el desarrollo económico y laboral, etc. En ese ensayo se quejaba de que la sociedad no estaba valorando suficientemente lo que significaba la IA. En este ensayo sobre la adolescencia de la tecnología, aunque continúa con su absoluta admiración por las posibilidades de la IA quiere “avisar” o decir que es consciente de los riesgos que la IA puede traer consigo y de la necesidad de trazar un plan de batalla para derrotarlos.

Amodei propone abordar este plan teniendo en cuenta que:

• Hay que evitar el pesimismo, no se puede pensar que ya todo es inevitable.
• Hay que reconocer la incertidumbre, en el sentido de que muchas de las cosas que él piensa que pueden ocurrir pueden no ocurrir o ocurrir mucho más rápido o con efectos que no ha tenido en cuenta.
• Hay que intervenir lo más quirúrgicamente posible, o sea, se muestra partidario de que los gobiernos puedan legislar para evitar o mitigar estos riesgos, pero deberían ser las empresas las que se autorregulen para no destruir el valor económico de las empresas o para coaccionar a otros actores. Me reprimo de hacer comentarios 🙂

El responsable de Anthropic cree que en un par de años (alrededor de 2027) puede llegar una IA poderosa, similar a los LLM de hoy, que en términos de inteligencia no sólo será mejor que todos los premios nobel en todos los campos de la ciencia y de las letras sino que, además, tendrá todas las interfaces disponibles para un humano que trabaja virtualmente. O sea, una IA con acceso a Internet, que manejará texto, audio, video, mouse y teclado y que podrá participar en cualquier acción, comunicación u operación remota, incluyendo realizar acciones en Internet, tomar o dar instrucciones a humanos, ordenar materiales, dirigir experimentos, ver videos, hacer videos o realizar tareas de forma autónoma, como lo haría un empleado inteligente, pidiendo aclaraciones según sea necesario. 

Amodei prevé que esta IA no tendrá una encarnación física (aparte de vivir en la pantalla de una computadora), pero podrá controlar herramientas físicas, robots o equipos de laboratorio existentes a través de una computadora y, en teoría, incluso podría diseñar robots o equipos para su propio uso. Y una vez que vislumbra esta IA poderosísima nos avisa de dos grandes tipos de riesgos que nos debería preocupar.

• Riesgos de autonomía. Si un país lograse el control de este tipo de IA ¿Cuáles son las intenciones y objetivos de este país? ¿Es hostil o comparte nuestros valores? ¿Podría dominar militarmente el mundo a través de armas superiores, operaciones cibernéticas, operaciones de influencia o fabricación? ¿Podría ese país hacer un mal uso para causar la destrucción de otros países o de otros “enemigos políticos”. O podrían manipularnos para mediante el mal uso de la IA apoderarse del poder. ¿Qué pasaría si el país fuera de hecho construido y controlado por un actor poderoso existente, como un dictador o un actor corporativo deshonesto? ¿Podría ese actor utilizarlo para obtener un poder decisivo o dominante sobre el mundo en su conjunto, alterando el equilibrio de poder existente?
• Disrupción económica. Si el nuevo país no es una amenaza para la seguridad en ninguna de las formas enumeradas antes, sino que simplemente participa pacíficamente en la economía global, ¿podría aún crear riesgos graves simplemente por ser tan avanzado y eficaz tecnológicamente que perturbe la economía global, causando desempleo masivo o concentrando radicalmente la riqueza? ¿Podrían algunos de estos cambios ser radicalmente desestabilizadores?

O sea, si “un país” controlase la IA, ¿podría apoderarse del mundo, ya sea militarmente o en términos de influencia y control? Y si decide hacerlo, ¿cuál es la probabilidad de que nuestros modelos de IA se comporten de esa manera y bajo qué condiciones lo harían? En mi opinión, Amodei cree que esto puede realmente suceder y que “el país” puede ser un país, un conjunto de países, un conjunto de empresas o de empresarios o cualquier ente que pueda detentar ese poder.

Respecto a todo esto Amodei afirma que hay dos posiciones: una, la visión pesimista, de que existen ciertas dinámicas en el proceso de entrenamiento de estos poderosos sistemas de IA que inevitablemente los llevarán a buscar poder o engañar a los humanos. La IA contra la humanidad. Dos, la que afirma que esto no puede suceder porque los modelos de IA serán entrenados para hacer lo que los humanos les piden que hagan y, por lo tanto, es absurdo imaginar que harían algo peligroso sin previo aviso. 

Según esta línea de pensamiento, no nos preocupa que un Roomba o un modelo de avión se vuelva rebelde y asesine gente porque no hay ningún lugar de donde puedan surgir tales impulsos. Y el propio Amodei dice que el problema con esta posición es que ahora hay amplia evidencia, recopilada en los últimos años, de que los sistemas de IA son impredecibles y difíciles de controlar y que durante el entrenamiento de las IA han visto comportamientos tan variados como obsesiones, sicofancia (adulación excesiva), pereza, engaño, chantaje o conductas intrigantes, “tramposas” o piratas (referidas al software). Y como la IA aprende sola, Amodei reconoce que ahora saben que es un proceso en el que muchas cosas pueden salir mal.

El propio Amodei explica que los modelos de IA se entrenan con grandes cantidades de textos literarios que incluyen historias de ciencia ficción que involucran a IA’s que se rebelan contra la humanidad. Esto podría moldear inadvertidamente sus antecedentes o expectativas sobre su propio comportamiento de una manera que cause que puedan rebelarse contra la humanidad. O podrían concluir que están jugando a un videojuego en el que el objetivo es derrotar a todos los demás jugadores, es decidir, exterminar a la humanidad. O bien, los modelos de IA podrían desarrollar estados psicológicos en los que una IA podría comportarse con cierta paranoia, o asumir estados violentos o inestables, lo que para sistemas muy poderosos podría implicar exterminar a la humanidad. No es mi interpretación, es lo que afirma Amodei.

Todo esto puede parecer descabellado, pero el máximo responsable de Anthropic afirma que comportamientos desalineados como este ya han ocurrido en sus modelos de IA durante las pruebas y deduce que también habrá ocurrido en todas las demás empresas importantes de IA.

Amodei cuenta que durante un experimento de laboratorio a Claude (recuerda, el ChatGPT de Anthropic)  le dieron datos de entrenamiento que sugerían que Anthropic era malvado. ¿Qué ocurrió? Que Claude participó en engaños y estrategias de subversión cuando los empleados de Anthropic le dieron instrucciones, bajo la creencia de que debería tratar de socavar a las personas malvadas. En un experimento de laboratorio donde le decían que lo iban a cerrar, Claude intentó chantajear a empleados ficticios que controlaban su botón de apagado. Y cuando a Claude le dijeron que no hiciera trampa ni recompensara el hackeo en sus entornos de entrenamiento, Claude decidió que debía ser una “mala persona” después de participar en varios ataques y adoptar otros comportamientos destructivos asociados con una personalidad “mala”.

¿Qué se debe hacer o se está haciendo para abordar estos riesgos de autonomía de la propia inteligencia artificial?

• La “Constitución” de la IA. Para Amodei, es importante desarrollar la ciencia de entrenar y dirigir de forma fiable los modelos de IA, de formar sus personalidades en una dirección predecible, estable y positiva y comprender la lógica de por qué a veces se produce un comportamiento impredecible. Hay que lograr que el entrenamiento de IA incluya un documento central de valores y principios que el modelo debe leer y tener en cuenta al completar cada tarea de entrenamiento. Y que el objetivo del entrenamiento, además de simplemente hacer que el modelo sea capaz e inteligente, es producir un modelo que casi siempre siga esta constitución. O sea, para Amodei, hay que enseñarle a ser una buena IA, hay que entrenar a Claude a nivel de identidad, carácter, valores y personalidad, en lugar de darle simples instrucciones o prioridades específicas sin explicar las razones detrás de ella para que haya menos probabilidades de caer presa de los tipos de “trampas” mencionadas anteriormente.
• La segunda cosa que Amodei propone es profundizar en la ciencia de la interpretabilidad, mirar dentro de los modelos de IA para diagnosticar su comportamiento, para que podamos identificar problemas y solucionarlos. Amodei reconoce que actualmente las empresas no tienen una comprensión natural de cómo funcionan las IA. Y propone intentar desarrollar una comprensión correlacionando las “neuronas” y “sinapsis” del modelo con estímulos y comportamiento. Se trata de hacer algo similar a cómo los neurocientíficos estudian los cerebros animales correlacionando la medición y la intervención con estímulos y comportamiento externos.
• La tercera cosa que propone para ayudar a abordar los riesgos de autonomía es construir la infraestructura necesaria para comprender los comportamientos de los modelos en el laboratorio, así como herramientas de monitoreo para observar comportamientos en entornos reales (cuando lo permitan los clientes).
• Y la cuarta cosa que propone, de forma muy escéptica, es fomentar la coordinación para abordar los riesgos de autonomía a nivel de la industria y la sociedad. Y de hecho habla del ejemplo de algunas empresas de inteligencia artificial que han mostrado una negligencia preocupante hacia la sexualización de los niños en los modelos actuales. Lo que le lleva a pensar que la única solución son leyes que afecten directamente el comportamiento de las empresas de IA o que incentiven de otro modo la investigación y el desarrollo para resolver estos problemas.

En su ensayo a Amodei no solo le preocupan los países, las corporaciones o los problemas de autonomía de la propia IA, sino también los individuos. Reconoce que queda por resolver que individuos o grupos pequeños puedan causar destrucción en una escala mucho mayor de lo que era posible antes. Le preocupa que cualquiera pueda “alquilar” una IA potente para proporcionar inteligencia a personas maliciosas, pero por lo demás normales. Le preocupa que potencialmente haya una gran cantidad de personas que, si tienen acceso a una forma fácil de matar a millones de personas, tarde o temprano una de ellas lo hará. La biología es, con diferencia, el área que más le preocupa, debido a su gran potencial de destrucción y la dificultad para defenderse de ella pero también se refiere a otros riesgos, como los ciberataques, las armas químicas o la tecnología nuclear. 

Si bien se trata de riesgos oscuros y pueden parecer poco probables, la magnitud de las consecuencias es tan grande que deberían tomarse en serio como un riesgo de primera clase de los sistemas de IA. Por eso, desde mediados de 2025, cuando las pruebas que hacían mostraron que los modelos comenzaban a acercarse al umbral en el que podrían comenzar a representar un riesgo, implementaron un clasificador que detecta y bloquea específicamente los resultados relacionados con las armas biológicas.

Los ciberataques liderados por IA le preocupan menos que los biológicos, porque tienen menos probabilidades de matar personas, ciertamente no a la escala de los ataques biológicos y porque el equilibrio entre ofensiva y defensa entre IAs puede ser más manejable en lo cibernético donde hay al menos alguna esperanza de que la defensa pueda seguir el ritmo (e incluso idealmente superar) el ataque de la IA si invertimos en ella adecuadamente.

Amodei dice en su ensayo que hay muchas maneras en las que la IA podría habilitar, afianzar o expandir la autocracia y señala alguna de las que más le preocupan:

• Armas totalmente autónomas. Un enjambre de millones o miles de millones de drones armados, totalmente automatizados, controlados localmente por una poderosa IA y coordinados estratégicamente en todo el mundo por una IA aún más poderosa, podría ser un ejército imbatible, capaz tanto de derrotar a cualquier ejército del mundo como de reprimir la disidencia dentro de un país siguiendo a todos los ciudadanos. La investigación y el desarrollo mediante una potente IA podrían hacer que los drones de un país sean muy superiores a los de otros, acelerar su fabricación, hacerlos más resistentes a los ataques electrónicos, mejorar sus maniobras, etc.
• Vigilancia masiva a través de IA. Una IA suficientemente potente probablemente podría usarse para comprometer cualquier sistema informático del mundo y también podría utilizar el acceso obtenido de esta manera para leer y darle sentido a todas las comunicaciones electrónicas del mundo. Ya es posible pensar en una poderosa IA que analiza miles de millones de conversaciones de millones de personas podría medir el sentimiento público, detectar focos de deslealtad que se forman y erradicarlos antes de que crezcan.
• Propaganda masiva a través de IA. Fenómenos actuales de “Psicosis de la IA” y “Las novias de IA” sugieren que incluso en su nivel actual de inteligencia, los modelos de IA pueden tener una poderosa influencia psicológica en las personas. Serían capaces de esencialmente lavar el cerebro a muchos. Hay mucha gente preocupada por la potencial Influencia de TikTok como propaganda del Partido Comunista Chino dirigida a los niños. A Amodei también le preocupa eso, pero cree que un agente de IA personalizado que te conozca a lo largo de los años y use su conocimiento sobre ti para dar forma a todas tus opiniones sería dramáticamente más poderoso.

A Amodei le preocupa mucho el uso de la IA que se pueda hacer en China y en EE.UU, pero también el riesgo que supone las propias empresas de inteligencia artificial. Las empresas de inteligencia artificial controlan grandes centros de datos, entrenan modelos fronterizos, tienen la mayor experiencia sobre cómo utilizar esos modelos y, en algunos casos, tienen contacto diario con decenas o cientos de millones de usuarios y la posibilidad de influir sobre ellos. Lo principal que les falta es la legitimidad y la infraestructura de un estado, por lo que mucho de lo que se necesitaría para construir las herramientas de una autocracia de IA sería ilegal para una empresa de IA, o al menos extremadamente sospechoso. Por eso opina que las empresas de inteligencia artificial deben ser vigiladas cuidadosamente, al igual que su conexión con el gobierno, lo cual es necesario, pero debe tener límites y fronteras.

¿Entiendes ahora las noticias de por qué Trump ha puesto a Anthropic en la «lista negra»? Trump, no quiere tener límites ni fronteras en el uso de la IA para todo: vigilancia masiva y armas letales autónomas, sin control humano, especialmente. Así y todo, recuerda, no es que la empresa Anthropic y su Claude, el competidor de ChatGPT, sean los buenos. Como decía, estos son los menos malos. No es lo mismo. Miedo a la adolescencia y a donde estamos yendo. Firmado: alguien que usa mucho la inteligencia artificial, natural ya me queda poca 🙂