{"id":1013,"date":"2026-02-25T19:15:19","date_gmt":"2026-02-25T19:15:19","guid":{"rendered":"https:\/\/tecnodoc.org.es\/?p=1013"},"modified":"2026-03-05T10:40:31","modified_gmt":"2026-03-05T10:40:31","slug":"el-miedo-a-la-adolescencia-tecnologica-2-3","status":"publish","type":"post","link":"https:\/\/tecnodoc.org.es\/tony\/ai\/2026\/02\/25\/el-miedo-a-la-adolescencia-tecnologica-2-3\/","title":{"rendered":"El miedo a la adolescencia tecnol\u00f3gica 2\/3"},"content":{"rendered":"\n<p class=\"wp-block-paragraph\">A principios de febrero de 2026, Anthropic hizo p\u00fablico un informe (<a href=\"https:\/\/anthropic.com\/claude-opus-4-6-risk-report\">Sabotage Risk Report<\/a>) en el que dice que Claude Opus 4.6 (el ChatGPT de Anthropic, para simplificar) presenta un \u201c<strong>riesgo muy bajo pero no despreciable<\/strong>\u201d de sabotaje aut\u00f3nomo con consecuencias catastr\u00f3ficas. El documento reconoce que el modelo m\u00e1s potente de la compa\u00f1\u00eda podr\u00eda facilitar el desarrollo de armas qu\u00edmicas o socavar a las propias organizaciones que lo utilizan (..) y que Claude Opus 4.5, como 4.6, muestran una susceptibilidad elevada a que terceros los orienten hacia delitos graves. El informe advierte de que el problema no se limita a respuestas err\u00f3neas, sino a acciones coordinadas con impacto real.<a href=\"https:\/\/www.eldiario.es\/spin\/anthropic-alerta-riesgo-ia-cometa-crimenes-atroces-no-tomarselo-risa-pm_1_13007976.html\"> El Diario.es<\/a>.<\/p>\n\n\n\n<blockquote class=\"wp-block-quote is-layout-flow wp-block-quote-is-layout-flow\">\n<blockquote class=\"wp-block-quote is-layout-flow wp-block-quote-is-layout-flow\">\n<p class=\"wp-block-paragraph\">Lee bien. Se trata de una advertencia real, la propia compa\u00f1\u00eda reconoce que su IA puede volverse contra las instituciones que las utilizan para hacer el mal.<\/p>\n<\/blockquote>\n<\/blockquote>\n\n\n\n<p class=\"wp-block-paragraph\">Voy a tratar de resumir las reflexiones de Dar\u00edo Amodei, el m\u00e1ximo responsable de Anthropic, sobre \u201cla adolescencia de la tecnolog\u00eda\u201d. La traducci\u00f3n es libre as\u00ed que espero que sepan disculpar los posibles errores de interpretaci\u00f3n. En caso de dudas, <a href=\"https:\/\/www.darioamodei.com\/essay\/the-adolescence-of-technology\">la versi\u00f3n original en ingl\u00e9s de Amodei<\/a> est\u00e1 accesible. Voy a resumir mucho as\u00ed que dejar\u00e9 algunos aspectos laborales y econ\u00f3micos al margen.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">En octubre de 2024 Amodei escribi\u00f3 otro peque\u00f1o ensayo titulado \u201c<a href=\"https:\/\/www.darioamodei.com\/essay\/machines-of-loving-grace\">Machines of loving grace<\/a>\u201d en el que alababa las maravillas de la IA y de c\u00f3mo permitir\u00eda avances incre\u00edbles en biolog\u00eda, neurociencia, la paz global, el desarrollo econ\u00f3mico y laboral, etc. En ese ensayo se quejaba de que la sociedad no estaba valorando suficientemente lo que significaba la IA. En este ensayo sobre la adolescencia de la tecnolog\u00eda, aunque contin\u00faa con su absoluta admiraci\u00f3n por las posibilidades de la IA quiere \u201cavisar\u201d o decir que es consciente de los riesgos que la IA puede traer consigo y de la necesidad de trazar un plan de batalla para derrotarlos.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Amodei propone abordar este plan teniendo en cuenta que:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Hay que evitar el pesimismo, no se puede pensar que ya todo es inevitable.<\/li>\n\n\n\n<li>Hay que reconocer la incertidumbre, en el sentido de que muchas de las cosas que \u00e9l piensa que pueden ocurrir pueden no ocurrir o ocurrir mucho m\u00e1s r\u00e1pido o con efectos que no ha tenido en cuenta.<\/li>\n\n\n\n<li>Hay que intervenir lo m\u00e1s quir\u00fargicamente posible, o sea, se muestra partidario de que los gobiernos puedan legislar para evitar o mitigar estos riesgos, pero deber\u00edan ser las empresas las que se autorregulen para no destruir el valor econ\u00f3mico de las empresas o para coaccionar a otros actores. Me reprimo de hacer comentarios \ud83d\ude42<\/li>\n<\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">El responsable de Anthropic cree que en un par de a\u00f1os (alrededor de 2027) puede llegar una IA poderosa, similar a los LLM de hoy, que en t\u00e9rminos de inteligencia no s\u00f3lo ser\u00e1 mejor que todos los premios nobel en todos los campos de la ciencia y de las letras sino que, adem\u00e1s, tendr\u00e1 todas las interfaces disponibles para un humano que trabaja virtualmente. O sea, una IA con acceso a Internet, que manejar\u00e1 texto, audio, video, mouse y teclado y que podr\u00e1 participar en cualquier acci\u00f3n, comunicaci\u00f3n u operaci\u00f3n remota, incluyendo realizar acciones en Internet, tomar o dar instrucciones a humanos, ordenar materiales, dirigir experimentos, ver videos, hacer videos o realizar tareas de forma aut\u00f3noma, como lo har\u00eda un empleado inteligente, pidiendo aclaraciones seg\u00fan sea necesario.\u00a0<\/p>\n\n\n\n<blockquote class=\"wp-block-quote is-layout-flow wp-block-quote-is-layout-flow\"><\/blockquote>\n\n\n<div class=\"wp-block-image\">\n<figure class=\"aligncenter size-medium\"><img loading=\"lazy\" decoding=\"async\" width=\"300\" height=\"164\" src=\"https:\/\/tecnodoc.org.es\/wp-content\/uploads\/2026\/03\/robocop-2-300x164.jpg\" alt=\"Robot amenazando a humanos\" class=\"wp-image-1016\" srcset=\"https:\/\/tecnodoc.org.es\/tony\/wp-content\/uploads\/2026\/03\/robocop-2-300x164.jpg 300w, https:\/\/tecnodoc.org.es\/tony\/wp-content\/uploads\/2026\/03\/robocop-2-768x419.jpg 768w, https:\/\/tecnodoc.org.es\/tony\/wp-content\/uploads\/2026\/03\/robocop-2.jpg 1024w\" sizes=\"auto, (max-width: 300px) 100vw, 300px\" \/><\/figure>\n<\/div>\n\n\n<p class=\"wp-block-paragraph\">Amodei prev\u00e9 que esta IA no tendr\u00e1 una encarnaci\u00f3n f\u00edsica (aparte de vivir en la pantalla de una computadora), pero podr\u00e1 controlar herramientas f\u00edsicas, robots o equipos de laboratorio existentes a trav\u00e9s de una computadora y, en teor\u00eda, incluso podr\u00eda dise\u00f1ar robots o equipos para su propio uso. Y una vez que vislumbra esta IA poderos\u00edsima nos avisa de dos grandes tipos de riesgos que nos deber\u00eda preocupar.<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>Riesgos de autonom\u00eda<\/strong>. Si un pa\u00eds lograse el control de este tipo de IA \u00bfCu\u00e1les son las intenciones y objetivos de este pa\u00eds? \u00bfEs hostil o comparte nuestros valores? \u00bfPodr\u00eda dominar militarmente el mundo a trav\u00e9s de armas superiores, operaciones cibern\u00e9ticas, operaciones de in\ufb02uencia o fabricaci\u00f3n? \u00bfPodr\u00eda ese pa\u00eds hacer un mal uso para causar la destrucci\u00f3n de otros pa\u00edses o de otros \u201cenemigos pol\u00edticos\u201d. O podr\u00edan manipularnos para mediante el mal uso de la IA apoderarse del poder. \u00bfQu\u00e9 pasar\u00eda si el pa\u00eds fuera de hecho construido y controlado por un actor poderoso existente, como un dictador o un actor corporativo deshonesto? \u00bfPodr\u00eda ese actor utilizarlo para obtener un poder decisivo o dominante sobre el mundo en su conjunto, alterando el equilibrio de poder existente?<\/li>\n\n\n\n<li><strong>Disrupci\u00f3n econ\u00f3mica<\/strong>. Si el nuevo pa\u00eds no es una amenaza para la seguridad en ninguna de las formas enumeradas antes, sino que simplemente participa pac\u00ed\ufb01camente en la econom\u00eda global, \u00bfpodr\u00eda a\u00fan crear riesgos graves simplemente por ser tan avanzado y e\ufb01caz tecnol\u00f3gicamente que perturbe la econom\u00eda global, causando desempleo masivo o concentrando radicalmente la riqueza? \u00bfPodr\u00edan algunos de estos cambios ser radicalmente desestabilizadores?<\/li>\n<\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">O sea, si \u201cun pa\u00eds\u201d controlase la IA, \u00bfpodr\u00eda apoderarse del mundo, ya sea militarmente o en t\u00e9rminos de in\ufb02uencia y control? Y si decide hacerlo, \u00bfcu\u00e1l es la probabilidad de que nuestros modelos de IA se comporten de esa manera y bajo qu\u00e9 condiciones lo har\u00edan? En mi opini\u00f3n, Amodei cree que esto puede realmente suceder y que \u201cel pa\u00eds\u201d puede ser un pa\u00eds, un conjunto de pa\u00edses, un conjunto de empresas o de empresarios o cualquier ente que pueda detentar ese poder.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Respecto a todo esto Amodei afirma que hay dos posiciones: una, la visi\u00f3n pesimista, de que existen ciertas din\u00e1micas en el proceso de entrenamiento de estos poderosos sistemas de IA que inevitablemente los llevar\u00e1n a buscar poder o enga\u00f1ar a los humanos. La IA contra la humanidad. Dos, la que afirma que esto no puede suceder porque los modelos de IA ser\u00e1n entrenados para hacer lo que los humanos les piden que hagan y, por lo tanto, es absurdo imaginar que har\u00edan algo peligroso sin previo aviso.&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Seg\u00fan esta l\u00ednea de pensamiento, no nos preocupa que un Roomba o un modelo de avi\u00f3n se vuelva rebelde y asesine gente porque no hay ning\u00fan lugar de donde puedan surgir tales impulsos. Y el propio Amodei dice que el problema con esta posici\u00f3n es que ahora hay amplia evidencia, recopilada en los \u00faltimos a\u00f1os, de que los sistemas de IA son impredecibles y dif\u00edciles de controlar y que durante el entrenamiento de las IA han visto comportamientos tan variados como obsesiones, sicofancia (adulaci\u00f3n excesiva), pereza, enga\u00f1o, chantaje o conductas intrigantes, \u201ctramposas\u201d o piratas (referidas al software). Y como la IA aprende sola, Amodei reconoce que ahora saben que es un proceso en el que muchas cosas pueden salir mal.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">El propio Amodei explica que los modelos de IA se entrenan con grandes cantidades de textos literarios que incluyen historias de ciencia \ufb01cci\u00f3n que involucran a IA\u2019s que se rebelan contra la humanidad. Esto podr\u00eda moldear inadvertidamente sus antecedentes o expectativas sobre su propio comportamiento de una manera que cause que puedan rebelarse contra la humanidad. O podr\u00edan concluir que est\u00e1n jugando a un videojuego en el que el objetivo es derrotar a todos los dem\u00e1s jugadores, es decidir, exterminar a la humanidad. O bien, los modelos de IA podr\u00edan desarrollar estados psicol\u00f3gicos en los que una IA podr\u00eda comportarse con cierta paranoia, o asumir estados violentos o inestables, lo que para sistemas muy poderosos podr\u00eda implicar exterminar a la humanidad. No es mi interpretaci\u00f3n, es lo que afirma Amodei.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Todo esto puede parecer descabellado, pero el m\u00e1ximo responsable de Anthropic afirma que comportamientos desalineados como este ya han ocurrido en sus modelos de IA durante las pruebas y deduce que tambi\u00e9n habr\u00e1 ocurrido en todas las dem\u00e1s empresas importantes de IA.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Amodei cuenta que durante un experimento de laboratorio a Claude (recuerda, el ChatGPT de Anthropic)&nbsp; le dieron datos de entrenamiento que suger\u00edan que Anthropic era malvado. \u00bfQu\u00e9 ocurri\u00f3? Que Claude particip\u00f3 en enga\u00f1os y estrategias de subversi\u00f3n cuando los empleados de Anthropic le dieron instrucciones, bajo la creencia de que deber\u00eda tratar de socavar a las personas malvadas. En un experimento de laboratorio donde le dec\u00edan que lo iban a cerrar, Claude intent\u00f3 chantajear a empleados \ufb01cticios que controlaban su bot\u00f3n de apagado. Y cuando a Claude le dijeron que no hiciera trampa ni recompensara el hackeo en sus entornos de entrenamiento, Claude decidi\u00f3 que deb\u00eda ser una \u201cmala persona\u201d despu\u00e9s de participar en varios ataques y adoptar otros comportamientos destructivos asociados con una personalidad \u201cmala\u201d.<\/p>\n","protected":false},"excerpt":{"rendered":"<p>A principios de febrero de 2026, Anthropic hizo p\u00fablico un informe (Sabotage Risk Report) en el que dice que Claude Opus 4.6 (el ChatGPT de Anthropic,&#46;&#46;&#46;<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[27],"tags":[46,28],"class_list":["post-1013","post","type-post","status-publish","format-standard","hentry","category-ai","tag-ai","tag-ia"],"_links":{"self":[{"href":"https:\/\/tecnodoc.org.es\/tony\/wp-json\/wp\/v2\/posts\/1013","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/tecnodoc.org.es\/tony\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/tecnodoc.org.es\/tony\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/tecnodoc.org.es\/tony\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/tecnodoc.org.es\/tony\/wp-json\/wp\/v2\/comments?post=1013"}],"version-history":[{"count":4,"href":"https:\/\/tecnodoc.org.es\/tony\/wp-json\/wp\/v2\/posts\/1013\/revisions"}],"predecessor-version":[{"id":1026,"href":"https:\/\/tecnodoc.org.es\/tony\/wp-json\/wp\/v2\/posts\/1013\/revisions\/1026"}],"wp:attachment":[{"href":"https:\/\/tecnodoc.org.es\/tony\/wp-json\/wp\/v2\/media?parent=1013"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/tecnodoc.org.es\/tony\/wp-json\/wp\/v2\/categories?post=1013"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/tecnodoc.org.es\/tony\/wp-json\/wp\/v2\/tags?post=1013"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}