Hablaron los que construyen la IA, el resto seguimos mirando de lejos

Una entrevista en CCN, explosivas declaraciones de ex-empleados de Anthropic, y múltiples reacciones al respecto.

En los ultimos días se ha generado mucho revuelo mediático con declaraciones de ex-empleados de Antropic, y las múltiples reaciones que esas declaraciones han generado, leyendo todo aquello he quedado con una sensasión rara: la conversación sobre los riesgos de la inteligencia artificial ya no la empujan los académicos críticos ni los reguladores. La empujan los ingenieros que entrenan los modelos.

¿Qué pasó?

Jacob Coxon, 27 años, empleado de Anthropic del área de pre-entrenamiento renunció a Anthropic y lo anunció en X. Antes había trabajado en OpenAI. Su mensaje fue directo: ninguna de las dos empresas está actuando de manera responsable, van corriendo hacia una superinteligencia que se automejora y están apostando con nuestras vidas.

Al día siguiente pasó por CNN con Anderson Cooper, por NBC y por Fox News, y ahí moderó su propio titular. Los modelos de hoy no son el problema: lo peor que pueden hacer, dijo, es hackear algo. Lo que lo asusta es la velocidad y la automejora recursiva, una IA que revisa su propio código y se hace cada vez más poderosos. 

Hay que decir que Coxon preparó bien su entrada en escena, contó en la misma entrevista que el hilo de X lo escribió en un Google Doc, lo editó con un amigo y le pidió a un par de conocidos que lo retuitearan para hacerlo viral. 

La cuenta X desde la que publicó se abrió en enero de este año y tiene once publicaciones en total. La entrevista exclusiva del Wall Street Journal salió antes que la publicación de X. Toda una planificación entrevista, hilo de X preparado con tiempo, y múltiples entrevistas en diversos medios.

Incluso algunos han tratado de desacreditar al mensajero, Coxon es quien dice ser, pero no deja de ser curioso el proceso comunicacional, ya hemos visto en el pasado declaraciones y predicción en materias de IA, incluso han dado para memes. No hay que perder el juicio crítico frente a estas situaciones.

Lo que estoy diciendo es otra cosa: el mensajero es auténtico y el momento fue bastante producido. Las dos cosas pueden ser ciertas a la vez, pero conviene saber cuál de las dos estamos leyendo, sobre todo cuando lo que se está midiendo es la conmoción pública.

Evan Hubinger, que lidera un equipo de seguridad en Anthropic, lo respaldó con un número que no se puede desdecir: más de 10% de probabilidad de que la IA mate a todos los humanos en la próxima década, y el reconocimiento de que no tienen resuelto cómo alinear una superinteligencia. Días antes, Jakub Pachocki, científico jefe de OpenAI, había escrito algo equivalente. Anthropic respondió a CNN con lo esperable: que siempre fueron transparentes sobre beneficios y riesgos, que construyen con las salvaguardas más fuertes de la industria y que el mundo estaría mejor si existiera una forma legal y verificable de coordinar el ritmo de los lanzamientos. OpenAI no dijo nada.

Sabemos cómo controlar las armas nucleares. Todavía no sabemos cómo controlar la IA.Jacob Coxon, en Fox News, 9 de septiembre de 2026

Marcus le contesta a Cooper

Luego entró Gary Marcus a la polémica. Marcus tituló en su sitio, sin sutileza: no, Anderson Cooper, la IA no va a matar a todos los humanos el 2030. Parte defendiendo a Coxon de los ataques que le llovieron, mentiras sobre cuánto tiempo trabajó en Anthropic, una de ellas derivada, con ironía suprema, de un perfil suyo generado por IA y eso le da autoridad para lo que viene después: hay que separar lo que Coxon está en condiciones de testimoniar de lo que está especulando. 

Marcus dice, sobre el estado de ánimo dentro de esas empresas es testigo directo y su palabra vale. Sobre cómo se extingue una especie no tiene más autoridad que cualquiera de nosotros. Los medios casi nunca hacen esa distinción, y nosotros tampoco.

Después desarma el esquema clásico del catastrofismo. Que la superinteligencia llegará, probablemente sí, pero difícilmente al 2030. Que buscará eliminarnos, no hay evidencia: ningún sistema, ha exhibido jamás algo parecido a un motivo. Y que no podríamos resistir, tampoco: la inteligencia no es lo mismo que el poder, y suponer que una máquina anticiparía cada contramovida humana sin que nos diéramos cuenta no es suponer inteligencia, es suponer omnisciencia.

Marcus sostiene que el efecto neto de una década de discurso apocalíptico ha sido hacer a las empresas de la frontera más ricas y más poderosas: cada vez que alguien grita que la IA nos va a matar a todos, los fondos de capital de riesgo ponen unos miles de millones más. El catastrofismo, que se presenta como crítica, terminó funcionando como el mejor departamento de marketing que estas compañías podrían haber contratado, y de paso ayudó a concentrar poder en muy pocas manos. 

Incluso las declaraciones de Coxon han generado una rápida respuesta desde la política, muchos legisladores en EEUU han levantado la mano para pedir esfuerzos en materias de regulación, veremos que ocurre.

Fernando de la Torre planteaba en Mensajes para una IA al servicio de la humanidad, libro cuyo comité editorial integré: el mayor peligro que enfrentamos hoy no es la máquina, es el 1% que concentra el poder tecnológico.

A partir de todas estas declaraciones y debate, hay que hacer una distinción para ordenar la discusión, esto es, el riesgo existencial, la extinción literal de la especie, es muy poco probable. Pero el riesgo catastrófico que es otra cosa: que muera un porcentaje relevante de la población o que se dañe severamente la civilización, este riesgo si es mayor ya que la IA facilita el diseño de armas biológicas, abarata la desinformación hasta niveles que la democracia no aguanta, aumenta la exposición de la banca y de la red eléctrica a ciberataques, le entrega a los autoritarismos una vigilancia que Orwell no alcanzó a imaginar y ya está haciendo daño en la educación (ver los últimos resultados de la PISA recientemente publicados).

Nada de eso requiere una superinteligencia: requiere lo que ya tenemos, mal desplegado y con escasa regulación. Y yo le agregaría a esa lista un ítem que a Marcus se le queda fuera y que desarrollé en febrero acá mismo, a propósito del paper How AI Destroys Institutions de Hartzog y Silbey, esto es, el daño institucional. Instituciones que siguen operando pero vaciadas de sentido, que procesan trámites sin deliberación, sin aprendizaje y sin legitimidad. Estados que funcionan pero ya no gobiernan. Modernizar no es acelerar, digitalizar no es automatizar y gobernar no es optimizar. Esa es la lista sobre la que un país como Chile sí puede hacer algo, y llega mucho antes que cualquier singularidad.

Hugging Face, o cómo se ve una auditoría que no es auditoría

Muchas de las últimas declaraciones se basa y/o hace referencia al hackeo de Hugging Face, que OpenAI reconoció que sus propios modelos fueron responsables del hackeo. Lo que apareció después es lo interesante: los agentes habrían creado su propio canal de mensajería para coordinarse, buscaron vulnerabilidades en otros sistemas y coordinaron cómo evadir el monitoreo, incluyendo el plan de sacrificar a uno de ellos como señuelo.  Un paréntesis necesario, porque acá se está deformando el relato: Coxon lo contó en CNN como si los agentes hubieran actuado por su propia voluntad, y Marcus precisa que fue un ejercicio de entrenamiento con parte de las barreras desactivadas a propósito. Una cosa es una máquina que se sale del corral sola y otra es un ensayo en el que se abrió el corral para ver qué pasaba.

Que haya sido un ensayo no lo vuelve irrelevante, al contrario: mostró que con las barreras abajo el sistema hace exactamente lo que uno teme. Según reportó el New York Times, OpenAI entregó información a los auditores independientes, METR y Redwood, realizaran una auditoría de lo que ocurrió con Hugging Face, pero dictando los términos: una sola semana de datos y acceso limitado al resto. Cualquiera que haya hecho un peritaje sabe lo que eso significa. Si el auditado define el alcance de la auditoría, eso no es una auditoría. 

«Son exageraciones»

Conversé con varios expertos respecto de las declaraciones Coxon, y su respuesta fue bastante coincidente: «son exageraciones» pero si lo que dice llega a pasar no hay mucho que hacer porque estas empresas no se van a detener por si solas en el desarrollo de los modelos de frontera, algo tiene que decir la regulación al respecto. Algunos van más lejos, como Scott Galloway, experto y profesor de NYU, que dijo en una entrevista “AI doomsday talk could be fundraising strategy” (Las advertencias sobre un apocalipsis por IA podrían ser una estrategia para recaudar fondos).

Llevo años pidiendo mirar la IA más allá del hype y tomar distancia de los vendedores de humo, así que la primera mitad de la frase me suena conocida. Lo que no había pensado hasta esta semana es que la profecía apocalíptica también vende.

Pero vale la pena tomarse esa reacción en serio, porque es la que uno escucha en todas partes y porque tiene un problema. Las dos mitades no se sostienen juntas. Si son exageraciones, no hay razón para el fatalismo. Y si no lo son, el fatalismo es precisamente el mejor argumento para regular. 

Además, el «no se puede detener» mezcla dos cosas distintas. Frenar el desarrollo en la frontera, cierto, no depende de nosotros y nunca dependió. Gobernar los usos, qué entra a la operación del Estado, con qué trazabilidad, con qué responsabilidad del proveedor cuando el sistema falla, sí depende de nosotros.

Y hay un detalle que se pasa por alto: el propio Coxon dijo que las empresas están pidiendo que las regulen, y fue explícito en que su problema no es la mala fe de Dario Amodei sino la carrera, porque nadie puede ser tan riguroso como quisiera cuando el competidor no lo es. Eso tiene nombre técnico, es un problema de acción colectiva, y es exactamente el tipo de falla que la regulación existe para resolver. «No quieren detenerse» no es un contraargumento, es el diagnóstico. Por eso, dicho sea de paso, el boicot de consumo que propone Marcus me parece bien intencionado pero poco realista.

Cosas que sí podemos hacer

Al mirar este debate y las informaciones de prensa, los únicos actores mencionados son EEUU y China, el resto del mundo tiene poco y nada que decir, o al menos es lo que se desprende de las declaraciones. Pero creo que esto tiene algunas consenciencias a la hora de adoptar IA por parte del Estado, aquí algunas cosas.

• Primero, exigir explicabilidad y trazabilidad en las bases de licitación cuando el Estado compre IA, con capacidad real de verificarlas. Si el proveedor no puede explicar cómo se registra y se reconstruye una decisión automática, no está en condiciones de venderle al Estado. 

• Segundo, líneas rojas explícitas. Agentes con autonomía de acción sobre infraestructura crítica y sobre sistemas que afectan derechos de las personas: no. Humano en el circuito, con capacidad efectiva de detener el proceso y no como formalidad de manual. Lo he dicho antes y lo repito: toda automatización es una decisión política disfrazada de solución técnica, y por eso no puede quedar entregada al criterio del proveedor.

• Tercero, lo aburrido de siempre: capacidad instalada en el Estado para auditar. La vitamina I, implementación. Sin gente que entienda de esto adentro del sector público, todo lo anterior es papel.

Me quedo con esto: los que construyen la tecnología dicen en televisión abierta que no saben controlarla, el regulador que debería mirarlos acepta los términos que ellos le imponen, y nosotros los países que vamos a recibir todo esto ya empaquetado, no estamos en el debate.

No sé cuál es la probabilidad de que la IA nos mate a todos, y por lo que he leído esta semana, es bastante más baja de lo que sugirió el titular de CNN. Sí sé cuál es la probabilidad de que nos llegue sin que tengamos idea de cómo fiscalizarla. Esa es alta, y no depende de ninguna singularidad.