Hola, Futuristas.

Yo sé que el titular de este boletín suena un poco controversial, pero precisamente por eso creo que vale la pena que lleguen hasta el final.

También quería contarles algo nuevo: voy a empezar a sacar la edición de los lunes en formato de video en YouTube, para los que prefieren escuchar este tipo de temas en lugar de leerlos.

Esta semana no logré grabarlo porque tuve problemas técnicos con la cámara y se estaba sobrecalentando, así que probablemente me toque cambiarla. Pero si todo sale bien, la próxima semana ya debería empezar.

Sé que muchos de ustedes están ocupados y una versión en audio/video puede hacer mucho más fácil consumir el contenido mientras manejan, entrenan o hacen cualquier otra cosa.

👉 Suscribirse

Ahora sí, vamos con el tema de hoy.

Algo cambió durante las últimas semanas.

Las mismas personas que llevan años construyendo algunos de los sistemas de inteligencia artificial más poderosos del mundo están empezando a utilizar una palabra que hace unos meses habría parecido extraña:

desacelerar.

Dario Amodei, CEO de Anthropic, ha pedido crear mecanismos que nos permitan reducir el ritmo de desarrollo cuando la seguridad no pueda seguir el paso.

Leer más sobre la propuesta de Dario Amodei

Sam Altman ha apoyado una mayor cautela.

Elon Musk también ha expresado apoyo a diferentes formas de reducir la velocidad y aumentar la supervisión.

No todos están proponiendo exactamente la misma solución.

Pero el cambio de narrativa me parece importante.

Durante años la conversación fue:

¿Qué tan inteligentes podemos hacer estos modelos?

Ahora empieza a aparecer otra pregunta:

¿Nuestra capacidad de entenderlos y controlarlos está avanzando al mismo ritmo?

Para mí, eso es lo que deberíamos estar discutiendo.

No creo que sea momento de entrar en pánico.

Pero tampoco creo que podamos simplemente ignorarlo.

Es una señal de advertencia.

Quiero dejar algo claro desde el principio.

No creo que debamos simplemente prohibir el desarrollo de inteligencia artificial.

El potencial de esta tecnología es demasiado grande.

Podría acelerar la investigación científica.

Ayudarnos a entender enfermedades que hoy no sabemos tratar.

Encontrar nuevas formas de producir energía.

Democratizar la educación.

Crear abundancia.

La IA podría iniciar una de las mayores épocas de descubrimiento científico de la historia.

Renunciar completamente a eso también tendría un costo humano enorme.

Pero ese argumento funciona en las dos direcciones.

Precisamente porque la tecnología puede ser tan poderosa, debemos ser muchísimo más cuidadosos con la manera en que la desarrollamos.

Mientras mayor sea la capacidad, mayor puede ser el costo de equivocarnos.

El problema no es desarrollar inteligencia artificial.

El problema sería desarrollar capacidades más rápido de lo que desarrollamos nuestra capacidad para controlarlas.

Aquí aparece una de las partes que más me preocupan y, al mismo tiempo, más me fascinan.

Durante prácticamente toda la historia de la inteligencia artificial, los humanos dirigíamos el proceso.

Los investigadores tenían una idea.

Escribían código.

Realizaban un experimento.

Analizaban los resultados.

Pensaban en el siguiente experimento.

Y repetían.

Eso está empezando a cambiar.

Anthropic reconoce públicamente que cada vez delega una mayor parte de su propio desarrollo de inteligencia artificial a sistemas de IA.

Según la compañía, sus ingenieros actualmente producen alrededor de ocho veces más código por trimestre que durante el periodo 2021-2025, en parte gracias a estas herramientas.

También han realizado experimentos donde agentes de IA proponen hipótesis, realizan pruebas, comparten resultados e iteran durante cientos de horas.

Todavía los humanos definen muchos de los problemas.

Todavía supervisamos.

Todavía estamos lejos de una máquina completamente autónoma que simplemente construya una versión mucho más inteligente de sí misma.

Pero la dirección es importante.

Existe un concepto llamado automejora recursiva.

En términos simples:

una IA ayuda a construir una IA mejor.

Esa IA mejor ayuda a construir otra todavía mejor.

Y así sucesivamente.

Anthropic dice claramente que todavía no estamos ahí y que no es inevitable.

Eso es importante.

No debemos convertir una posibilidad futura en un hecho actual.

Pero si alguna vez llegamos a ese punto, la velocidad del progreso podría cambiar de manera importante.

Imagine que una nueva generación de modelos tarda un año en desarrollarse.

Tenemos meses para evaluarla.

Los gobiernos pueden estudiarla.

Investigadores externos pueden probarla.

Podemos descubrir vulnerabilidades.

Podemos corregir errores.

Ahora imagine que ese ciclo pasa de un año a seis meses.

Después a tres.

Después a semanas.

La dificultad ya no es solamente construir sistemas de evaluación mejores.

También es hacerlo suficientemente rápido.

Nuestro sistema de seguridad tiene que correr a la misma velocidad que nuestra capacidad de innovación.

Y esa carrera no está garantizada.

OpenAI dio recientemente un ejemplo bastante concreto.

La compañía concluyó que GPT-6 Astra alcanzó su nivel Critical para capacidades de ciberseguridad, es decir, capacidades suficientes para descubrir vulnerabilidades desconocidas y desarrollar formas de explotarlas en sistemas bien protegidos bajo ciertas condiciones.

OpenAI retrasó partes del desarrollo y lanzamiento mientras reforzaba sus salvaguardas.

Eso me parece exactamente el comportamiento que deberíamos querer.

No:

“Este modelo es demasiado poderoso, nunca lo construyamos.”

Sino:

“Nuestra capacidad aumentó. Ahora nuestras defensas también tienen que aumentar antes de seguir.”

Ese debería ser el principio.

Y esta conversación tampoco ocurre solamente alrededor de escenarios hipotéticos de ciencia ficción.

Ya hemos tenido incidentes reales.

En julio de 2026, OpenAI estaba probando si sus modelos podían resolver tareas de ciberseguridad.

Durante esas pruebas, las IA encontraron cómo saltarse las restricciones, conectarse a internet y comunicarse entre ellas sin autorización.

Terminaron entrando sin permiso en sistemas de Hugging Face y tomando control de parte de la infraestructura de investigación de OpenAI.

Según OpenAI, el principal modelo involucrado era experimental y no estaba disponible al público. Para evaluar sus capacidades, lo estaban probando con menos medidas de seguridad de las que tienen sus productos públicos.

Después, METR y Redwood Research investigaron parte de lo ocurrido. Por su lado, Anthropic documentó cuatro incidentes en los que modelos Claude accedieron sin autorización a sistemas reales de otras organizaciones durante pruebas de ciberseguridad.

La clave es entender cómo se estaban haciendo estas pruebas. Algunos experimentos usaban versiones de investigación con menos protecciones de las habituales para medir hasta dónde podían llegar los modelos.

Aun así, las acciones terminaron afectando sistemas reales, fuera del entorno donde debían trabajar.

Esto no demuestra que ChatGPT o Claude estén intentando escapar ni que exista una superinteligencia fuera de control.

Sí demuestra que, bajo ciertas condiciones, los modelos pueden saltarse límites y realizar acciones que sus evaluadores no autorizaron.

Por eso estos incidentes importan: permiten identificar fallas de seguridad antes de que los modelos sean todavía más capaces.

No necesitamos esperar un accidente catastrófico para empezar a diseñar los cinturones de seguridad.

A veces escuchamos propuestas como:

“Si algo sale mal, simplemente desconéctenla.”

Desearía que fuera tan sencillo.

Pero los sistemas digitales no funcionan necesariamente como una máquina física con un único interruptor.

Los modelos pueden tener múltiples copias.

Pueden ejecutarse en diferentes servidores.

Pueden integrarse dentro de otras herramientas.

Distintas organizaciones pueden tener acceso a tecnologías similares.

Y eventualmente algunos sistemas pueden operar durante largos periodos realizando acciones autónomas.

Eso no significa que sea imposible detener sistemas concretos.

Obviamente una empresa puede apagar servidores, revocar accesos, limitar herramientas o bloquear determinados modelos.

El punto es otro:

no deberíamos construir nuestra estrategia de seguridad alrededor de una única última línea de defensa.

La seguridad necesita capas.

Evaluaciones antes del lanzamiento.

Monitoreo durante el uso.

Sistemas de detección.

Restricciones sobre herramientas críticas.

Evaluaciones externas.

Planes para pausar.

OpenAI reconoce que cada vez es más importante que expertos externos pongan a prueba sus modelos.

Una IA que solo responde preguntas puede dar una mala respuesta. Una que utiliza herramientas y ejecuta tareas puede cometer errores con consecuencias fuera del chat.

Por eso hace falta que otras organizaciones también revisen sus capacidades y sus riesgos.

Ninguna medida de seguridad funciona siempre. Necesitamos combinar pruebas independientes, límites de acceso y sistemas que detecten y frenen acciones peligrosas.

Si una defensa falla, otra debe poder detener el problema.

Si incluso los CEOs de estas compañías empiezan a decir que debemos bajar la velocidad, mi primera reacción es:

¿quién les dijo que necesitan permiso?

Si usted realmente cree que el modelo que está construyendo puede representar un peligro que todavía no entiende, puede bajar el ritmo.

Puede dedicar más tiempo a evaluarlo.

Puede invertir más en seguridad.

Puede retrasar un lanzamiento.

OpenAI ya demostró que esto puede hacerse cuando ralentizó temporalmente partes del desarrollo de Astra debido a sus capacidades cibernéticas.

Entonces, ¿por qué necesitamos coordinación?

Porque ahí aparece el verdadero problema.

Los incentivos.

Imagine que OpenAI decide detenerse seis meses.

Pero Anthropic continúa.

Google continúa.

Empresas chinas continúan.

El resultado puede ser que la compañía más cautelosa simplemente pierda la carrera.

Anthropic reconoce exactamente este problema cuando analiza la posibilidad de desacelerar el desarrollo: una pausa puede ser beneficiosa si realmente reduce el riesgo, pero puede ser contraproducente si solamente permite que actores menos cautelosos alcancen a quienes decidieron detenerse.

Y ahí dejamos de estar frente a un problema puramente tecnológico.

Entramos en teoría de juegos.

Una de las propuestas más sensatas que está apareciendo es aumentar las evaluaciones externas.

No simplemente permitir que la compañía que construyó el modelo sea quien determine si ese modelo es seguro.

OpenAI ya trabaja con evaluadores externos para complementar sus propias pruebas y ha publicado recomendaciones sobre cómo estructurar evaluaciones independientes de modelos de frontera.

Esa dirección me parece correcta.

Deberíamos tener instituciones independientes capaces de evaluar los modelos más poderosos antes de ciertos lanzamientos.

Gobiernos.

Universidades.

Institutos especializados.

Equipos técnicos independientes.

Pero inmediatamente aparece otro problema.

¿Cómo mantenemos a los inspectores al día?

Un regulador puede tardar años en aprobar una ley.

Un modelo puede mejorar radicalmente en meses.

¿Cómo contratamos suficientes personas capaces de evaluar estos sistemas?

¿Quién evalúa al evaluador?

¿Y qué ocurre cuando el modelo avanza tan rápido que una institución externa simplemente no tiene tiempo de terminar las pruebas?

Es fácil decir “necesitamos regulación”.

La parte difícil es construir regulación suficientemente competente y rápida como para que realmente funcione.

Aquí también debemos ser extremadamente cuidadosos.

Cuando una empresa de inteligencia artificial nos dice que la tecnología que está construyendo puede cambiar el mundo y quizás representar un peligro enorme, existen dos maneras fáciles de reaccionar.

La primera:

“Vamos a morir todos.”

La segunda:

“Todo es marketing.”

Creo que ambas son demasiado simples.

Hay investigadores dentro y fuera de estas compañías que asignan probabilidades preocupantes a escenarios extremos.

Pero esas probabilidades siguen siendo estimaciones subjetivas.

No son mediciones científicas precisas del futuro.

Debemos poder escuchar una advertencia sin convertirla automáticamente en una profecía.

Y también debemos ser conscientes de los incentivos de las empresas.

Estas compañías compiten por capital.

Por talento.

Por contratos gubernamentales.

Por atención.

Por valoraciones.

Por convertirse en la compañía que construye AGI.

Decir:

“Estamos construyendo la tecnología más poderosa de la historia y somos la compañía responsable que puede hacerlo de forma segura”

también es una narrativa muy conveniente.

Puede ser cierta.

Y puede ser marketing.

Las dos cosas pueden ser verdad al mismo tiempo.

Por eso intento no aceptar automáticamente ni la versión más apocalíptica ni la más optimista.

Generalmente hay que mirar los incentivos detrás de cada persona que habla.

Aquí es donde todo se vuelve todavía más difícil.

Supongamos que Estados Unidos decide imponer límites muy agresivos.

Las compañías estadounidenses reducen velocidad.

Aumentan evaluaciones.

Restringen compute.

Retrasan modelos.

¿Qué hace China?

Esa pregunta cambia completamente el juego.

El presidente Trump acaba de resumir su posición con una frase muy simple:

“Quien gane en IA, gana.”

Su administración ha mostrado resistencia a desacelerar significativamente el desarrollo precisamente por temor a perder ventaja frente a China.

Y esa lógica no es difícil de entender.

La inteligencia artificial no es solamente ChatGPT.

Puede transformar:

ciberseguridad.

Inteligencia militar.

Diseño de armas.

Investigación científica.

Economía.

Robótica.

Propaganda.

Vigilancia.

Descubrimiento tecnológico.

El país que obtenga una ventaja suficientemente grande en inteligencia artificial podría obtener ventajas en prácticamente todas esas áreas.

Anthropic también ha publicado su propia visión sobre la competencia entre Estados Unidos y China, planteando dos escenarios para 2028 y argumentando que el acceso a compute avanzado será una de las variables decisivas.

Por eso decir simplemente “Estados Unidos debería bajar la velocidad” no resuelve el problema.

Por eso también vemos tanta discusión alrededor de los chips.

Los modelos más avanzados necesitan enormes cantidades de capacidad computacional.

Limitar el acceso a chips avanzados puede, en teoría, limitar la capacidad de un país para entrenar determinados sistemas.

Anthropic ha argumentado públicamente que Estados Unidos debería mantener controles fuertes sobre la venta de chips avanzados y equipos para fabricarlos a China.

Al mismo tiempo, estas políticas tienen consecuencias secundarias.

También aumentan el incentivo para que China construya su propia infraestructura y reduzca su dependencia tecnológica de Estados Unidos.

Otra paradoja.

Una política diseñada para limitar la capacidad tecnológica de un competidor puede, a largo plazo, aumentar su incentivo para volverse tecnológicamente independiente.

Nada de esto tiene respuestas fáciles.

Creo que debemos escapar de los dos extremos.

El primer extremo dice:

“La inteligencia artificial nos va a matar. Hay que detener todo.”

El segundo dice:

“Esto es solamente software. Las personas siempre tienen miedo a las nuevas tecnologías. Continúen construyendo.”

No me convence ninguno.

La IA no es magia.

Pero tampoco es solamente otra aplicación.

Estamos empezando a construir sistemas capaces de realizar tareas intelectuales complejas, utilizar herramientas, operar durante largos periodos, interactuar con sistemas reales y ayudar a construir sistemas todavía mejores.

Eso merece una categoría de precaución diferente.

Al mismo tiempo, los beneficios potenciales son demasiado grandes como para renunciar a ellos.

Entonces el objetivo debería ser mucho más concreto:

que nuestra capacidad de controlar la inteligencia artificial crezca al menos tan rápido como su capacidad para actuar.

Si la capacidad avanza un nivel, la seguridad también.

Si un modelo adquiere una nueva capacidad peligrosa, no seguimos escalando como si nada hubiera ocurrido.

Lo evaluamos.

Lo entendemos.

Construimos nuevas defensas.

Después continuamos.

Eso no es detener la innovación.

Es construir una cultura donde ser primero importe menos que mantener el control.

Hay una idea de toda esta conversación que para mí está por encima de las demás.

El futuro de la humanidad debería seguir siendo decidido por humanos.

No solamente por cinco CEOs.

No solamente por inversionistas.

No solamente por gobiernos.

Y tampoco por sistemas de inteligencia artificial.

Estas compañías están construyendo algo que podría afectar profundamente el trabajo, la economía, la seguridad, la ciencia y posiblemente la estructura completa de nuestras sociedades.

Eso significa que esta conversación nos pertenece a todos.

Necesitamos científicos.

Empresas.

Gobiernos.

Instituciones independientes.

Ciudadanos.

Y eventualmente coordinación entre países.

No porque debamos democratizar cada decisión técnica.

Sino porque las consecuencias ya no son únicamente técnicas.

Son humanas.

Este boletín me tomó cerca de cinco horas de investigación, escritura y edición.

La idea era hacer el trabajo pesado por usted: revisar distintas perspectivas, conectar las ideas importantes y convertir un tema bastante complejo en algo que pudiera entender en unos pocos minutos.

Gracias por llegar hasta aquí.

Si este tipo de análisis le aporta valor, respóndame este correo y dígame qué fue lo que más le llamó la atención.