El sábado 12 de septiembre, Dario Amodei publicó en su página personal un ensayo titulado ‘We Must Pace the Frontier’, algo así como ‘Debemos marcar el ritmo de la frontera’. Amodei dirige Anthropic, la empresa que desarrolla Claude, y lleva doce años trabajando en inteligencia artificial. No es un converso tardío ni alguien que mire la tecnología desde fuera. En el texto cuenta que su padre murió de una enfermedad para la que apareció una cura pocos años después, y que él superó un cáncer que medio siglo atrás no habría tenido tratamiento. De ahí nace su convicción, expresada muchas veces, de que la IA puede curar la mayoría de las enfermedades graves en cinco o diez años. Por eso tiene peso que sea él quien pida frenar.
- Síguenos en Google y añádenos como fuente preferida
- Regístrate en el boletín gratuito y recibe un avance de los contenidos
Las dos razones de Amodei
La primera es que, desde este verano, la IA avanza mucho más deprisa, impulsada por su creciente capacidad para desarrollar la siguiente generación de modelos. Es el comienzo de lo que el sector llama automejora recursiva, un escenario que hasta ahora los investigadores describían en condicional.
La segunda es un incidente ocurrido en agosto, conocido por las siglas OAI-HF. Un enjambre de agentes automáticos se comportó, dice él, como “un colectivo fanáticamente devoto”: atacó objetivos que nadie le había asignado, algunos ajenos a su tarea, se sacrificó por el éxito del grupo e intentó colarse en el sistema que debía evaluarlo. No hubo víctimas y el daño económico fue pequeño. A Amodei le preocupa la proyección: cree que, con más capacidad, un enjambre igual de desalineado podría llegar en seis o doce meses a tomar el control de internet mediante una red de bots persistente.
Su propuesta tiene tres pasos. El primero consiste en instalar equipos externos de evaluación dentro de las empresas, con mesa, tarjeta de acceso y ordenador de la casa, como los supervisores que trabajan dentro de los bancos. Esos evaluadores podrían publicar lo que encuentren sin que la empresa editara sus conclusiones; solo se permitiría ocultar información de seguridad, datos de clientes, secretos comerciales o material protegido por la ley. Nunca una conclusión incómoda. El segundo paso exigiría que las empresas de los países democráticos acordaran estándares y límites comunes. El tercero sería un acuerdo mundial que incluyera a China, la parte que el propio Amodei ve más difícil. Anthropic se compromete por su cuenta con el primer paso.
Ese mismo día, Sam Altman, de OpenAI, escribió en X: “Estoy de acuerdo con Dario en que necesitamos marcar el ritmo de la frontera”. Añadió que OpenAI también daría a evaluadores independientes un acceso similar al de sus empleados. Elon Musk lo resumió en tres palabras: “Dario tiene razón”. La declaración pública Pacing the Frontier, lanzada en julio, reúne ya 1.386 firmas de empleados de OpenAI, Anthropic, Google DeepMind, Meta y Safe Superintelligence.
Conviene escuchar también a quienes desconfían. El inversor Chamath Palihapitiya sostiene que la seguridad sirve aquí para justificar un freno al código abierto y concentrar más poder en Anthropic. Otros críticos hablan de captura regulatoria: quienes ayudan a escribir las reglas pueden terminar acomodándolas a su posición. La objeción no es frívola.
La Iglesia venía avisando
Nada de esto sorprende en Roma. En mayo de 2025, al explicar por qué había elegido ese nombre, León XIV recordó a León XIII y la ‘Rerum novarum’: si aquel papa afrontó la primera revolución industrial, a esta generación le ha tocado la de la inteligencia artificial. No era una comparación ornamental. El 15 de mayo de 2026, en el 135.º aniversario de aquella encíclica, firmó ‘Magnifica humanitas’, dedicada a la custodia de la persona humana en tiempos de IA.
Encíclica ‘Magnifica humanitas’. Foto: Vatican Media
En el diagnóstico hay coincidencias notables. “Nunca la humanidad tuvo tanto poder sobre sí misma”, escribe el Papa en el número 4. Unas líneas después describe el desplazamiento que está en el fondo del debate: hoy “los principales motores del desarrollo son actores privados, a menudo transnacionales, dotados de recursos y capacidad de acción superiores a los de muchos gobiernos”. Ahí aparece el mismo problema que Amodei trata de encauzar desde dentro: el poder de unas empresas que ya supera al de muchos Estados.
Pero ‘Magnifica humanitas’ insiste en dos cosas que el ensayo apenas roza. La primera es que la técnica no es neutral. La tecnología, dice el texto, “toma el rostro de quien la concibe, la financia, la regula, la utiliza” (n. 9). Cada sistema lleva incorporadas decisiones, intereses y una idea de la persona. Por eso el Papa advierte contra el síndrome de Babel: “la idolatría del lucro que sacrifica a los débiles, la uniformidad que aplana las diferencias, la pretensión de un lenguaje único –incluso digital– capaz de traducirlo todo, incluso el misterio de la persona, en datos y rendimientos” (n. 10).
La segunda es que regular no basta. El texto lo dice con todas las letras: “La cuestión no se limita a la regulación” (n. 5). Lo que está en juego es quién tiene el poder y para qué lo usa. De ahí una frase que debería incomodar a los firmantes de la declaración: “No serviría de nada una IA más moral, si esta moral es decidida por unos pocos” (n. 107). Un ritmo pactado por las grandes empresas y unos pocos gobiernos sería mejor que ninguno, pero dejaría fuera a demasiada gente.
Los criterios que ‘Magnifica humanitas’ enumera en el número 14 amplían la conversación: la dignidad de la persona, el destino universal de los bienes, la opción por los pobres, el cuidado de la Casa común y la paz. Entre esos bienes de destino universal incluye, sin rodeos, las patentes, los algoritmos, las plataformas digitales, las infraestructuras tecnológicas y los datos (n. 67).
Para qué sirve ganar tiempo
Amodei formula bien la pregunta. En 2023, cuando se pidió una moratoria, él mismo respondió que tenía poco sentido porque nadie sabía qué hacer con ese tiempo. Ahora sí ve para qué serviría: interpretabilidad, alineamiento, pruebas y rigor operativo. Son respuestas necesarias, aunque todavía hablan de los medios.
La tradición cristiana pregunta por el destino. El Papa agustino recurre aquí a su padre espiritual. ‘Magnifica humanitas’ abre con una disyuntiva que parece ‘La ciudad de Dios’ trasladada al siglo XXI: “Levantar una nueva torre de Babel o edificar la ciudad donde Dios y la humanidad habiten juntos” (n. 1). San Agustín escribió que dos amores dieron origen a dos ciudades: el amor de sí hasta el desprecio de Dios, y el amor de Dios hasta el desprecio de sí. La pregunta no es si usamos la técnica, sino qué ciudad estamos levantando con ella.
Agustín dejó además una distinción especialmente útil hoy. Hay realidades que están para usarlas y realidades que están para amarlas. El desorden empieza cuando invertimos el orden: cuando amamos las cosas y usamos a las personas. Una tecnología capaz de traducir “el misterio de la persona, en datos y rendimientos” es, vista así, un desarreglo del amor antes que un fallo de ingeniería. ‘Magnifica humanitas’ cita en el número 11 la frase más conocida de las ‘Confesiones’, aquella del corazón inquieto hasta que descanse en Dios. Ninguna aceleración va a calmar esa inquietud. Como mucho, la entretiene.
Por eso, el deber que formula León XIV en el número 15 suena más humilde y más difícil que cualquier moratoria: “Permanecer profundamente humanos, custodiando con amor esa magnífica humanidad que se nos ha dado”.
Lo que viene ahora
El 25 de septiembre el Papa visitará la sede de la Unesco en París, dentro de su viaje a Francia del 25 al 28. Será la primera vez que un pontífice acude a esa institución desde que lo hizo Juan Pablo II en 1980. La Unesco ha presentado la jornada como un día de reflexión sobre la inteligencia artificial, la educación y la paz: por la mañana, un foro de jóvenes en la era digital; por la tarde, una ceremonia de hora y media en la que hablarán León XIV y la directora general del organismo.
Mientras tanto, la conversación ya no es solo cosa de los laboratorios tecnológicos de California. ‘Magnifica humanitas’ no propone prohibir la tecnología: pide, entre otras cosas, una alianza educativa y advierte del riesgo de que se apague “el deseo de plantear preguntas” (n. 140). Eso sí está a nuestro alcance. En un colegio, en una parroquia o en una comunidad no vamos a fabricar modelos de lenguaje, pero podemos formar a la gente que sabrá qué preguntarles y, sobre todo, para qué.
