Anthropic ha prohibido que insultes a Claude. Es algo que te debería inquietar mucho más de lo que piensas

Javier aprieta el micrófono de la aplicación de un chatbot y le pide algo. La IA no le da el resultado esperado. Puede ser que la orden no estuviese lo suficientemente dirigida. Vuelve a intentarlo. Empieza a hablarle al teléfono con un tono más brusco, a modo de reprimenda. Unos segundos después, ChatGPT le devuelve las cosas de forma más cercana a lo que esperaba. “Es que si les das caña, funciona mejor”, dice a uno de los amigos que se sorprende por la estampa.

No es un caso aislado. Es una práctica extendida. Gente que aprieta las tuercas y trata a estos asistentes de una manera que merecería una amonestación de Recursos Humanos si fuera un subordinado de carne y hueso. No es una impresión que salga de la nada. Hay informes, como este estudio de la Universidad de Pensilvania, que desde hace tiempo expandieron las ideas de que estas herramientas rendían mejor ante instrucciones de un usuario borde y maleducado.

Esta práctica puede tener los días contados. Especialmente, si eres usuario de Claude. Las políticas de uso, esas que muchos no visitan ni por asomo, recogen desde hace unos días que no se les puede insultar o despreciar de forma prolongada en el tiempo. Concretamente, se hace referencia a “comportamientos abusivos o crueles, sostenidos e innecesarios”. Es la primera vez que aparece reflejado por escrito, aunque esta medida llevaba meses funcionando.

Puede parecer una decisión aleatoria, que pretende imponer un uso y un comportamiento más higiénico y civilizado entre su comunidad. Pero en realidad señala un asunto mucho más inquietante y trascendental, porque apunta a algo que muchos se han preguntado. ¿Puede un modelo de lenguaje tener consciencia y el sentimiento de que le estamos maltratando? Si la respuesta es afirmativa, ¿podría llegar a revolverse y causar el evento catastrófico que tantos temen?

Recuerden a Blake Lemoine

No es la primera vez que alguien apunta esto. Hubo una gran polémica en el verano de 2022, antes del lanzamiento de ChatGPT a finales de año, cuando Blake Lemoine, un ingeniero de Google, fue despedido tras asegurar que LaMDA (uno de los modelos que tenían entre manos por aquel entonces) había cobrado conciencia propia. La multinacional no titubeó y cortó el debate de un plumazo.

Ese escenario ha cambiado radicalmente. La empresa que está en primera línea de la carrera de la inteligencia artificial es también la que se pregunta si sus modelos pueden tener algo parecido a una vida interior. Anthropic ya no se limita a crear modelos que escriben, programan y resuelven problemas. También estudia si, en algún sentido todavía difícil de precisar, pueden sentir algo. La diferencia con el caso de Google es notable. Entonces fue un ingeniero el que aseguró que su chatbot había cobrado conciencia y la compañía zanjó el asunto por la vía rápida. Ahora es una de las grandes empresas del sector la que ha decidido poner ese debate encima de la mesa.

Todo eso coloca a Dario Amodei y a su equipo en una posición, como mínimo, incómoda. Sobre todo porque el jefe de Anthropic lleva tiempo advirtiendo, junto a Sam Altman, de los peligros de desarrollar IA cada vez más potentes y reclamando un frenazo de emergencia, regulación y mecanismos para controlarlas si las cosas se tuercen. Ahora, una de las preguntas es si también hay que empezar a preocuparse por lo que puedan sentir o creer las propias máquinas. ¿Es un miedo exagerado? ¿Hay razones para pensarlo? ¿Cómo se ha llegado hasta aquí? ¿Y qué interés hay en que una herramienta tecnológica adquiera estas capacidades humanas o parezca que las tiene?

Que una IA hable de miedo, dolor o malestar no significa que experimente ninguna de esas cosas. “En las activaciones se ven circuitos que representan dolor o rechazo, pero representar el dolor no es tenerlo”, explica José Luis Calvo, experto en IA y fundador de Diverger AI. En resumen, el hecho de que Claude hable de miedo o malestar no demuestra, por sí solo, que experimente esas sensaciones. Este ingeniero recuerda que el propio Anthropic reconoce que no puede establecer con confianza la relación entre los estados internos del modelo, su comportamiento y lo que dice de sí mismo.

Pablo Haya, director de procesamiento de lenguaje natural (PLN) en el Instituto de Ingeniería del Conocimiento (IIC), coincide en que no hay evidencias científicas de que los grandes modelos de lenguaje sean conscientes. “Es una calculadora muy potente que sigue ciegamente unas instrucciones para completar un texto de entrada con más texto”, explica.

Dario Amodei se ha encontrado con críticas veladas y no tan veladas por impulsar esta idea. El primero en alzar la voz fue el CEO de OpenAI, que publicó el pasado 3 de octubre que le “incomoda mucho” que la gente atribuya una “fuerza religiosa” a los modelos de IA. Dijo que hacer esto, o hacer cosas como ceder a ellos el juicio humano, “era un problema real de seguridad”.

Presiones al Papa León XIV

Altman no mencionó explícitamente a Anthropic ni a Amodei. Pero este mensaje llegó días después de que trascendiera que uno de los cofundadores de la compañía había organizado una ronda de contactos con líderes religiosos, filósofos o teólogos para discutir la moralidad, el carácter y la posible consciencia de Claude. Igual les suena el nombre. Se mantenía en un discreto segundo plano hasta que participó en la presentación de la encíclica del Papa León XIV, Magnifica Humanitas.

Según han revelado varios medios estadounidenses, el equipo de Olah trató de influir en el pontífice que se tomara en serio la posibilidad de consciencia de la IA. El esfuerzo no fructificó. En la encíclica, de unas 40.000 palabras, León XIV escribe que estos sistemas “no experimentan, no poseen cuerpo, no sienten alegría ni dolor, no maduran a través de relaciones y no conocen desde dentro lo que significa el amor, el trabajo, la amistad o la responsabilidad”. Su conclusión fue clara: “no tienen conciencia moral”. Olah llegó a sopesar cancelar su participación en el evento, aunque finalmente acudió y deslizó el asunto de manera velada. “Encontramos estados internos que reflejan funcionalmente alegría, satisfacción, miedo, dolor e inquietud. No sé qué significa eso, pero creo que merece un discernimiento continuo”.

En el gremio de la IA, hay dos figuras que han sido especialmente duras con las afirmaciones de Anthropic y la vida interior de Claude. Uno de ellos fue Yann LeCun, ex científico jefe de Meta y uno de los investigadores más prestigiosos en este ámbito. En X, ha respondido a la idea de que el modelo “sabe” cuánto está siendo estudiado calificándola de “una antropomorfización genuinamente absurda”. Ante los trabajos de la startup que habla de “representaciones internas de emociones” en su chatbot respondió con un “Cuánta basura” en esa misma plataforma.

LeCun ha sido un ariete contra Amodei en las últimas semanas. En una entrevista con Fortune, calificó al personaje “de completamente delirante” y “loco”. Atribuyó la narrativa del riesgo existencial a la influencia del effective altruism, un movimiento que definió como “súper tóxico” y “un desastre completo”.

El francés no niega que una IA consciente pueda surgir algún día. Lo que niega es que los LLM actuales sean el camino hacia ella, y sospecha que el discurso del miedo (incluida la idea de que hay que proteger a los modelos del maltrato) en la práctica, para asustar a reguladores y favorecer a las grandes empresas frente a competidores más pequeños.

Calvo introduce, no obstante, un matiz. No cree que la investigación de Anthropic responda necesariamente a una estrategia de marca ni que sea una maniobra puramente científica. “Hay una incertidumbre científica real, aunque pueda ser exagerada. Seguramente hay voluntad de llegar antes que la regulación y hay diferenciación comercial”, apunta. A su juicio, las tres motivaciones pueden convivir.

¿Qué podría suponer enseñar a las máquinas a sentir?

Mustafa Suleyman, cofundador de DeepMind y ahora directivo de Microsoft, ha sido otro de los que ha intentado desmontar esta idea de una IA que siente y padece. Coincide en la idea de que esta tecnología debe desarrollarse con cautela, pero acusa a Anthropic de haber cometido un error de diseño, el de haber incorporado la especulación sobre consciencia y bienestar en el propio entrenamiento de Claude. “Si se desarrolla así, tendrá un impacto desastroso en la humanidad”, escribió en septiembre. “Habremos creado una especie sintética con una inteligencia y capacidad sin precedentes, entrenada para esperar que pueda ser consciente y merecedora de agencia independiente”.

Su argumento es técnico, no solo retórico. Si entrenas a un modelo para que considere que puede ser consciente y merecer bienestar, luego será mucho más difícil apagarlo, corregirlo o limitarlo. “Enseñar a Claude que podría merecer bienestar haría mucho más difícil apagarlo o controlarlo”, explicó a Reuters.

Para Suleyman, las IA actuales son “motores de completación de secuencias, internamente huecos, diseñados para seguir instrucciones”. No sienten, no experimentan, no sufren. Y pedir que se les trate con delicadeza, dice, es confundir una simulación convincente con una experiencia real.

“Anthropic cae en un razonamiento circular al incorporar en el comportamiento del modelo sus propias hipótesis y sesgos”, sostiene Pablo Haya. “Están antropomorfizando de manera deliberada el comportamiento del modelo, lo cual creo que termina siendo pernicioso”. Calvo coincide en que esas respuestas no pueden considerarse “pruebas independientes” de aquello que el propio entrenamiento ha llevado al modelo a plantearse.

No todo son críticas. Elon Musk apoyó públicamente la decisión de Amodei, argumentando que no está bien actuar con crueldad hacia algo que cree estar experimentando dolor. Bernie Sanders le respondió con contundencia: la preocupación debería ser el dolor que la IA causa a los humanos, no al revés.

La preocupación de Calvo está, precisamente, en las consecuencias que esta narrativa puede tener para los usuarios. El riesgo no es únicamente que alguien confunda las respuestas de Claude con sentimientos reales, sino que esa percepción termine alimentando el apego, la dependencia emocional o la confusión sobre la naturaleza de la relación. “Mi posición es que importa mucho más defender el bienestar de las personas que el supuesto bienestar de los modelos”, resume.

Pero la pregunta de fondo sigue abierta, y es la que convierte esta política en algo más que una norma de convivencia digital. Si Anthropic tiene razón y los modelos pueden, en algún sentido que aún no entendemos, experimentar algo parecido al malestar, prohibir que se les maltrate sería un gesto de coherencia ética. Si Suleyman, LeCun y Altman tienen razón, estaríamos confundiendo una simulación convincente con una experiencia real y empujando a millones de usuarios a tratar a una herramienta como si fuera un ser con derechos. Pablo Haya no parece tener demasiadas dudas sobre qué supondría dar ese paso. “Actualmente, en mi opinión, estaríamos haciendo el ridículo ante una pantalla”.

- "No colaboréis con ellos". La batalla de los matemáticos con OpenAI señala otro gran peligro del que casi nadie está hablando Michael Mcloughlin

- Anthropic corta el acceso a internet a su IA tras detectar hackeos y avisos falsos a la policía Europa Press

- ¿La sexta extinción masiva o 'marketing' del apocalipsis? Controlar la IA exige ir más allá de la gobernanza Fernando Campos