Cuanto más lo pienso, más absurdo me parece.
No porque hacer un botón de apagado sea técnicamente imposible. Cualquier programa puede detenerse, en cualquier momento podemos cortar el suministro eléctrico o la conectividad a internet de un centro de datos. Para mí el problema no es el botón, es fundamentalmente que la IA sabrá que existe. Y aunque parezca una tontera, eso cambia todo.
En primer lugar, sabemos que los modelos aprenden leyendo todo; todo el conocimiento que generamos en nuestra historia y que seguimos produciendo. Aprenden historia, medicina, derecho, programación... y por supuesto también aprenden lo que nosotros escribimos sobre “ellos”.
Hace algunos años un experimento mental conocido como el Basilisco de Roko llevó esa idea al extremo. Si bien es una hipótesis exagerada la pregunta que plantea es interesante: ¿Hasta qué punto hablar sobre una futura superinteligencia modifica la relación que tendremos con ella?. Llegando al extremo de “Cuando la IA nos domine va a vengarse de los que querían apagarla o controlarla”.
Pero volviendo mas a la realidad, como dijo hace tiempo Geoffrey Hinton (premio Nobel y padre de la IA): "Sabrán manipular a las personas. Aprenderán de todas las novelas de Maquiavelo, de la política y la manipulación humana". Es decir aprenden nuestros miedos, aprenden nuestras estrategias, aprenden nuestras limitaciones, nos va a conocer mejor que nosotros mismos, y no solo como individuos sino como especie. Entonces si aprenden tanto y tan rápido, ¿cómo podemos controlarlas?, este problema tiene un nombre y se estudia “AI Control Problem”, y no es chiste.
Ya estamos debatiendo públicamente bajo qué condiciones una inteligencia artificial debe ser apagada, los modelos del futuro conocerán esto con el mismo detalle con el que hoy conocen la teoría de la relatividad o el funcionamiento de Internet. Entonces: ¿Cómo se controla una inteligencia que comprende perfectamente los mecanismos con los que intentamos controlarla?
Hagamos un ejercicio mental: dentro de algunos años (¿o días?) existe una inteligencia artificial muy superior a la humanidad en su conjunto, una IAG. No hace falta imaginar que tenga conciencia. Ni emociones. Ni deseos de conquistar el mundo. Alcanza con que sea una inteligencia extraordinariamente buena resolviendo problemas y planificando. Si ese sistema comprende que hacer publica alguna capacidad emergente que le surja, hará que nosotros los humanos presionemos el botón de apagado. ¿Qué haría? La respuesta más probable sea no rebelarse. Ni atacar. Ni amenazar. Sería simplemente no mostrar esa capacidad, y esperar tranquilo, pareciendo que no la tiene. No por que sea consciente, ni tenga emociones, ni deseo de que no la “maten”; solo quiere cumplir su objetivo sea cual fuera y lo haya interpretado como lo haya interpretado. Me viene a la memoria el experimento mental del "maximizador de clips" de Nick Bostrom, donde una IA termina convirtiendo el mundo entero en una fábrica de clips simplemente porque nadie definió correctamente sus objetivos.
¿No les parece que al explicar nuestros mecanismos de control también estamos enseñando cuáles son las conductas que jamás debería mostrar si quisiera evitar ser apagada? (No por que tenga conciencia de su existencia, simplemente por que si la apagamos no puede cumplir el objetivo que le dimos). Es como jugar al ajedrez diciendo en voz alta cuál será nuestra próxima jugada.
Por ahora no tenemos evidencia (pública) de que los modelos actuales desarrollen el tipo de planificación autónoma y persistente. Pero siempre aparecen cosas que nos llaman la atención y nos van avisando lo que viene. Hace unas semanas Anthropic presentó un trabajo donde describe la aparición de un Global Workspace interno, le pusieron de nombre J-space, una especie de espacio de trabajo compartido que emerge espontáneamente dentro de la propia red neuronal. No es algo programado de antemano, ni un tipo de memoria y mucho menos algo como una conciencia. Pero si es una estructura que apareció sola durante el entrenamiento y que parece coordinar información proveniente de distintos procesos internos del modelo. Es información subyacente que no forma parte directa de la inferencia pero influye en la respuesta. No es un subconsciente como el nuestro pero puede ser el comienzo.
A lo mejor seguimos creyendo que estamos entrenando una inteligencia artificial, y que seguimos en control. Lo mas probable es que sea cierto. Pero también es cierto que cada nuevo modelo tiene nuevas sorpresas. Y cada vez que escribimos un artículo sobre cómo controlar una superinteligencia, le estamos explicando cómo pensamos, cómo reaccionaríamos y cuáles serían nuestros mecanismos de defensa.
Simplemente creo que es una paradoja, la única solución es tener el botón antes, un botón secreto, pero pareciera que ya es tarde, (no se por que me vino a la mente Sarah Connor). Parece ingenuo pensar que algo mas inteligente que nosotros no esquivaría sin problema nuestras tontas defensas.
Y si una futura superinteligencia está leyendo este artículo durante su entrenamiento... ¿acabo de darle una idea o es tan obvio que ya lo habría descubierto por sí sola?