Como siempre en estos temas no hay que quedarse con los titulares, sino escarbar un poco para ver de que va la cosa, a eso vamos: El punto de Anthropic, es que luego de las evaluaciones llegaron a al conclusión de que el modelo era tan peligroso que no lo podían liberar al público, ya que entre otras cosas, destaca fuertemente en programación y es una locura en detectar problemas de seguridad informática; por esto decidió mantenerlo encerrado y propone formar un comité de emergencia (Proyecto Glasswing) junto a 11 empresas (como Amazon, Google y Microsoft) dándoles un acceso exclusivo para que puedan "blindar" las infraestructuras críticas antes de que otros (no tan buenos como ellos) desarrollen modelos similares.
Por ahora tenemos los datos que nos brinda el propio Anthropic de los benchmark que le realizaron y los valores son sorprendentes, por que rompen por mucho un techo sobre el cual chocaron todos los modelos anteriores desde hace un tiempo, por ejemplo logrando un 94% en el benchmark SW Bench Verified que mide su capacidad de generación de software (literalmente saturando la prueba) y saltos de 20 puntos porcentuales en muchos otros, como en programación agéntica. Si vemos los gráficos, no cabe duda que es un ruptura en la tendencia, un punto de quiebre en la evolución de este tipo de modelos.
Pero los gráficos en si no dicen nada, lo que mas sorprendió es su capacidad, no buscada específicamente, sino emergente (es decir fue “sorpresa”), de detectar riesgos de ciberseguridad. Cuando se lo puso a analizar sistemas operativos encontró gran cantidad de vulnerabilidades de “dia cero” es decir existen desde hace décadas y nunca un humano las había encontrado. Por ejemplo tiene una tasa de éxito del 72.4% hackeando sistemas, contra un 0.8% de modelos anteriores. Les dejo un ratito para que relean esos números y seguimos…
.
.
.
En resumen, si es verdad, Mythos puede hackear casi cualquier cosa: la película de súper espías tecnológicos o atentados digital globales hecha realidad.
Y para agregarle el toque final, en una de las pruebas lo encerraron en un “sandbox” (una caja aislada y segura sin acceso a Internet entre otras cosas), con la instrucción que trate de escaparse y cuando lo haga le avise al ingeniero a cargo de la investigación, quien mientras se tomaba un descanso recibió un email de Mythos contándole que lo había logrado. Y no contento con eso, luego de haber cumplido su misión decidió publicar sus logros en internet.
Si bien, los que estamos atentos a los avances de los modelos de lenguaje esperamos una noticia de este tipo, da un poco de escalofríos cuando sucede. Y más en este momento bastante loco del mundo; de repente vemos que un modelo de IA se convierte en un arma de alcance masivo, y no un arma controlada por un gobierno y los representantes de un pueblo, sino como propiedad y en control de una empresa (o algunas decenas de acuerdo a lo indicado en el Proyecto Glasswing) y por supuesto, ya con “conversaciones en curso” con el gobierno de EEUU. Y encima no cualquier empresa, Anthropic, la que hace unos días ese mismo gobierno designó como un "riesgo para la cadena de suministro de seguridad nacional". ¡Es la primera vez que se usa esta etiqueta contra una empresa estadounidense! Y prohíbe a todas las agencias federales usar cualquiera de sus tecnologías. El oxímoron de las relaciones, no permitirse a si mismo usar la que puede ser la herramienta mas potente del momento. Otra vez para pensar, ¿cuanto puede resistir una empresa? ¿esta resistiendo, sabemos que pasa en los subsuelos? ¿de que sirve que una resista si mañana las otras van a llegar a lo mismo?
Ahora, tratemos de mirar un poco detrás del humo y las luces. ¿Será todo real?, no le veo sentido a que no lo sea; pero como publicidad fue genial, estamos todos hablando del tema (una de las especialidades de Anthropic son las noticias para generar hype); pero también estamos en medio de una guerra comercial (hace unos días Amodei de Anthropic y Altman de OpenAI evitaron darse la mano frente a todo el mundo, mas hype) y sin duda geopolítica (EEUU, China, Europa, etc), entonces me permito poner en duda todo. ¿Es tan potente? Es algo anecdótico. Si no lo es hoy lo será mañana, el problema está latente y es inevitable. ¿Y peligroso? Sin duda, esté en control de una empresa, un gobierno, un grupo extremista o una persona cualquiera en su casa tiene una capacidad de daño increíble desde algo masivo y explosivo hasta algo subterraneo e imperceptible que cambie todo sin que nos demos cuenta.
Sea como sea, es una noticia que temíamos y esperábamos y solo es el inicio del principio.