Las ultimas declaraciones de Ilya Sutskever generaron revuelo en la mundo IA. Ilya cofundador y exdirector científico de OpenAI, de donde se fue hace un tiempo generando un revuelo; sin que queden muy claros los motivos. Solo sabemos que fue parte de una jugada para quitar poder a Sam Altman y no lo consiguió.

En una entrevista que dio a Reuters, declaró que aumentar el entrenamiento ya no genera mejores resultados. Es decir que ya no alcanza con mas datos y mas poder de computo para mejorar el rendimiento de los modelos. Es decir que el uso de grandes cantidades de datos sin etiquetar para el pre entrenamiento llegó a chocar con una pared.

Si bien destaca que que los avances basados en la cantidad y calidad de los datos y la potencia de procesamiento fueron los motores que impulsaron a la IA en la década del 2010, ahora ya no son suficientes para el siguiente paso y que es necesario buscar nuevas ideas para seguir avanzando en la potencia de los modelos: "La década del 2010 fue la era de la expansión y ahora hemos vuelto a la era de la maravilla y el descubrimiento una vez más. Todo el mundo esta buscando lo siguiente".

A esto, Sam Altman respondió simplemente que “there is no wall” (no hay tal pared);

Podemos pensar que, de alguna manera, ambos tienen razón. Es evidente que los nuevos modelos donde la diferencia sustancial es la mayor cantidad y calidad de los datos y mucha mas potencia de entrenamiento, solo superan superan levemente a sus predecesores. Por lo que en ese aspecto, si no se hay descubrimientos transformadores, se está llegando a un límite.

Pero Ilya solo se refería al pre entrenamiento de los modelos, por lo que seguro que todavía queda mucho por recorrer en las etapas de ajuste fino o inferencia.

A la pregunta ¿Ya tenemos las herramientas para llegar a la IA General?, parece que según Ilya claramente es un no y según Sam aparentemente es un si, ya que preguntó: “in your heart do you believe we’ve solved that one or no?” (¿En tu corazón crees que hemos resuelto eso o no?), dando a entender que el problema ya esta resulto.

La verdad que no creo que esté resuelto, si bien los avances son increíbles y no paramos de sorprendernos, simplemente no puedo creer que la respuesta sea tan simple, que alcance con solo amontonar mas datacenters, sin una evolución importante en los algoritmos o la tecnología de cómputo.

Como siempre en estos momentos de burbuja IA, es imposible saber que responde a la realidad y que solo para generar impacto en la caza de los millones de dólares en movimiento.