La inteligencia artificial (IA), aunque ha reducido el costo por token en procesos de inferencia, está aumentando los gastos generales para las empresas debido a la mayor cantidad de tokens utilizados en tareas complejas. A medida que los modelos de IA se vuelven más avanzados, requieren más pasos internos y el uso de múltiples herramientas, lo que incrementa el número de tokens procesados. Esta situación es comparable a hornear bizcochos gigantes: aunque el costo unitario disminuye, la cantidad de masa utilizada es mayor.
Los nuevos modelos de IA, que realizan razonamientos complejos, demandan más recursos. Funciones como la planificación interna, la auto-revisión y la comparación de opciones han multiplicado el consumo de tokens. Las cifras varían según el tipo de uso: desde simples chats de preguntas y respuestas que consumen entre 50 y 500 tokens, hasta agentes multi-paso que pueden requerir de 100.000 a 1.000.000 de tokens.
Esta tendencia ha afectado a la rentabilidad de las empresas que integran IA en sus servicios. Notion, por ejemplo, ha visto cómo sus márgenes de ganancia se redujeron debido a los costos asociados a la IA. Un estudio del MIT reveló que el 95% de las empresas que ofrecen aplicaciones de IA generativa no están obteniendo beneficios. Las startups dedicadas a aplicaciones complejas también han experimentado un aumento inesperado en sus costos operativos.
El aumento en el consumo de tokens se ha convertido en un desafío financiero para las empresas, que deben equilibrar la mejora en la calidad de sus servicios con el costo creciente de mantener estas tecnologías avanzadas. La promesa inicial de que la IA sería más barata a medida que madurara no se ha cumplido, al menos no de la manera esperada, ya que las capacidades mejoradas de los modelos vienen acompañadas de un mayor consumo de recursos.