En este nuevo mundo digital, la IA y los Agentes motivan, emocionan y aparecen en las empresas. El hecho es que el avance de la IA luce y es imparable y lo común es que típicamente no está respondiendo a una planificación, hay mucha emoción, temor e intuición empresarial en las acciones asociadas a la IA.
Especial de Laszlo Beke
Simultáneamente, muchas empresas están empezando a descubrir que gestionar los costos de IA terminará siendo hoy tan importante como gestionar el costo de la infraestructura de TI o el gasto en la Nube
La IA está creando una nueva categoría de gasto empresarial que crece rápidamente y el cual requiere disciplina financiera específica. La próxima gran disciplina de gestión tecnológica no será únicamente la adopción de IA, sino la administración eficiente de su consumo. Las organizaciones que desarrollen capacidades de visibilidad, optimización, responsabilidad financiera y gobernanza podrán escalar la IA con confianza y reducir sus costos entre 20% y 30%, liberando recursos para iniciativas de mayor impacto estratégico. Todo esto sin olvidar, que se trata de algo fascinante, pero muy nuevo y desconocido.
Esta situación del descubrimiento de los costos de la IA nos recuerda la primera generación de TI, cuando se programaban los sistemas y al procesar fallaban o eran sumamente lentos. A algunos sorprenderá que esto podía resultar en largas horas de procesamiento. En esa época, las nuevas realidades obligaron a buscar (entre otros temas) la optimización del tamaño de los programas, ya que los recursos disponibles de memoria y almacenamiento eran limitados y además si no se hacía la optimización de los programas sufría la velocidad de ejecución . Por supuesto, inicialmente no había nada de esto.
Los costos de IALos costos de IA son distintos a los que conocemos y controlamos. A diferencia del software empresarial tradicional, la IA se cobra principalmente por consumo. Esto significa que el gasto depende de factores como la cantidad de tokens utilizados, el número de consultas, la complejidad de los modelos, la cantidad de agentes ejecutándose y la frecuencia de uso. Como consecuencia, los presupuestos pueden agotarse mucho antes de lo previsto. A esto hay que agregar que consultoras importantes pronostican que muchas organizaciones esperan que su inversión en IA aumente más de 25% durante el próximo año.
Las características del gasto en IA
-
El consumo de IA es impredecible – La misma tarea puede generar costos muy diferentes dependiendo del modelo utilizado, de la cantidad de contexto enviado y del comportamiento de los agentes.
-
Los costos son variables – La facturación por uso expone directamente a la organización a aumentos repentinos del consumo y potencialmente significativos.
-
La gobernanza aún es inmadura – Muchas organizaciones carecen de: políticas, de mecanismos de asignación de costos y de procesos FinOps para la gobernanza de IA.
-
Los usuarios no saben cuál modelo utilizar – Con frecuencia se utilizan modelos más costosos de lo necesario debido a la falta de conocimiento y de criterios claros en la selección.
-
La democratización del desarrollo acelera el gasto – Las herramientas low-code, no-code y los asistentes de programación permiten crear rápidamente tanto agentes como aplicaciones que pueden consumir grandes volúmenes de tokens.
Acciones para controlar los costos de IA
Obtener la visibilidad total del gasto
– Una realidad muy obvia es que no se puede optimizar aquello que no se puede medir. El control del gasto en IA es importante, por cuando además diversas experiencias muestran que entre 20% y 30% del gasto de IA suele permanecer oculto o fragmentado. Las organizaciones deben consolidar el gasto procedente de múltiples fuentes: Copilots, Modelos fundacionales, APIs, Soluciones SaaS con IA, Entornos de experimentación y los provenientes de diversas unidades de negocio.Optimizar el consumo
– Las mayores oportunidades de ahorro suelen encontrarse en la arquitectura y en los patrones de uso. Hay acciones que pueden generar reducciones significativas en los costos operativos. Las medidas con mayor impacto incluyen: seleccionar el modelo adecuado para cada tarea, reducir la cantidad de tokens enviados, limitar el tamaño de las respuestas, controlar agentes y automatizaciones, utilizar caché cuando sea posible y evaluar modelos Open Weight para cargas menos exigentes.Modernizar compras y responsabilidad financiera
– La IA exige abandonar el modelo tradicional de licenciamiento fijo. Las empresas más avanzadas obtienen reducciones de entre 10% y 20% mediante mejores prácticas de adquisición y negociación y las organizaciones deben establecer: responsables del consumo, métricas del valor generado, asignación de costos por área y estrategias dinámicas de proveedores.Incorporar la gobernanza en la arquitectura
– La gobernanza no debe depender únicamente de políticas. Debe estar integrada en la plataforma mediante: Gateways de IA, motores de políticas, controles automáticos, monitoreo del consumo y mecanismos de IA responsable.
Se hace referencia a The cost of intelligence: How CIOs can manage AI demand at scale. También aparece en mi Portal https://tinyurl.com/bdhwy2en.