Desafio da Sensedia
Governar e controlar o consumo diário de milhões de tokens de LLMs, utilizados por seus devs em ferramentas voltadas a aumentar sua produtividade técnica em tarefas de desenvolvimento de software.
Papel do AI Gateway
O Sensedia AI Gateway atuou como camada de mediação central, viabilizando o projeto em três pilares: controle de tokens e abstração do provedor, com painel único que rastreia consumo em tempo real por usuário e abstrai a API mesmo com troca de LLM; segurança corporativa, centralizando credenciais em cofre seguro e integrando SSO, eliminando vazamentos via contas pessoais; e performance, com roteamento dinâmico e fallback automático entre modelos, garantindo fluxo ininterrupto.
Resultados
A iniciativa escalou o uso de IA com controle: de 350 milhões para 1,26 bilhão de tokens diários (com picos de 2 bilhões), totalmente auditados e governados, sem latência expressiva. Cerca de 140 desenvolvedores usam a ferramenta ativamente, com mais agilidade e automatização de tarefas via MCP/Jira. O uso se expandiu para áreas não técnicas, como Marketing, democratizando LLMs avançados sem onerar o orçamento com licenças individuais.
