Seus agentes de IA são mensuráveis, visíveis e controláveis?

A adoção de agentes de IA saiu da fase de piloto isolado para se tornar parte da operação diária das empresas. Isso trouxe uma pergunta que a maioria ainda não consegue responder: Como provar que um agente está, de fato, entregando resultado com base no que foi investido?

Por que uma tarefa concluída por um agente de IA não significa sucesso necessariamente?

No mundo de APIs e microsserviços, já conhecemos bem esse cenário. Uma resposta HTTP Status Code 200 confirma que a chamada foi processada. Não quer dizer necessariamente que o resultado estava correto. Um endpoint pode devolver 200 com payload semanticamente errado, ou mesmo 200 com mensagem de erro no payload, e nenhum monitoramento tradicional identifica isso.

No mundo dos agentes de IA, a armadilha muda de forma, mas não de natureza. Não existe HTTP Status Code equivalente, o que existe é tarefa concluída. O agente percorre o fluxo do início ao fim, chama as ferramentas certas e faz o reasoning adequado, mas conclusão não é sucesso. Um agente pode concluir uma tarefa e, ainda assim, ter recomendado o fornecedor errado ou resumido um contrato de forma enganosa. A pergunta que decide se valeu o investimento não está no "concluído", está na qualidade e assertividade da execução. É exatamente essa camada que a maioria das organizações ainda não mede.

Alguns dados de mercado confirmam a dimensão do problema:

• O Gartner já projetava em 2025 que mais de 40% dos projetos atuais de IA agêntica seriam cancelados até o fim de 2027, citando custos crescentes, valor de negócio pouco claro e controles de risco fracos.
• Em uma pesquisa recente divulgada pela Forbes, vemos que metade das empresas que já rodam IA em produção ainda não consegue medir o retorno disso. A fatia que já colocou agentes autônomos em produção tende a sentir esse problema de forma ainda mais aguda, já que não há um humano no loop revisando cada execução.
• Em pesquisa do Gartner com 227 líderes de vendas, conduzida entre agosto e setembro de 2025, 31% citaram a dificuldade de provar ROI de ferramentas de IA como principal desafio para 2026.

Por que o AIOps clássico não é suficiente para agentes de IA?

O Gartner cunhou o termo AIOps (Artificial Intelligence for IT Operations) em 2017, para descrever a aplicação de IA e machine learning na correlação de eventos, detecção de anomalias e automação de resposta em ambientes de TI. Mas quando falamos de IA atualmente, geralmente estamos falando de IA generativa, um entre vários outros tipos de inteligência artificial.

Um rótulo impreciso vira escopo de compra indefinido, que vira expectativa não correspondida. Esse é exatamente o tipo de problema que aparece nos motivos de cancelamento de projetos de IA. Custo crescente e valor de negócio pouco claro raramente vêm de tecnologia ruim, mas de comprar algo sem saber exatamente o que está sendo comprado.

Essa falta de consenso com o termo foi o que abriu espaço para uma disciplina nova, diretamente ligada à arquitetura agêntica: AgentOps.

O que é AgentOps?

AgentOps é uma disciplina operacional em um mundo em que já existe DevOps, MLOps e LLMOps. Enquanto DevOps se materializa entregando e mantendo sistemas altamente disponíveis, e MLOps mantendo o ciclo de vida do modelo sob controle, AgentOps mantém o comportamento dos agentes de IA mensurável, visível e controlável.

Isso vai além de simplesmente monitorar. É uma camada de operação de produção para agentes de IA, responsável por direcionar como times lançam, observam, avaliam, depuram, protegem, controlam e evoluem sistemas autônomos ou semi-autônomos depois que eles saem da experimentação. Na prática, essa camada se estende sobre quatro principais frentes:

• Trajetória e execução: rastreamento passo a passo do raciocínio do agente e das ferramentas chamadas ao longo de um workflow agêntico.
• Memória e contexto: comportamento de recuperação e retenção de informação que alimenta as decisões do agente de IA.
• Políticas em tempo de execução: guardrails, limites de permissão e aprovação humana para ações de maior impacto.
• Avaliação e auditoria: capacidade de repetir, depurar falhas e comprovar, depois do fato, que uma decisão autônoma foi tomada dentro do esperado.
  ‍

Diferente do AIOps clássico, o AgentOps ainda é uma disciplina em construção. Não existe uma única ferramenta ou prática de mercado, e sim um ecossistema aquecido. No entanto, isso é um risco. Um ecossistema sem padrão dominante é sinônimo de risco de lock-in e custo de integração crescente a cada nova ferramenta adotada.

Nesse ponto entra o esforço de padronização técnica mais promissor do momento: as GenAI Semantic Conventions do OpenTelemetry. Nelas, temos definido um vocabulário comum de spans para chamada de modelos de fundação, chamada de ferramentas e execução de agentes, com adoção nativa em frameworks como LangGraph, CrewAI e AutoGen, e em ferramentas de APM como Datadog, Dynatrace e Grafana.

Detalhe de arquitetura importante: a instrumentação de chamada de ferramentas já está endereçada. A camada de MCP Gateway, junto com o LLM Gateway (responsável por governar as chamadas para os modelos de fundação), compõe o que chamamos de AI Gateway. Apesar de ser um detalhe, é super importante, pois a maior parte das ações de um agente de IA hoje não se baseia mais em chamar o modelo em si, mas chamar ferramentas para obter mais contexto.

Conteúdo relacionado: Por que o AI Gateway é essencial para empresas que utilizam agentes de IA?

Quais métricas de AgentOps realmente importam?

Cada uma das quatro frentes de AgentOps tem métricas próprias. Cada métrica responde a uma pergunta de negócio específica. As faixas abaixo não são um consenso fechado, são a régua de maturidade que a Sensedia utiliza como referência, cruzando frameworks de mercado com o que temos observado implementando arquiteturas agênticas em produção.

Trajetória e execução

• Tool-call accuracy (taxa de acerto na chamada de ferramentas): mede se o agente de IA escolheu a ferramenta certa, com os parâmetros certos, na primeira tentativa. A referência que recomendamos como piso de maturidade é 95% já na primeira tentativa. Abaixo disso, cada chamada extra é retrabalho (maior custo).
• Latência p99: o tempo que o usuário, ou o próximo passo dentro de um workflow, demora para obter um retorno. A referência que recomendamos é até 30 segundos em interações conversacionais e até 5 minutos em processamento em lote ou tarefas mais complexas.
  ‍

Por que isso importa? Um turno (volta completa do agente pelo ciclo de raciocinar, chamar uma ferramenta e observar o resultado) com 99% de acerto parece praticamente perfeito isoladamente. No entanto, repetido 100 vezes em sequência, a probabilidade de todos os passos darem certo cai para cerca de 37%. Isso é matemática pura, não falha pontual, e é por isso que taxa de acerto por turno isolado engana tanto quanto "tarefa concluída", como comentamos no início desse conteúdo. No mundo das integrações, esse cenário é bem conhecido: a latência que importa é a latência real (percebida desde o começo da cadeia até o fim), não a de um serviço.

Memória e contexto

• Taxa de alucinação/groundedness: mede se a resposta do agente de IA está fundamentada pelo contexto recuperado, ou se o modelo preencheu a lacuna com algo aceitável, mas inventado. É a métrica que influencia o quanto esse agente pode ser utilizado de forma mais ampla, por clientes ou para decisões reais, críticas, sem supervisão constante. A recomendação é igual ou maior que 4,0 de 5 no eixo de fundamentação de fatos, seguindo a mesma lógica de escala usada por frameworks de avaliação de RAG e LLM-as-judge.

Políticas em tempo de execução

• Instruction-following: mede se o agente respeitou restrições explícitas do prompt e das políticas do seu Harness. A referência que recomendamos como piso de maturidade é 95% ou mais. Como prática de mercado, esse percentual deve ser igual ou maior que 95%.
• Refusal rate (taxa de recusa): com que frequência o agente se recusa a agir quando não deveria (o oposto da alucinação, mas igualmente custoso). Até 5% em consultas legítimas é saudável.

Avaliação e auditoria

• Recovery rate (taxa de recuperação): a capacidade do agente de se recuperar de um erro sem precisar de intervenção humana. O recomendado é acima de 70% em falhas transitórias de ferramenta. Inclusive, 100% de recuperação não é um bom sinal, pois geralmente significa que o agente está mascarando alguma falha persistente com sucesso fabricado.
• Cost-per-success: total de tokens gastos dividido pelas conclusões bem-sucedidas, não pelas tentativas. Até 2x o custo da tarefa é o teto que recomendamos como referência. É a métrica que une execução técnica e resultado financeiro na mesma régua.
  ‍

Nenhuma dessas métricas isoladas conta toda a história e nem responde a pergunta sobre o ROI, se valeu o investimento sobre o agente.

Conteúdo relacionado: Como preparar a arquitetura da sua empresa para agentes de IA?‍

De quem é a responsabilidade quando um agente de IA falha?

Nenhuma das quatro frentes anteriores responde à seguinte pergunta: Se um agente falhar, quem é o responsável?

A resposta, hoje, na maioria das empresas, é "não sabemos". E o problema não costuma ser por falta de ferramentas. O playbook de segurança que a maioria das empresas tem foi construído para um tipo de ameaça diferente.

O ponto cego desse playbook é justamente onde a maior parte do risco de IA existe hoje: dentro da empresa. Compartilhamento indevido de informação, uso fora do escopo esperado, comportamento mal direcionado do próprio agente. O risco não vem necessariamente de fora, vem de dentro. Um agente não é um funcionário que erra uma vez e pode ser questionado depois, ele é um sistema que repete a mesma decisão, certa ou errada, em escala e em segundos, sem pausa para reconsiderar.

Em uma auditoria trimestral, em uma aprovação do gerente ou mesmo em um treinamento anual, todos dependem do intervalo entre uma decisão humana e a próxima para funcionar como ponto de controle. Um agente não dá esse intervalo. A política continua certa no papel, mas o problema é que ela não está presente no momento exato em que a decisão de um agente de IA é tomada.

Em 2023, o Gartner criou o AI TRiSM (Trust, Risk and Security Management). É um framework que parte de uma premissa simples: política declara intenção, controle garante comportamento. Quando o sistema age sozinho, só a segunda coisa sustenta governança de verdade. A metodologia existe para transformar o que hoje é documento em mecanismo - regras que não ficam guardadas esperando a próxima auditoria, mas que são aplicadas no exato momento em que o agente decide agir.

De forma prática, isso se traduz em três exigências que uma política escrita sozinha não consegue cumprir:

• Visibilidade: saber quais agentes existem, onde rodam e o que cada um pode acessar. Um agente que ninguém mapeou (Shadow AI) não é governável por definição.
• Aplicação em tempo de execução: validar e bloquear comportamento fora do escopo no instante da ação, e não depois. É a diferença entre descobrir um problema e impedir que ele aconteça.
• Rastreabilidade: registrar cada ação com dono, escopo e contexto de autorização, de forma que descobrir "quem autorizou isso", “quando” e “por que” sejam uma consulta, não uma investigação.
  ‍

Perceba que nada disso é sobre travar o agente. É sobre garantir que ele opere dentro do escopo que recebeu, e poder comprovar isso a qualquer momento. É justamente isso que separa um agente que pode assumir uma decisão crítica de um que fica eternamente em experimentação.

Como AgentOps ajuda a provar o ROI de estratégias com agentes de IA?

Como vimos no início, muitos projetos de IA agêntica são cancelados por valor de negócio pouco claro ou dificuldade de medir. Líderes apontam a dificuldade de provar ROI como principal desafio. Nenhum deles diz que a tecnologia não funciona. Todos dizem a mesma coisa de formas diferentes: ninguém consegue provar que deu certo. E provar isso tem dois lados que não se substituem.

O primeiro é execução. O agente faz o que deveria fazer? Com que qualidade? A que custo? É o território do AgentOps e das métricas que vimos. Sem isso, afirmar que o agente está funcionando é uma percepção, não um número que sobrevive a uma conversa de orçamento.

O segundo é legitimidade. O agente fez aquilo dentro do que estava autorizado a fazer? Existe trilha para comprovar? É o território do AI TRiSM. Sem isso, nenhuma área de risco, compliance ou auditoria assina embaixo na hora de dar autonomia real ao agente, e um agente sem autonomia real é apenas uma experimentação eterna.

O ponto que une os dois: um agente que não pode ser medido nem responsabilizado não sai da experimentação. E a experimentação é exatamente o estágio onde o custo já é integral e o retorno ainda é parcial, porque cada execução ainda depende de alguém olhando. O ROI de um agente não aparece quando ele começa a funcionar, aparece quando ele deixa de precisar de supervisão em toda execução. Essa transição depende de evidência, não de confiança.

É aqui que a arquitetura deixa de ser detalhe técnico e vira condição de negócio. Métrica de qualidade por chamada de ferramenta, política aplicada em tempo de execução e identidade própria por agente têm um requisito em comum: só existem se houver um ponto central por onde toda chamada de IA passa. Se cada squad instrumentar o seu agente do seu jeito, a empresa pode até conseguir responder perguntas isoladas, mas não consegue responder no nível da organização.

É esse o papel que o AI Gateway cumpre na prática: ele é a camada intermediária habilitadora para sua estratégia de IA, centralizando e potencializando segurança e governança tanto do tráfego para os modelos de fundação quanto do tráfego de ferramentas e fontes de dados para os agentes. Não é só por onde o tráfego passa, mas onde a política sai do papel e vira controle em tempo real. É exatamente aí que nasce o dado que prova o valor do agente.

Conteúdo relacionado: Como controlar os custos com IA através de AI FinOps?

Conclusão

Dificilmente conseguiremos fazer tudo de uma vez. Tentar fazer tudo ao mesmo tempo costuma não dar certo. Comece por um agente, o de maior risco ou o de maior valor. Instrumentar um agente bem ensina mais sobre o que a sua operação realmente precisa medir do que instrumentar dez pela metade.

Antes de escalar esse primeiro agente, estabeleça a baseline. Dados quantitativos são essenciais. Com baseline, discurso vira argumento. É a diferença entre "o time percebeu que ficou mais rápido" e "o tempo de ciclo caiu X%". Já nesse primeiro agente, dê identidade e escopo de autorização próprios. Credencial própria e escopo de autorização por agente são baratos de fazer no primeiro agente e caros de corrigir no décimo. É a mesma prática que temos com sistemas distribuídos, mas, com agentes de IA, o crescimento é exponencial. Com um agente medido, com baseline e com identidade, você não está replicando um agente, está replicando um método.

Questões de custo são extremamente importantes para uma estratégia de IA. O controle precisa acontecer em tempo de execução, não em relatórios seguintes.

Abrimos com a pergunta sobre como provar que um agente está entregando valor. A resposta incômoda é que você não prova depois. Você decide, antes de colocar o agente em produção, se vai ser capaz de provar. Um agente instrumentado desde o primeiro dia responde a essa pergunta em minutos. Um agente que rodou seis meses sem medição, sem baseline e sem identidade própria não responde nunca.

Isso não é um problema de modelo. É um problema de arquitetura.

Quer saber como garantir o ROI em suas estratégias baseadas em agentes de IA? Converse agora com nossos especialistas!