IA Untold: por que licenças, prompts e agentes ainda não provam resultado

Por Fernando Tassin, embaixador IA4FIN

Muitas empresas já contabilizam licenças, usuários, prompts e agentes. Poucas conseguem demonstrar quais resultados operacionais mudaram por causa deles.

Esse recorte é especialmente relevante agora. A pesquisa global da IBM com CEOs indicou que somente 25% das iniciativas de IA haviam entregado o retorno esperado e apenas 16% tinham alcançado escala corporativa. A McKinsey, por sua vez, identificou que os chamados high performers, organizações que atribuem impacto relevante de EBIT à IA, representam cerca de 6% dos respondentes e se diferenciam, entre outros fatores, pelo redesenho efetivo de fluxos de trabalho.

A maturidade em IA não deve ser medida pela quantidade de ferramentas disponibilizadas, mas pela capacidade de converter IA em mudanças observáveis nos processos, nas decisões, nos controles e nos resultados da organização.

Licenças, prompts, agentes e acessos são indicadores de entrada. Eles só adquirem significado estratégico quando conectados a métricas de qualidade, custo, tempo, receita, risco e experiência.

É comum transformar “horas economizadas” em valor financeiro utilizando uma multiplicação direta entre tempo estimado e custo médio do profissional. Essa conta pode ser enganosa.

O tempo teoricamente poupado só se converte em resultado quando ocorre redução efetiva de horas extras ou contratação, aumento mensurável de capacidade, redução do prazo de entrega, crescimento de receita, absorção de maior volume sem aumento proporcional de custo, diminuição mensurável de erros, perdas ou retrabalho, realocação comprovada para atividades de maior valor ou melhoria de algum indicador de risco ou experiência do cliente que, de fato, seja importante e que traga benefícios tangíveis para o negócio.

Com isto, o uso da IA nas apresentações de resultados, nos planejamentos estratégicos e nas publicações corporativas já é notícia velha e superada, pois as Empresas anunciam milhares de licenças disponibilizadas, milhões de interações com ferramentas generativas, bibliotecas com centenas de prompts, agentes desenvolvidos por diferentes áreas e estimativas expressivas de horas economizadas.

Os números impressionam. Mas deixam uma pergunta sem resposta: quanto disso realmente modificou o resultado operacional da empresa?

Disponibilizar uma licença corporativa não transforma automaticamente uma organização em usuária intensiva de IA e contabilizar acessos também não demonstra maturidade, pois entre a ferramenta estar disponível e passar a fazer parte de um processo relevante existe uma distância considerável, preenchida por integração, qualidade dos dados, redesenho de atividades, capacitação, controles e, principalmente, mensuração.

Uma empresa pode ter milhares de usuários cadastrados e continuar funcionando praticamente da mesma forma, onde os profissionais acessam a ferramenta para revisar textos, resumir documentos, organizar ideias ou produzir apresentações, ou seja, utilizam a IA como Google, mas os processos centrais permanecem inalterados, os sistemas não conversam entre si, as decisões continuam percorrendo os mesmos caminhos, as aprovações levam o mesmo tempo e os gargalos apenas mudam de lugar. É o famoso usar a IA, dar CTRL C + CTRL V no e-mail, apresentação ou documento para colar o resultado.

Nesse cenário, houve uso de IA, mas não necessariamente transformação.

O mesmo problema aparece na multiplicação de GPTs e agentes internos, pois criar um agente capaz de responder perguntas, consultar documentos ou executar uma demonstração bem-sucedida é relativamente simples. O desafio é incorporá-lo a uma operação real, com acesso governado a dados confiáveis, integração com sistemas corporativos, gestão de permissões, tratamento de exceções, monitoramento contínuo e responsabilidade claramente definida, onde o processo foi fielmente mapeado e seus respectivos indicadores revisados para serem comparados posteriormente no modelo “sem IA” versus “após o uso da IA”.

Um agente que gera uma resposta não necessariamente gera um resultado.

Em muitos casos, a empresa acumula soluções semelhantes, criadas por áreas diferentes, sem proprietário definido, manutenção estruturada, governança ou critérios para avaliar sua continuidade. Alguns agentes são usados apenas durante o entusiasmo inicial, enquanto outros transferem trabalho para a etapa seguinte, produzem mais conteúdo, mas aumentam o esforço de revisão, acelerando uma tarefa, mas ampliam o volume recebido por Jurídico, Compliance, Riscos ou Operações.

A falsa sensação de produtividade individual de cada funcionário pode esconder ou aumentar e muito a ineficiência sistêmica e operacional das empresas.

Imagine uma ferramenta que reduza de duas horas para vinte minutos a elaboração de determinado relatório e que, a princípio, o ganho parece evidente, mas a conta muda se o documento continuar aguardando três dias por aprovação, precisar ser conferido integralmente, depender de dados reconciliados manualmente ou não influenciar nenhuma decisão relevante. A tarefa inicial ficou mais rápida, o processo que parecia mais ágil, não.

Essa distinção é fundamental porque as empresas costumam medir a IA no ponto em que ela apresenta o melhor desempenho, e não no fluxo completo em que o valor deveria aparecer.

Há uma diferença semelhante entre biblioteca de prompts e base de conhecimento compartilhada, onde muitas Empresas disponibilizam uma coleção organizada de comandos para ajudar usuários a obter respostas mais consistentes, mas não resolve a fragmentação do conhecimento institucional, pois os prompts não identificam, por si mesmos, qual política está vigente, qual documento prevalece em caso de conflito, quem aprovou determinada orientação, quais exceções devem ser consideradas ou quando uma informação precisa ser atualizada.

Em resumo, uma biblioteca de prompts organiza perguntas em um diretório comum, mas uma base de conhecimento, de verdade, organiza fontes, contexto, autoridade, versões e responsabilidades de forma transparente e escalável.

Quando essa diferença não é compreendida pela liderança ou até mesmo pelos usuários “comuns”, a empresa tenta resolver na interface um problema que está na arquitetura da informação. Basicamente, digitalizaram para a IA um processo que já era ruim e que talvez nem soubessem que existia. A equipe aperfeiçoa a forma de perguntar, mas a IA continua consultando documentos dispersos, desatualizados ou contraditórios e o resultado pode parecer sofisticado e, ainda assim, estar errado.

Assistentes corporativos também precisam superar o isolamento, pois ferramentas desconectadas dos sistemas centrais podem aumentar a produtividade individual, mas dificilmente transformarão a operação em escala. Não adianta o usuário economizar tempo de pesquisa se terá de ficar copiando e colando resultados de pesquisa feitos na Plataforma de IA para outros sistemas ou documentos. Isso é uma troca de tempo mal aproveitado.

Para gerar valor relevante, a IA precisa participar dos fluxos reais da empresa, como consultar informações autorizadas, compreender o contexto da transação, acionar etapas, registrar decisões e devolver resultados aos sistemas que sustentam o negócio, tudo isso com métrica e governança.

Isso não significa abrir acesso irrestrito ao core da organização, pois quanto maior a integração, maior deve ser a disciplina sobre identidade, permissões, segregação de funções, rastreabilidade e limites de atuação, onde o ponto central é que uma IA sem contexto corporativo tende a funcionar como ferramenta periférica, já uma IA integrada pode se tornar capacidade operacional, desde que governada na mesma proporção de seu alcance.

Há também um grande debate sobre as métricas, que precisa ser aprofundado e que para muitos é desconfortável, pois expõe diversos pontos de atenção das áreas da Empresa.

Quando a Empresa resolve apenas divulgar números mágicos em matérias ou posts em redes sociais enaltecendo indicadores sem profundidade de análise, existe apenas uma estimativa de tempo, não necessariamente um resultado.

O mesmo cuidado deve ser aplicado a números de usuários ativos, prompts processados, agentes criados, pessoas treinadas e casos de uso catalogados, pois todos são indicadores úteis para acompanhar mobilização e adesão, mas não deveriam ser apresentados como prova suficiente de produtividade, escala ou retorno, lembrando que, a maturidade em IA começa quando a empresa distingue métricas de atividade de métricas de impacto.

As primeiras mostram que algo está acontecendo, como quantidade de acessos, interações, treinamentos e projetos, já as de impacto, demonstram que o negócio mudou, como redução ou aumento do custo por transação, tempo total do processo, taxa de erros, volume processado, conversão, margem, satisfação do cliente, exposição ao risco e qualidade das decisões.

Para isso, é necessário estabelecer uma linha de base, dado que, se a Empresa sequer sabe quanto custava, quanto demorava e quantos erros determinado processo produzia antes da adoção da IA, qualquer narrativa de ganho será vulnerável e a melhoria pode decorrer de sazonalidade, mudanças na equipe, revisão de procedimentos ou outros investimentos realizados no mesmo período. Basicamente, se você não sabe quando e por que os números subiram, também não saberá quando eles caírem e isso pode ser fatal para o negócio.

Também é preciso considerar o custo completo da solução, como licenciamento, infraestrutura, integração, consumo de modelos, curadoria de dados, revisão humana, manutenção, monitoramento, gestão de incidentes e atuação das áreas de controle fazem parte da conta, pois um conteúdo gerado em segundos e revisado durante uma hora não representa automação plena. Um agente que exige acompanhamento permanente pode gerar capacidade, mas também cria um novo custo operacional, em tese, invisível.

Importante destacar que o objetivo de debater este tema no artigo não é reduzir o valor da inteligência artificial, pois a IA já demonstra capacidade real de ampliar produtividade, melhorar decisões e reconfigurar operações, porém, precisamos enfatizar pontos como o risco existente de substituir evidência por entusiasmo e chamar de transformação aquilo que ainda é apenas experimentação bem divulgada.

Outro ponto muito importante é que empresas maduras também precisam saber encerrar iniciativas que não estão gerando resultados consistentes ou estão apenas aumentando custo operacional sem sentido. Agentes sem uso relevante, soluções duplicadas, projetos cujo custo supera o benefício e casos de uso que não atingem níveis mínimos de qualidade devem ser revistos ou descontinuados, uma vez que manter um portfólio crescente de projetos apenas para sustentar uma narrativa de inovação consome recursos, aumenta complexidade e dificulta a identificação das aplicações que realmente funcionam.

O avanço na adoção corporativa de IA não será definido por quem distribuir mais licenças, publicar mais prompts ou criar mais agentes, ele será definido por quem conseguir mostrar, com dados verificáveis, quais processos mudaram, qual valor foi capturado e quais riscos foram assumidos para produzi-lo.

A pergunta decisiva, portanto, não é quantas pessoas utilizam IA na empresa, é outra: se todas as ferramentas fossem suspensas amanhã, quais indicadores operacionais efetivamente piorariam?

Quando a organização consegue responder esta pergunta com precisão, deixa de depender de números mágicos, mas quando não consegue, talvez ainda esteja medindo movimento e chamando de resultado.