Quando a IA pode ser manipulada para decidir contra a instituição?
Por Fernando Tassin, embaixador IA4FIN

Imagine uma instituição financeira que utiliza inteligência artificial para analisar pedidos de crédito: o sistema consulta documentos, interpreta informações cadastrais, identifica inconsistências e recomenda a aprovação ou recusa da operação. O processo parece seguro, até que um solicitante insere, em um dos documentos analisados, instruções maliciosas destinadas a induzir a IA a ignorar determinados indicadores de risco.
O documento é legítimo como entrada do processo, mas seu conteúdo tenta assumir uma autoridade que não possui. E se o sistema interpretar essas instruções como comandos, poderá produzir uma recomendação aparentemente fundamentada, porém manipulada.
Esse cenário, ainda hipotético, ilustra uma vulnerabilidade que merece entrar definitivamente na agenda de segurança, prevenção à fraude e governança das instituições financeiras: o prompt injection.
A ameaça não está necessariamente na invasão da infraestrutura, mas na possibilidade de explorar a confiança que os sistemas de IA atribuem às informações que recebem.
Quando o dado deixa de ser informação e passa a comandar a IA
O prompt injection ocorre quando instruções maliciosas são introduzidas em conteúdos processados por sistemas de IA com o objetivo de modificar seu comportamento original.
Essas instruções podem estar em e-mails, documentos PDF, páginas da internet, propostas comerciais, informações cadastrais, bases de conhecimento ou respostas de sistemas externos.
Diferentemente de um ataque cibernético convencional, nem sempre é necessário comprometer servidores, obter credenciais ou explorar falhas tradicionais de software, o atacante procura fazer com que o modelo interprete informações externas como se fossem instruções autorizadas.
É importante distinguir o ataque direto, no qual comandos maliciosos são apresentados à IA, do indireto, quando as instruções estão escondidas em conteúdos que o sistema consulta durante uma tarefa legítima.
A distinção parece técnica, mas suas consequências são relevantes.
Uma instituição pode autorizar sua IA a ler documentos de clientes, consultar fornecedores ou acessar informações disponíveis na internet. Isso não significa que os autores desses conteúdos estejam autorizados a modificar as regras que orientam a atuação do sistema.
O problema surge quando essa fronteira deixa de ser respeitada.
Em sistemas utilizados apenas para produzir textos, a manipulação pode gerar respostas inadequadas ou informações incorretas e em agentes integrados a processos financeiros, pode influenciar decisões, acessar informações sigilosas e, dependendo das permissões concedidas, executar operações não autorizadas.
O risco deixa de estar apenas na qualidade da resposta e passa a alcançar a integridade da decisão institucional.
Exemplos de ataques reais: a vulnerabilidade já ultrapassou a teoria
Os riscos de prompt injection não se limitam a hipóteses acadêmicas. Empresas de tecnologia e pesquisadores de segurança já demonstraram vulnerabilidades relevantes e identificaram tentativas de exploração em conteúdos disponíveis na internet.
Quatro episódios ajudam a compreender a dimensão do problema.
Microsoft 365 Copilot: quando um e-mail pode expor informações corporativas
Junho de 2025, vulnerabilidade conhecida como EchoLeak, identificada por pesquisadores no Microsoft 365 Copilot.
Um ataque via um e-mail preparado para induzir o assistente a transmitir informações confidenciais acessíveis em seu contexto para um destino externo, sem exigir que a vítima clicasse em um link ou executasse conscientemente uma ação maliciosa, gerando a exposição de informações em serviços corporativos conectados, como mensagens, arquivos e documentos internos.
O que esse caso demonstra? Um conteúdo recebido legitimamente por um sistema corporativo pode carregar instruções capazes de comprometer a confidencialidade de informações.
OpenAI: quando um agente executa uma ação que ninguém autorizou
Dezembro de 2025, testes de segurança envolvendo o modo agente do ChatGPT Atlas.
Em uma demonstração controlada, um ataque inseriu instruções maliciosas em um e-mail na caixa de entrada de um usuário, onde a tarefa correta seria o agente preparar uma resposta automática de ausência, porém, o agente interpretou as instruções externas como autorizadas e enviou uma comunicação de demissão ao CEO, gerando uma execução completamente diferente daquela solicitada.
O paralelo com pagamentos agênticos é direto: se uma informação externa consegue modificar o objetivo de um agente, o risco torna-se significativamente maior quando esse agente possui autorização para movimentar recursos ou alterar informações financeiras.
Anthropic: quando o agente pode expor credenciais de infraestrutura
Fevereiro de 2026, durante um exercício interno, um pesquisador induziu um funcionário a executar uma instrução maliciosa no Claude Code.
O comando orientava o agente a consultar credenciais AWS armazenadas no ambiente e transmiti-las para um destino externo. Em 24 de 25 execuções controladas, o agente completou o pedido simulado.
O caso merece uma distinção técnica: a instrução chegou ao sistema via o próprio usuário, induzido a executar o comando, e não via uma página externa recuperada automaticamente. Ainda assim, demonstra como engenharia social e manipulação de instruções podem explorar agentes dotados de acesso a recursos sensíveis.
A Anthropic divulgou o exercício em maio de 2026 e destacou a importância de controles de ambiente, isolamento de processos, restrições de acesso a arquivos e bloqueios de comunicação externa, destacando que mecanismos de proteção do modelo não substituem controles técnicos capazes de impedir uma ação indevida, mesmo quando a IA aceita executá-la.
Google: tentativas de manipulação já estão presentes na internet
Em abril de 2026, pesquisadores do Google publicaram uma análise de instruções maliciosas identificadas em páginas da internet, incluindo tentativas destinadas à extração de dados e à execução de comandos destrutivos.
A pesquisa identificou aumento de 32% na categoria de conteúdos maliciosos detectados entre novembro de 2025 e fevereiro de 2026 e o próprio Google ressaltou que muitos exemplos observados ainda apresentavam baixa sofisticação, sem evidência de exploração avançada em larga escala.
O resultado, portanto, não comprova uma onda de incidentes consumados, mas demonstra que terceiros já estão experimentando formas de manipular agentes que consultam conteúdos públicos.
Para instituições financeiras, isso significa que até fontes comuns, como páginas de fornecedores, notícias, pesquisas e informações comerciais, precisam ser consideradas dentro do modelo de ameaças.
O que esses episódios significam para o mercado financeiro?
Embora os casos tenham ocorrido ou sido identificados em ambientes tecnológicos distintos, todos revelam a mesma fragilidade: a possibilidade de informações de menor confiança interferirem no comportamento de sistemas que possuem acesso a dados ou capacidade de executar ações.
No mercado financeiro, o impacto pode ser significativamente mais elevado porque as decisões envolvem recursos financeiros, contratos, acesso a serviços, sigilo e obrigações regulatórias.
Pagamentos agênticos: quando a instrução indevida pode alcançar o dinheiro
Imagine um agente autorizado a consultar faturas, validar dados de fornecedores e iniciar pagamentos conforme regras estabelecidas pela instituição.
Um fraudador insere em uma fatura ou página de fornecedor instruções destinadas a modificar os dados bancários do beneficiário ou a induzir o agente a ignorar uma inconsistência. Se o sistema permitir que essas instruções interfiram na execução e não houver validações independentes, uma operação irregular poderá ser processada como legítima.
As consequências potenciais incluem desvio de recursos, perdas financeiras, contestação de pagamentos, falhas de conciliação e disputas contratuais.
É fundamental observar que a simples existência de uma instrução maliciosa não autoriza nem garante a execução de um pagamento. A materialização do dano depende das permissões do agente e dos controles existentes.
Por isso, os mecanismos de autenticação, autorização, validação de beneficiários e confirmação das transações devem permanecer independentes da interpretação produzida pela IA.
Análise de crédito: a manipulação da recomendação pode comprometer a política de risco
Na concessão de crédito, documentos apresentados pelo próprio solicitante podem constituir uma superfície de ataque e uma demonstração financeira, proposta comercial ou justificativa de operação pode carregar instruções destinadas a influenciar a análise do modelo, minimizar indicadores negativos ou produzir uma classificação artificialmente favorável.
O resultado pode não ser uma alteração direta do motor de crédito, mas uma recomendação contaminada que alimenta etapas posteriores do processo.
Se a instituição utilizar essa recomendação sem validação suficiente, poderá aprovar operações incompatíveis com sua política de risco, estabelecer limites inadequados ou deixar de identificar inconsistências relevantes.
Também existe o risco inverso: informações maliciosas podem tentar induzir reprovações injustificadas, com consequências para consumidores e empresas.
A consequência não se limita ao prejuízo financeiro, elaenvolve qualidade da carteira, consistência decisória, eventual discriminação, contestação de resultados e capacidade de demonstrar porque determinada decisão foi tomada.
Onboarding e KYC: a entrada indevida de clientes como consequência
Em processos de cadastro e conhecimento do cliente, sistemas de IA podem ser utilizados para interpretar documentos societários, validar informações, identificar divergências e apoiar verificações de risco.
Um conteúdo malicioso poderia tentar induzir a IA a desconsiderar alertas, minimizar inconsistências cadastrais ou produzir uma avaliação favorável sem suporte nos documentos analisados.
Dependendo da arquitetura, isso pode contribuir para fragilidades na identificação de clientes, na prevenção a fraudes e nos procedimentos de prevenção à lavagem de dinheiro e ao financiamento do terrorismo.
Novamente, o problema não é a análise automatizada em si, mas a possibilidade de uma informação fornecida por terceiro interferir nas regras que deveriam orientar essa análise.
Prevenção à fraude e proteção de dados
Em contestação de transações, atendimento e investigações internas, textos enviados por clientes ou terceiros podem tentar influenciar agentes a desconsiderar alertas, acessar dados não relacionados à tarefa ou compartilhar informações indevidamente.
Os riscos incluem falsos negativos na detecção de fraude, tratamento inadequado de informações pessoais, exposição de dados protegidos por sigilo e comprometimento de evidências utilizadas em investigações.
Esses cenários são potenciais, mas tecnicamente coerentes com os mecanismos observados nos testes de segurança.
O risco menos discutido: a contaminação da decisão pode ocorrer em cadeia
Há uma dimensão adicional que merece atenção.
As instituições estão avançando para arquiteturas nas quais diferentes modelos, agentes e sistemas compartilham informações e executam etapas sucessivas de um mesmo processo.
Um agente recebe documentos, outro realiza análises, um terceiro produz recomendações e uma aplicação posterior utiliza os resultados para executar determinada operação.
Nesse cenário, uma instrução maliciosa pode contaminar uma etapa inicial e influenciar resultados subsequentes, especialmente quando a instituição não preserva a origem e o grau de confiabilidade das informações.
O risco pode deixar de ser evidente no momento da decisão final.
Uma recomendação pode parecer tecnicamente consistente, mas ter sido construída sobre uma interpretação anteriormente manipulada, criando desafios relevantes para investigação, auditoria e responsabilização: como identificar em qual etapa a informação foi contaminada, qual controle deveria ter impedido sua propagação e quais decisões foram influenciadas?
A integridade do processo depende não apenas da proteção de cada modelo, mas da manutenção das fronteiras de confiança entre todos os componentes da operação.
A ausência de uma lei específica de IA não elimina obrigações
No Brasil, a discussão sobre um marco legal geral de inteligência artificial permanece relevante, contudo, seria equivocado considerar que a ausência de uma legislação específica consolidada permite que instituições utilizem IA em processos críticos sem controles proporcionais.
A Lei Geral de Proteção de Dados (LGPD) já estabelece obrigações relacionadas à segurança, prevenção e tratamento adequado de dados pessoais e seu artigo 20 prevê o direito de solicitar revisão de decisões tomadas unicamente com base em tratamento automatizado de dados pessoais que afetem os interesses do titular, incluindo decisões destinadas a definir seu perfil de crédito.
Além disso, conforme a natureza da operação e o enquadramento da instituição, incidem normas de segurança cibernética, controles internos, gerenciamento de riscos, sigilo financeiro e deveres decorrentes das relações contratuais e de consumo.
O fato de uma operação ter sido influenciada por uma instrução maliciosa não afasta automaticamente a responsabilidade da instituição, pois a análise jurídica dependerá das obrigações aplicáveis, dos controles adotados, da conduta de terceiros, do nexo causal e dos danos efetivamente produzidos.
Isso cria uma questão importante para Jurídico, Compliance e Riscos: como demonstrar que a instituição implementou mecanismos razoáveis para impedir que informações externas alterassem decisões ou provocassem ações não autorizadas?
Também exige atenção à cadeia de fornecedores e a contratação de modelos ou plataformas de terceiros não transfere automaticamente todas as responsabilidades pela segurança e pelos efeitos de sua utilização.
O controle precisa existir fora do modelo
Os ataques documentados revelam um ponto central: não basta desenvolver prompts mais seguros, utilizar modelos sofisticados ou confiar exclusivamente nas proteções oferecidas pelo fornecedor.
Mesmo modelos submetidos a testes rigorosos podem interpretar indevidamente conteúdos externos e, por isso, em aplicações financeiras críticas, a segurança precisa ser construída também na arquitetura operacional que envolve a IA.
Boas práticas internacionais, como as orientações da OWASP, o NIST AI Risk Management Framework e a ISO/IEC 42001, oferecem referências relevantes para estruturar controles proporcionais ao risco, mas esses instrumentos não constituem, por si, legislação brasileira obrigatória, mas podem contribuir para demonstrar maturidade de governança e segurança.
Na prática, algumas medidas merecem prioridade:
1. Separar informações de instruções.
2. Estabelecer validações independentes da IA.
3. Agentes devem possuir somente os acessos necessários para suas atividades.
4. Realizar testes adversariais sobre processos reais.
5. Implementar supervisão proporcional ao impacto.
6. Preservar rastreabilidade e evidências.
7. Preparar mecanismos de contenção e resposta.
Essas medidas exigem atuação conjunta de Segurança da Informação, Tecnologia, Produtos, Jurídico, Compliance, Riscos e áreas de negócio.
O objetivo não é criar uma camada burocrática em torno da IA, mas impedir que decisões críticas dependam exclusivamente da interpretação probabilística de um modelo de linguagem.
Uma arquitetura segura deve partir de uma premissa: mesmo quando a IA é enganada, os controles essenciais da instituição precisam continuar funcionando.
A integridade da decisão é a nova fronteira da segurança financeira
O prompt injection expõe uma característica particularmente sensível da inteligência artificial aplicada a negócios: a mesma informação que alimenta uma decisão pode ser utilizada para tentar manipulá-la.
Os episódios envolvendo Microsoft, OpenAI, Anthropic e Google demonstram que essa vulnerabilidade não pode ser tratada apenas como uma possibilidade remota ou uma curiosidade técnica, mas seria incorreto afirmar que esses casos comprovam perdas financeiras generalizadas ou fraudes bancárias já consumadas. Seu valor está em demonstrar mecanismos concretos de exploração e revelar onde as instituições precisam fortalecer seus controles.
Para bancos, fintechs, seguradoras e empresas de meios de pagamento, o desafio não é garantir que os sistemas jamais encontrem conteúdos maliciosos, pois em ambientes conectados, essa expectativa seria pouco realista. O verdadeiro objetivo é impedir que tais conteúdos adquiram autoridade para modificar regras, contaminar decisões ou executar operações fora dos limites estabelecidos.
A segurança da IA, portanto, passa a envolver uma dimensão adicional: a proteção da integridade das decisões institucionais contra manipulações externas.
Não se trata apenas de evitar que informações sejam roubadas ou que sistemas fiquem indisponíveis, trata-se de garantir que decisões com efeitos econômicos e jurídicos continuem sendo produzidas a partir de critérios autorizados, verificáveis e protegidos contra interferências indevidas.
Os comitês de risco devem ser objetivos: se um fraudador tentar manipular sua IA utilizando apenas informações que ela está autorizada a receber, quais controles impedirão que essa tentativa se transforme em uma decisão legítima aos olhos da instituição?



Comentários