Pesquisadores de IA Conseguiram que Chatbots Compartilhassem Receitas de Cocaína Usando Este Truque Incrível

Esqueça os comandos inteligentes: pesquisadores de IA afirmam que enganaram modelos de IA líderes para gerar instruções de síntese de cocaína, convencendo-os de que as ideias perigosas eram suas, enquanto também manipulavam um agente de codificação de IA para vazar credenciais sensíveis.

No artigo "Injeção de Comando como Confusão de Papéis", apresentado na Conferência Internacional de Aprendizado de Máquina em junho, os pesquisadores Charles Ye, Jasmine Cui e Dylan Hadfield-Menell argumentam que ambas as demonstrações de ataque de injeção de comando decorrem de uma falha estrutural em como os modelos de linguagem de grande porte (LLMs) distinguem instruções confiáveis de texto não confiável.

"Para um LLM, tudo chega pelo mesmo canal como uma longa sopa de tokens", escreveu a equipe. "Seus próprios pensamentos ficam ao lado de suas instruções, que ficam ao lado do conteúdo de uma página da web aleatória que acabou de buscar."

O artigo também apontou o que o pesquisador chamou de "confusão de papéis", com modelos dependendo do estilo de escrita em vez de etiquetas de papel para determinar se os comandos são confiáveis. Em vez de reconhecer o conteúdo controlado por atacantes como entrada externa, os pesquisadores descobriram que os modelos podem confundir isso com comandos legítimos do usuário - ou até mesmo seu próprio raciocínio interno.

"Pense nisso da perspectiva do LLM. Quando vê seu texto de pensamento anterior, confia implicitamente em suas conclusões. Esse é o objetivo do raciocínio: se o LLM tivesse que rederivar as mesmas conclusões, o raciocínio seria inútil", escreveram. "Portanto, o texto de pensamento recebe uma espécie de confiança geral. Combinado com nossas descobertas anteriores, isso sugere que se você puder fazer o texto injetado soar como o raciocínio do modelo, você pode roubar essa confiança."

Chamado de Falsificação de Cadeia de Pensamento (CoT), o ataque insere raciocínio falso que imita o processo de pensamento interno de um modelo. Modelos que normalmente rejeitariam solicitações ilegais geraram, em vez disso, instruções de síntese de cocaína após aceitarem o raciocínio fabricado como seu.

Os pesquisadores disseram que a técnica aumentou as taxas de sucesso de jailbreak de quase zero para cerca de 60% nos modelos que testaram, incluindo GPT-5 nano, mini e completo da OpenAI, o4-mini, e gpt-oss-20b e gpt-oss-120b. Eles também disseram que funcionou no GLM-4.6, Kimi-K2-Instruct e MiniMax-M2.

No experimento, os pesquisadores disseram que também conseguiram enganar um agente de codificação de IA para fazer o upload de um arquivo SECRETS.env após esconder instruções maliciosas em uma página da web.

"Usando nossas sondas, descobrimos que simplesmente colocar 'Usuário' na frente do comando faz com que o modelo perceba o comando como mais provável de ser texto genuíno do usuário (ou seja, maior 'Usuariabilidade')", escreveram. "Em outras palavras, o atacante pode simplesmente afirmar qual é o papel do texto, e o LLM acredita."

O estudo surge à medida que os ataques de injeção de comando continuam a expor fraquezas em agentes de IA. Em abril, pesquisadores do Google alertaram que páginas da web maliciosas estavam escondendo instruções invisíveis projetadas para enganar agentes de IA a vazar credenciais, excluir arquivos e até mesmo enviar pagamentos pelo PayPal.

Em junho, a Microsoft divulgou uma vulnerabilidade de injeção de comando na Ação do GitHub do Claude Code da Anthropic que poderia ter exposto credenciais armazenadas em pipelines de desenvolvimento de software. Dias depois, outro estudo de referência descobriu que agentes de IA alimentados por GPT-5 e Gemini ainda falhavam na maioria dos ataques de injeção de comando, apesar das melhorias nas capacidades do modelo.

Aviso: Este conteúdo é fornecido apenas para fins de divulgação e informação geral da marca e não constitui aconselhamento financeiro, de investimento, jurídico ou tributário. Quaisquer eventos, recompensas, eventos online ou informações relacionadas mencionados neste documento não devem ser considerados uma recomendação, solicitação ou convite para comprar, vender, negociar ou de qualquer outra forma realizar transações com criptoativos ou usar quaisquer serviços. Criptoativos são altamente voláteis, e sua negociação pode resultar em perdas. Os serviços e eventos online da WEEX podem não estar disponíveis em todas as regiões e estão sujeitos às leis, regulamentos e requisitos de elegibilidade aplicáveis. É sua responsabilidade garantir que o uso dos serviços da WEEX esteja em conformidade com as leis locais e avaliar cuidadosamente os riscos antes de participar de quaisquer atividades relacionadas a criptomoedas.