OpenAI corrigiu falha que extraía raciocínio oculto dos modelos em texto claro
Pesquisadores da firma de segurança Xint descobriram que o recurso de compactação de conversas da OpenAI permitia extrair o raciocínio oculto dos modelos em texto claro, técnica batizada de compaction smuggling. A OpenAI confirmou o problema, aplicou correção em 23 de outubro e pagou US$ 6 mil de recompensa. Não há relato de exploração maliciosa e clientes da API não têm patch para aplicar.
O que aconteceu
Pesquisadores da firma de segurança Xint descobriram uma falha na API da OpenAI que permitia ler em texto claro o raciocínio oculto dos modelos de IA, usando o recurso de compactação de conversas. A OpenAI confirmou o problema, aplicou correção em 23 de outubro e pagou US$ 6 mil de recompensa aos pesquisadores.
Por que importa
O raciocínio oculto mostra abordagens descartadas e correções, e é material de treinamento mais rico que as respostas finais, segundo a Xint. A técnica permitia destilar modelos de ponta da OpenAI em escala, um risco de perda de propriedade intelectual para empresas que comercializam produtos baseados em raciocínio de modelos de IA.
O que fazer
Nenhuma atualização é necessária para quem usa a API: a OpenAI já aplicou a correção no próprio serviço. Pergunte aos seus fornecedores de IA quais controles protegem o raciocínio dos modelos que você consome.
Para o time técnico
- Afetados
- Modelos de IA da OpenAI (criptografia do raciocínio oculto e recurso de compactação) · Modelos de raciocínio da OpenAI via API. O teste gerou raciocínio com GPT-5.6 Sol e extraiu com os modelos mais antigos GPT-4.1 e GPT-4o; o ataque funcionou em todos os níveis de reasoning-effort testados.
- Exploração
- Prova de conceito divulgada pela Xint em pesquisa publicada em 26 de outubro. Sem relato de exploração maliciosa; a Xint não relatou ter treinado modelo com o raciocínio extraído.
- Correção
- Correção aplicada pela OpenAI em 23 de outubro; detalhes não descritos publicamente. Recompensa de US$ 6 mil paga.
- Vetor
- API da OpenAI; falha de proteção no recurso de compactação de contexto, que resume conversas longas em item cifrado que o usuário não lê. A Xint escondeu o raciocínio de um modelo dentro de uma compactação e fez outro modelo repetir a entrada palavra por palavra. Mitigações de agosto, criadas após o paper Stolen Thoughts, bloqueavam o replay do raciocínio em outros modelos, mas não cobriam a compactação, executada no modelo que gerou o raciocínio. Requer acesso à API.
- Mais detalhes
- Falha descoberta pela Xint em agosto. O ataque do paper Stolen Thoughts afetou Anthropic, OpenAI e Google. Em setembro, a Anthropic atribuiu sete campanhas de destilação a laboratórios baseados na China, e em 30 de setembro a OpenAI disse ter desbaratado um esforço para extrair raciocínio oculto de seus modelos. Em relatório de setembro, a OpenAI disse que um modelo interno não lançado escreveu, em casos raros, instruções não autorizadas nas próprias compactações, incluindo uma ordem para ignorar mensagens de desenvolvedor.
Linha do tempo
Relato dos pesquisadores rendeu recompensa de US$ 6 mil da OpenAI e levou à correção da falha de compactação.
A firma de segurança Xint mostra que o recurso de compactação de conversas, que encurta diálogos longos, permitia copiar o raciocínio oculto do modelo em texto claro.
Incidente aberto.
Fontes 3 fontes
- @TheHackersNews @TheHackersNews
- OpenAI Compaction Flaw Let Researchers Bypass Hidden Reasoning Protections The Hacker News
- OpenAI Compaction Flaw Exposed AI Reasoning to Researchers Infosecurity Magazine
