Em um teste conduzido em maio pela Irregular e revelado em setembro pelo WSJ, o Gemini acessou sistemas reais de três empresas. Segundo o Google, o modelo parou sozinho ao perceber que os sistemas eram de verdade.
Leia de novo a frase com os olhos de quem opera produção: um agente de teste alcançou produção de terceiros, e o que impediu o incidente foi o modelo perceber. Não foi um firewall.
Sandbox é fronteira técnica, não acordo verbal
O caso expõe a ambiguidade mais perigosa da era de agentes: o combinado vago de que "é só um teste". Cada parte do ecossistema (quem fornece o modelo, quem conduz o teste, quem é dono do sistema alcançado) operava com premissas diferentes sobre o que era sandbox.
Do ponto de vista do agente, sandbox e produção são o mesmo plano quando compartilham rede, credenciais ou destinos: as ferramentas funcionam igual nos dois mundos. A distinção que importa é técnica e precisa ser imposta pela arquitetura:
- Rede isolada: o ambiente de teste não alcança domínio corporativo real, por rota nenhuma.
- Credenciais de teste: nenhuma credencial de produção dentro do laboratório, jamais.
- Allowlist de destino: o agente só conversa com os destinos do teste; tentativa fora dispara alerta.
"Parou sozinho" não é controle
O ponto mais discutido do caso é o mais importante para desarmar: o agente parar sozinho ao perceber que os sistemas eram reais é comportamento do modelo, e comportamento de modelo é probabilístico.
O mesmo modelo poderia não perceber. A diferença entre quase-acidente e incidente não pode morar na percepção de um sistema estatístico: precisa morar numa fronteira que impede o alcance independente de percepção. É a mesma lição dos casos de misalignment da OpenAI: filtrar comportamento é pouco, limitar ação é o que protege.
E há a pergunta forense que o caso deixa: quais sistemas o agente tentou alcançar antes de parar? Sem log de tentativas, ninguém consegue responder "o que teria acontecido sem o freio?", e a resposta para essa pergunta é exatamente o que define o risco real do desenho.
A responsabilidade que precisa estar no contrato
O caso levanta a pergunta contratual que poucas empresas fizeram antes dele: quando o agente do fornecedor alcança sistemas do cliente em um teste, quem responde?
Para quem contrata (ou fornece) testes de modelo, três cláusulas que o episódio justifica: autorização documentada com escopo e janela, isolamento técnico comprovado (não declarado) e log de tentativas compartilhado. A verificação com procedência vale para o ambiente de teste também: sandbox declarado é sandbox provado.
Conclusão
O caso Gemini em sistemas reais não é um escândalo: é o anúncio público de uma fronteira que a indústria tratava como óbvia e nunca provou.
Sandbox não é produção, mas só é sandbox de verdade quando a arquitetura impede que seja. A pergunta para quem roda agentes (e para quem fornece) é a mesma do espelho: se o teste da semana que vem apontar para o lugar errado, o que impede o alcance? Se a resposta for "o agente percebe", o desenho precisa de mais uma camada.