Pular para o conteúdo principal
Fechar
Infraestrutura

Um chiller quebrado derrubou a internet: a física voltou ao cloud

Gabriel Ferraresi· CEO | Tech861 de novembro de 20263 min
awsoutagemulti-azdata-centersresiliencia

Um data center esquentou demais. E a internet inteira sentiu.

Na última quinta-feira, um evento térmico no data center da AWS em Northern Virginia derrubou a zona de disponibilidade use1-az4 na região US-EAST-1. Mais de 150 serviços cloud foram afetados. Coinbase parou de processar transações. FanDuel caiu em janela de apostas. CME Group teve latência em feeds de mercado.

O que aconteceu tecnicamente

Às 14:30 UTC, uma falha no chiller primário do data center causou pico rápido de temperatura ambiente. Sistemas automatizados da AWS iniciaram desligamento de emergência de instâncias EC2 e volumes EBS para evitar dano permanente ao hardware.

O efeito cascata: o desligamento em massa causou surge de erros de API em outras zonas. O problema era zonal, mas o impacto se espalhou.

A recuperação foi mais lenta do que o esperado. Engenheiros da AWS precisaram sangrar linhas de refrigerante pressurizado e recalibrar controles HVAC para racks NVIDIA Blackwell de alta densidade. Tráfego foi desviado para outras zonas. Mas clientes sem arquitetura Multi-AZ enfrentaram downtime prolongado. Às 13:50 do dia 8, o sistema de refrigeração foi estabilizado. A maioria das instâncias foi restaurada. Algumas permaneceram afetadas.

O que isso revela sobre infraestrutura cloud

Uma única zona de disponibilidade em uma única região pode derrubar operações financeiras globais. Coinbase disse que seus sistemas foram projetados para suportar falha de zona única. Mas o incidente se agravou quando falhas se espalharam por múltiplas zonas.

Arquitetura Multi-AZ não é opcional. É sobrevivência. É a mesma aritmética de ponto único de falha que a cascata da Nichirei na cold chain mostrou em cadeia de frio: o incidente nasce pequeno e mora onde a redundância é nomeada mas não testada.

O detalhe que ninguém destaca

Racks NVIDIA Blackwell de alta densidade térmica estão mudando a física dos data centers. Mais GPU por rack é mais calor por metro quadrado, é mais risco de evento térmico. A infraestrutura de refrigeração de data centers não foi projetada para a densidade térmica que workloads de IA exigem.

O evento térmico da AWS pode ser o primeiro de muitos à medida que clusters GPU escalam. É a fronteira física que já apareceu na compra de usinas pela IA e na fila elétrica do Texas: a escala da IA está cobrando a física, e a física está cobrando com downtime.

Conclusão

Cloud não é mágica. É hardware. Hardware esquenta. E quando esquenta demais, automação desliga tudo para proteger o silício.

Se sua operação depende de uma única zona em uma única região, você está a um chiller quebrado de ficar fora do ar. Multi-AZ, Multi-Region, chaos engineering. Não são best practices. São arquitetura de sobrevivência. Na Tech86, desenhamos arquiteturas que sobrevivem a eventos térmicos, porque hardware falha. Arquitetura não deveria.

Interessado nesta solução?

Conheça nossos serviços gerenciados e infraestrutura.

Infraestrutura cloud gerenciada

Perguntas Frequentes

Às 14:30 UTC, uma falha no chiller primário do data center causou pico rápido de temperatura ambiente. Os sistemas automatizados da AWS iniciaram desligamento de emergência de instâncias EC2 e volumes EBS para evitar dano permanente ao hardware, derrubando a zona de disponibilidade use1-az4 na região US-EAST-1. Mais de 150 serviços cloud foram afetados.

Coinbase parou de processar transações, FanDuel caiu em janela de apostas e a CME Group teve latência em feeds de mercado. Operações financeiras globais dependentes de uma única zona em uma única região pararam com ela.

Os engenheiros da AWS precisaram sangrar linhas de refrigerante pressurizado e recalibrar controles HVAC para racks NVIDIA Blackwell de alta densidade. O sistema de refrigeração foi estabilizado às 13:50 do dia 8, a maioria das instâncias foi restaurada, e algumas permaneceram afetadas.

Mais GPU por rack é mais calor por metro quadrado e mais risco de evento térmico. A infraestrutura de refrigeração dos data centers não foi projetada para a densidade térmica que workloads de IA exigem, e o evento térmico da AWS pode ser o primeiro de muitos à medida que clusters GPU escalam. É a mesma fronteira física que documentamos na [corrida pela energia dos data centers](https://www.tech86.com.br/blog/ia-compra-usina-independencia-energetica-data-centers).

Multi-AZ com failover testado, degradação planejada e, para carga crítica, plano multi-região. Cloud não é mágica, é hardware: hardware esquenta, e quando esquenta demais, a automação desliga tudo para proteger o silício. Quem opera em zona única está a um chiller quebrado de ficar fora do ar.

Blog, Fale Conosco

Tem alguma pergunta sobre nossos artigos ou serviços? Nossa equipe está pronta para ajudar.

Agendar Reunião

Reserve um horário.

Agendar Agora

E-mail

Envie uma mensagem.

[email protected]

WhatsApp

Conversa rápida.

Endereço

Avenida Paulista, 1636 - São Paulo - SP - 01310-200

Especialista Tech86

Online agora

Olá! Como podemos ajudar a escalar seu negócio hoje?

Tech86 Engineering

Nós valorizamos sua privacidade

Utilizamos cookies e tecnologias similares para otimizar a sua experiência, analisar o tráfego do site e personalizar conteúdo. Ao clicar "Aceitar Todos", você concorda com o uso de todos os cookies. Leia nossa Política de Privacidade.