Coinbase анализирует майский сбой: каскадный отказ AWS выявил архитектурные риски

Coinbase опубликовала отчет о масштабном сбое в работе сервисов, произошедшем 7 мая 2026 года.

Перерыв в обслуживании длился около 8 часов, а полное восстановление заняло около 12 часов. В это время торговля, депозиты, вывод средств и большинство основных сервисов были недоступны или работали со значительными ограничениями. Coinbase заявила, что причиной сбоя стал одновременный выход из строя нескольких блоков охлаждения в дата-центре в одной из зон доступности (use1-az4) региона AWS us-east-1. Это привело к срабатыванию тепловой защиты стоек, отключению инстансов EC2 и томов EBS, что затронуло работу множества интернет-сервисов.

В процессе восстановления торговый движок Coinbase потерял кворум, так как кластерная архитектура, развернутая в одном дата-центре AWS, лишилась большинства узлов. Потребовались экстренная корректировка кода и создание новой группы узлов для возобновления работы, при этом торговля на рынке восстанавливалась постепенно.

Кроме того, в управляемом сервисе Kafka (MSK) от AWS произошли сбои плоскости управления, что предотвратило автоматический перевыбор лидеров разделов. Это заблокировало системы котировок, комиссий, а также некоторые системы расчетов и потоков данных, что увеличило масштаб последствий.

После ручной миграции разделов в сотрудничестве с инженерной командой AWS система постепенно вернулась к нормальной работе. Coinbase заявила, что этот инцидент выявил недостатки в возможностях автоматического переключения между зонами доступности и в аварийном восстановлении управляемого промежуточного ПО. Компания планирует модернизировать архитектуру межрегионального горячего резервирования, усилить регулярные учения по отработке сбоев и перевести систему Kafka с двухзонного на трехзонное развертывание, одновременно работая с AWS над устранением первопричин и улучшением инфраструктуры.