Когда ложится облако: авария Microsoft 365 и что из неё вынести бизнесу

12 ноября в 18:17 по Киеву в Microsoft 365 началась авария, которая продолжается и на момент публикации этого материала. Перестали открываться почтовые ящики, календари, Teams и SharePoint. Под удар попали компании по всему миру — в том числе и украинские, потому что на Microsoft 365 здесь работает большая часть корпоративной почты.

Мы почувствовали это на собственном ящике и проверили, что именно сломалось. Ниже — факты, проверенные нами, официальная позиция Microsoft и главное: что из этого стоит вынести владельцу бизнеса, независимо от того, пользуется ли он Microsoft.

Что именно не работает

Первая реакция на «почта не открывается» всегда одинакова: виноваты мы, пароль, интернет, настройки домена. Поэтому мы начали с проверки своей стороны, и она дала ясную картину.

• Вход в учётную запись работает. Microsoft узнаёт пользователя и выдаёт доступ — значит, ни пароль, ни права, ни настройки доступа ни при чём.
• Запрос писем возвращает ошибку сервера — код 502. Не «нет доступа», не «неверный пароль», а «сервер не смог ответить».
• Календарь падает так же — код 503. То есть дело не в почте отдельно, а во всём, что лежит в Exchange Online.
• Почтовые записи домена (MX) не менялись и по-прежнему указывают на Microsoft. Почта отправляется туда, куда и должна.

Вывод простой: наша сторона цела, не отвечает сам сервис. Эту же проверку стоит сделать каждому, кто сомневается, — она занимает несколько минут и снимает половину вопросов.

Официальная хронология

Microsoft ведёт аварию под двумя номерами: EX1550543 — доступ к ящикам Exchange Online, и MO1550821 — всё, что от Exchange зависит. Отдельный сбой Teams (TM1550488) уже закрыт. Сначала речь шла об Америке, позже формулировку изменили на «может затронуть пользователей в любом регионе».

Время ниже — киевское.

• 18:17, 12 ноября. Пользователи не могут открыть ящики. Microsoft сообщает, что расследует проблему с доступом к почте.
• 20:19. Зафиксирована повышенная нагрузка сразу в нескольких регионах.
• 21:18. Уточнение: нагрузка выросла не из-за притока трафика. Часть серверов внезапно стала недоступной, а их работу взяли на себя остальные.
• 21:43. Выяснилось, что поражённые серверы не проходят автоматическую проверку исправности — и система сама выводит их из строя.
• 21:57. «Не обнаружили ни одного недавнего изменения, связанного с началом сбоя».
• 00:00, 13 ноября. «Основной процесс на поражённых серверах перегружается, из-за чего теряется мощность».
• Ночь. Уточнение: перегружается именно процесс, отвечающий за установление защищённых соединений. Параллельно Microsoft начинает откатывать недавнее изменение сетевой конфигурации, которое совпадает по времени с началом аварии.
• 06:11. «Подтверждаем: нет никаких признаков, что это следствие злонамеренных действий».
• 13:04. Восстановление завершено в Азиатско-Тихоокеанском регионе, трафик пускают постепенно, работу расширяют на другие регионы.

Причина: её до сих пор не назвали

Самое честное, что можно сказать на момент публикации: официальной причины нет. Объяснения Microsoft менялись в течение суток — от «никакого недавнего изменения мы не видим» до «откатываем недавнее изменение сетевой конфигурации, которое совпадает с началом аварии». Полный разбор с причиной компания обещает опубликовать после того, как восстановление завершится.

Что Microsoft утверждает однозначно — это не кибератака. Такая формулировка прозвучала дважды, с разницей в несколько часов.

Самое интересное в этой истории — не причина, а то, почему починка затянулась. Серверы, возвращённые в работу, падали снова, как только на них пускали трафик. Microsoft прямо признала, что изменения «работают не так, как ожидалось». Дальше шла работа по кругу: остановка всех обновлений и изменений конфигурации, перезапуски, обходной способ проверки исправности, перестройка части серверов на предыдущей конфигурации, добавление мощностей виртуальными машинами. Сдвиг начался лишь после заплатки на компонент, отвечающий за авторизацию и маршрутизацию запросов.

Что происходит с письмами

Этот вопрос волнует больше всего, поэтому отдельно.

• Доставка задерживается — Microsoft признаёт это прямо в описании аварии.
• Окно ожидания письма продлено до 48 часов. Обычно сервер, который не смог доставить письмо за определённое время, возвращает его отправителю с отметкой о неудаче. Продлённое окно означает, что письма не будут отбиваться назад, а подождут в очереди.
• О потере данных Microsoft не сообщала. Но стоит быть точными: прямо «ничего не потеряно» она тоже не сказала. Сказано буквально, что задержанные сообщения сохраняют.

Практическое следствие: не пересылайте письма повторно. Они стоят в очереди, и когда сервис отпустит, клиент получит дубли. Ждите наплыва — за сутки накопится всё.

Что делать бизнесу прямо сейчас

1. Убедитесь, что проблема не у вас. Если вход в учётную запись проходит, а письмо не открывается, — это сторона провайдера. Состояние аварии видно в административном центре Microsoft 365, раздел «Работоспособность служб», по номерам EX1550543 и MO1550821.
2. Не трогайте настройки. Во время чужой аварии больше всего вреда приносят попытки «починить» у себя: изменённые записи домена, переустановленные почтовые программы, сброшенные пароли. Когда сервис поднимут, разбираться придётся уже со своими последствиями.
3. Включите запасной канал. Срочные вопросы с клиентами на время аварии переносите в мессенджер или на телефон. Предупредите тех, кто ждёт от вас ответа, — лучше короткое «у нас авария почты, пишите в Telegram», чем тишина.
4. Зафиксируйте простой. Если остановка работы стоила вам денег, запишите время и последствия. У Microsoft есть обязательства по уровню обслуживания; даёт ли эта авария основания для компенсации именно в вашем случае — вопрос к вашему лицензионному соглашению и партнёру, через которого куплены лицензии.

Четыре вывода на будущее

Авария такого масштаба — редкость, и делать из неё вывод «облако плохое» было бы неправильно: собственный сервер в подсобке падает чаще и восстанавливается дольше. Выводы другие.

1. Запасной канал связи должен существовать до аварии, а не придумываться во время неё. Если вся коммуникация с клиентами идёт через почту одного провайдера, то его сбой останавливает вас полностью. Телеграм-бот, корпоративный мессенджер, телефон — что угодно, о чём клиенты знают заранее.
2. Не складывайте всё в одну корзину. Почта, документы, общение, аутентификация и защита у одного поставщика — это удобно ровно до того дня, когда у него что-то ломается. Тогда останавливается всё сразу. Именно так и произошло: вместе с почтой легли Teams, SharePoint и Defender.
3. То, что приносит деньги, должно быть под вашим контролем. Сайт, заказы, каталог, заявки — их стоит держать там, где вы можете сами проверить состояние, поднять копию и ответить клиенту, не дожидаясь чужого отчёта.
4. Умейте отличать «у нас» от «у них». Простая проверка из начала этой статьи экономит часы паники и уберегает от лишних изменений в настройках.

Как это устроено у нас

Мы пользуемся Microsoft 365 для почты и документов — и во время этой аварии наш ящик тоже не открывался. А вот то, что мы делаем для клиентов, работало и работает: сайты на нашей системе Smart CMS, чат-боты, кабинеты и телефония живут на собственных серверах, отдельно от почты. Ни один клиентский сайт от этой аварии не пострадал.

Это и есть та самая раскладка риска, о которой речь в выводах: офисные инструменты — у надёжного внешнего поставщика, а то, что продаёт и принимает заказы, — там, где мы отвечаем за это сами.

Об источниках

Проверки доступа, состояния почтовых записей и кодов ответа мы делали сами. Хронология и цитаты Microsoft взяты из её сообщений в административном центре и на странице состояния служб — в пересказе отраслевых обозревателей, сверенных между собой, поскольку оба этих источника доступны только администраторам конкретного клиента. Первоисточник для каждого владельца — его собственный административный центр.

---

Если вы не уверены, насколько ваш бизнес зависит от одного поставщика и что станет с вашим сайтом в подобный день, — напишите нам. Посмотрим вместе и скажем прямо, что стоит разнести по разным корзинам. А состояние самого сайта можно бесплатно проверить за три минуты на audit.sgt.com.ua.