Коли лягає хмара: аварія Microsoft 365 і що з неї винести бізнесу

12 листопада о 18:17 за Києвом у Microsoft 365 почалася аварія, яка триває й на момент публікації цього матеріалу. Перестали відкриватися поштові скриньки, календарі, Teams і SharePoint. Під удар потрапили компанії по всьому світу — зокрема й українські, бо на Microsoft 365 тут працює більшість корпоративної пошти.

Ми відчули це на власній скриньці й перевірили, що саме зламалося. Нижче — факти, перевірені нами, офіційна позиція Microsoft і головне: що з цього варто винести власникові бізнесу, незалежно від того, чи користується він Microsoft.

Що саме не працює

Перша реакція на «пошта не відкривається» завжди однакова: винні ми, пароль, інтернет, налаштування домену. Тому ми почали з перевірки свого боку, і вона дала чітку картину.

• Вхід в обліковий запис працює. Microsoft упізнає користувача й видає доступ — отже, ні пароль, ні права, ні налаштування доступу ні до чого.
• Запит листів повертає помилку сервера — код 502. Не «немає доступу», не «неправильний пароль», а «сервер не зміг відповісти».
• Календар падає так само — код 503. Тобто справа не в пошті окремо, а в усьому, що лежить в Exchange Online.
• Поштові записи домену (MX) не змінювалися й далі вказують на Microsoft. Пошта надсилається туди, куди й має.

Висновок простий: наш бік цілий, не відповідає сам сервіс. Цю ж перевірку варто зробити кожному, хто сумнівається, — вона займає кілька хвилин і знімає половину питань.

Офіційна хронологія

Microsoft веде аварію під двома номерами: EX1550543 — доступ до скриньок Exchange Online, і MO1550821 — усе, що від Exchange залежить. Окремий збій Teams (TM1550488) уже закрито. Спершу йшлося про Америку, згодом формулювання змінили на «може зачепити користувачів у будь-якому регіоні».

Час нижче — київський.

• 18:17, 12 листопада. Користувачі не можуть відкрити скриньки. Microsoft повідомляє, що розслідує проблему з доступом до пошти.
• 20:19. Зафіксовано підвищене навантаження одразу в кількох регіонах.
• 21:18. Уточнення: навантаження зросло не через приплив трафіку. Частина серверів раптово стала недоступною, а їхню роботу перебрали на себе решта.
• 21:43. Виявлено, що уражені сервери не проходять автоматичну перевірку справності — і система сама виводить їх із ладу.
• 21:57. «Не виявили жодної недавньої зміни, повʼязаної з початком збою».
• 00:00, 13 листопада. «Основний процес на уражених серверах перевантажується, через що втрачається потужність».
• Ніч. Уточнення: перевантажується саме процес, відповідальний за встановлення захищених зʼєднань. Паралельно Microsoft починає відкочувати недавню зміну мережевої конфігурації, яка збігається в часі з початком аварії.
• 06:11. «Підтверджуємо: немає жодних ознак, що це наслідок зловмисних дій».
• 13:04. Відновлення завершено в Азійсько-Тихоокеанському регіоні, трафік пускають поступово, роботу розширюють на інші регіони.

Причина: її досі не названо

Найчесніше, що можна сказати на момент публікації: офіційної причини немає. Пояснення Microsoft мінялися протягом доби — від «жодної недавньої зміни ми не бачимо» до «відкочуємо недавню зміну мережевої конфігурації, яка збігається з початком аварії». Повний розбір із причиною компанія обіцяє опублікувати після того, як відновлення завершиться.

Що Microsoft стверджує однозначно — це не кібератака. Таке формулювання прозвучало двічі, з різницею в кілька годин.

Найцікавіше в цій історії — не причина, а те, чому лагодження затяглося. Сервери, повернуті до роботи, падали знову, щойно на них пускали трафік. Microsoft прямо визнала, що зміни «працюють не так, як очікувалося». Далі йшла робота по колу: зупинка всіх оновлень і змін конфігурації, перезапуски, обхідний спосіб перевірки справності, перебудова частини серверів на попередній конфігурації, додавання потужностей віртуальними машинами. Зрушення почалося лише після латки на компонент, що відповідає за авторизацію й маршрутизацію запитів.

Що відбувається з листами

Це питання хвилює найбільше, тому окремо.

• Доставка затримується — Microsoft визнає це прямо в описі аварії.
• Вікно очікування листа продовжено до 48 годин. Зазвичай сервер, який не зміг доставити лист за певний час, повертає його відправникові з позначкою про невдачу. Продовжене вікно означає, що листи не відбиватимуться назад, а чекатимуть у черзі.
• Про втрату даних Microsoft не повідомляла. Але варто бути точним: прямо «нічого не втрачено» вона теж не сказала. Сказане буквально — що затримані повідомлення зберігають.

Практичний наслідок: не пересилайте листи повторно. Вони стоять у черзі, і коли сервіс відпустить, клієнт отримає дублі. Чекайте напливу — за добу накопичиться все.

Що робити бізнесу просто зараз

1. Переконайтеся, що проблема не у вас. Якщо вхід в обліковий запис проходить, а лист не відкривається, — це бік провайдера. Стан аварії видно в адміністративному центрі Microsoft 365, розділ «Справність служб», за номерами EX1550543 і MO1550821.
2. Не чіпайте налаштування. Під час чужої аварії найбільше шкоди роблять спроби «полагодити» в себе: змінені записи домену, перевстановлені поштові програми, скинуті паролі. Коли сервіс піднімуть, розбиратися доведеться вже зі своїми наслідками.
3. Увімкніть запасний канал. Термінові питання з клієнтами на час аварії переносьте в месенджер або на телефон. Попередьте тих, хто чекає від вас відповіді, — краще коротке «у нас аварія пошти, пишіть у Telegram», ніж тиша.
4. Зафіксуйте простій. Якщо зупинка роботи коштувала вам грошей, запишіть час і наслідки. Microsoft має зобовʼязання щодо рівня обслуговування; чи дає ця аварія підстави для компенсації саме у вашому випадку — питання до вашої ліцензійної угоди й партнера, через якого куплені ліцензії.

Чотири висновки на майбутнє

Аварія такого масштабу — рідкість, і робити з неї висновок «хмара погана» було б неправильно: власний сервер у підсобці падає частіше й відновлюється довше. Висновки інші.

1. Запасний канал звʼязку має існувати до аварії, а не вигадуватися під час неї. Якщо вся комунікація з клієнтами йде через пошту одного провайдера, то його збій зупиняє вас повністю. Телеграм-бот, корпоративний месенджер, телефон — будь-що, про що клієнти знають заздалегідь.
2. Не складайте все в один кошик. Пошта, документи, спілкування, автентифікація й захист в одного постачальника — це зручно рівно до того дня, коли в нього щось ламається. Тоді зупиняється все одразу. Саме так і сталося: разом із поштою лягли Teams, SharePoint і Defender.
3. Те, що приносить гроші, має бути під вашим контролем. Сайт, замовлення, каталог, заявки — їх варто тримати там, де ви можете самі перевірити стан, підняти копію й відповісти клієнту, не чекаючи чужого звіту.
4. Вмійте відрізняти «у нас» від «у них». Проста перевірка з початку цієї статті економить години паніки й застерігає від зайвих змін у налаштуваннях.

Як це влаштовано в нас

Ми користуємося Microsoft 365 для пошти й документів — і під час цієї аварії наша скринька теж не відкривалася. А от те, що ми робимо для клієнтів, працювало й працює: сайти на нашій системі Smart CMS, чат-боти, кабінети й телефонія живуть на власних серверах, окремо від пошти. Жоден клієнтський сайт із цієї аварії не постраждав.

Це і є та сама розкладка ризику, про яку йдеться у висновках: офісні інструменти — у надійного зовнішнього постачальника, а те, що продає й приймає замовлення, — там, де ми відповідаємо за нього самі.

Про джерела

Перевірки доступу, стану поштових записів і кодів відповіді ми робили самі. Хронологія й цитати Microsoft узяті з її повідомлень в адміністративному центрі та на сторінці стану служб — у переказі галузевих оглядачів, звірених між собою, бо обидва ці джерела доступні лише адміністраторам конкретного клієнта. Першоджерело для кожного власника — його власний адміністративний центр.

---

Якщо ви не впевнені, наскільки ваш бізнес залежить від одного постачальника й що станеться з вашим сайтом у подібний день, — напишіть нам. Подивимося разом і скажемо прямо, що варто рознести по різних кошиках. А стан самого сайту можна безкоштовно перевірити за три хвилини на audit.sgt.com.ua.