Gdy pada chmura: awaria Microsoft 365 i wnioski dla firmy

12 listopada o 18:17 czasu kijowskiego w Microsoft 365 zaczęła się awaria, która trwa także w chwili publikacji tego materiału. Przestały otwierać się skrzynki pocztowe, kalendarze, Teams i SharePoint. Ucierpiały firmy na całym świecie — w tym ukraińskie, bo większość poczty firmowej działa tu na Microsoft 365.

Odczuliśmy to na własnej skrzynce i sprawdziliśmy, co dokładnie się zepsuło. Poniżej fakty, które zweryfikowaliśmy sami, oficjalne stanowisko Microsoftu i — co najważniejsze — wnioski dla właściciela firmy, niezależnie od tego, czy korzysta z Microsoftu.

Co dokładnie nie działa

Pierwsza reakcja na «poczta się nie otwiera» jest zawsze taka sama: to nasza wina, hasło, internet, ustawienia domeny. Dlatego zaczęliśmy od sprawdzenia własnej strony, a wynik był jednoznaczny.

• Logowanie działa. Microsoft rozpoznaje konto i przyznaje dostęp — a więc ani hasło, ani uprawnienia, ani ustawienia dostępu nie mają z tym nic wspólnego.
• Pobranie wiadomości zwraca błąd serwera — kod 502. Nie «brak dostępu», nie «błędne hasło», lecz «serwer nie zdołał odpowiedzieć».
• Kalendarz pada tak samo — kod 503. Rzecz nie dotyczy więc samej poczty, lecz wszystkiego, co leży w Exchange Online.
• Wpisy pocztowe domeny (MX) nie były zmieniane i nadal wskazują na Microsoft. Poczta trafia dokładnie tam, gdzie powinna.

Wniosek jest prosty: nasza strona jest cała, nie odpowiada sama usługa. Tę samą kontrolę warto przeprowadzić, jeśli ma się wątpliwości — zajmuje kilka minut i rozwiewa połowę pytań.

Oficjalna chronologia

Microsoft prowadzi awarię pod dwoma numerami: EX1550543 — dostęp do skrzynek w Exchange Online, oraz MO1550821 — wszystko, co zależy od Exchange. Osobna awaria Teams (TM1550488) została już zamknięta. Najpierw mowa była o Amerykach, później sformułowanie zmieniono na «może dotyczyć użytkowników w dowolnym regionie».

Godziny poniżej są kijowskie.

• 18:17, 12 listopada. Użytkownicy nie mogą otworzyć skrzynek. Microsoft informuje, że bada problem z dostępem do poczty.
• 20:19. Odnotowano podwyższone obciążenie od razu w kilku regionach.
• 21:18. Doprecyzowanie: obciążenie wzrosło nie z powodu napływu ruchu. Część serwerów nagle przestała być dostępna, a ich pracę przejęły pozostałe.
• 21:43. Okazuje się, że dotknięte serwery nie przechodzą automatycznej kontroli sprawności — i system sam wyłącza je z użycia.
• 21:57. «Nie stwierdziliśmy żadnej niedawnej zmiany powiązanej z początkiem awarii».
• 00:00, 13 listopada. «Kluczowy proces na dotkniętych serwerach jest przeciążany, przez co tracimy wydajność».
• W nocy. Kolejne doprecyzowanie: przeciąża się właśnie proces odpowiedzialny za nawiązywanie bezpiecznych połączeń. Równolegle Microsoft zaczyna wycofywać niedawną zmianę konfiguracji sieciowej, która pokrywa się w czasie z początkiem awarii.
• 06:11. «Potwierdzamy: nic nie wskazuje, by było to skutkiem złośliwego działania».
• 13:04. Przywracanie zakończono w regionie Azji i Pacyfiku, ruch wpuszczany jest stopniowo, prace rozszerzane są na kolejne regiony.

Przyczyna: wciąż nienazwana

Najuczciwsze, co można powiedzieć w chwili publikacji: oficjalnej przyczyny nie ma. Wyjaśnienia Microsoftu zmieniały się w ciągu doby — od «nie widzimy żadnej niedawnej zmiany» po «wycofujemy niedawną zmianę konfiguracji sieciowej, która pokrywa się z początkiem awarii». Pełny raport z przyczyną firma obiecuje opublikować po zakończeniu przywracania.

Jedno Microsoft stwierdza jednoznacznie: to nie jest cyberatak. Takie sformułowanie padło dwa razy, w odstępie kilku godzin.

Najciekawsze w tej historii jest nie przyczyna, lecz to, dlaczego naprawa się przeciągnęła. Serwery przywrócone do pracy padały ponownie, gdy tylko trafiał na nie ruch. Microsoft wprost przyznał, że zmiany «nie działają zgodnie z oczekiwaniami». Dalej praca szła w kółko: wstrzymanie wszystkich wdrożeń i zmian konfiguracji, restarty, obejściowy sposób kontroli sprawności, przebudowa części serwerów na wcześniejszej konfiguracji, dokładanie mocy maszynami wirtualnymi. Ruszyło dopiero po łatce na komponent odpowiedzialny za uwierzytelnianie i kierowanie zapytań.

Co dzieje się z wiadomościami

To pytanie niepokoi najbardziej, więc osobno.

• Dostarczanie się opóźnia — Microsoft przyznaje to wprost w opisie awarii.
• Okno oczekiwania wiadomości wydłużono do 48 godzin. Zwykle serwer, który nie zdołał dostarczyć listu w określonym czasie, odsyła go nadawcy jako niedoręczony. Wydłużone okno oznacza, że wiadomości nie będą odbijać, tylko poczekają w kolejce.
• O utracie danych Microsoft nie informował. Ale bądźmy precyzyjni: wprost «nic nie zginęło» też nie powiedział. Dosłownie stwierdził, że opóźnione wiadomości są zachowywane.

Praktyczny wniosek: nie wysyłajcie listów ponownie. Stoją w kolejce i gdy usługa wróci, odbiorca dostanie duplikaty. Spodziewajcie się raczej zalewu — cała doba przyjdzie naraz.

Co robić teraz

1. Upewnijcie się, że problem nie jest u was. Jeśli logowanie przechodzi, a poczta się nie otwiera, wina leży po stronie dostawcy. Stan awarii widać w centrum administracyjnym Microsoft 365, w sekcji «Kondycja usług», numery EX1550543 i MO1550821.
2. Nie ruszajcie ustawień. Podczas cudzej awarii najwięcej szkody robią próby «naprawiania» u siebie: zmienione wpisy domeny, przeinstalowane programy pocztowe, zresetowane hasła. Gdy usługa wróci, trzeba będzie rozplątywać własne skutki.
3. Włączcie kanał zapasowy. Pilne sprawy z klientami przenieście na ten czas do komunikatora albo na telefon. Uprzedźcie tych, którzy czekają na odpowiedź — krótkie «mamy awarię poczty, piszcie na Telegramie» jest lepsze niż cisza.
4. Odnotujcie przestój. Jeśli zatrzymanie pracy kosztowało pieniądze, zapiszcie godziny i skutki. Microsoft ma zobowiązania dotyczące poziomu usług; czy ta awaria daje podstawy do rekompensaty właśnie w waszym przypadku, to pytanie do umowy licencyjnej i do partnera, u którego kupiliście licencje.

Cztery wnioski na przyszłość

Awaria takiej skali to rzadkość i wyciąganie z niej wniosku «chmura jest zła» byłoby błędem: własny serwer w pakamerze pada częściej i dłużej wraca do życia. Wnioski są inne.

1. Kanał zapasowy musi istnieć przed awarią, a nie powstawać w jej trakcie. Jeśli cała komunikacja z klientami idzie przez pocztę jednego dostawcy, jego awaria zatrzymuje was całkowicie. Bot w Telegramie, firmowy komunikator, telefon — cokolwiek, o czym klienci wiedzą wcześniej.
2. Nie wkładajcie wszystkiego do jednego koszyka. Poczta, dokumenty, rozmowy, logowanie i ochrona u jednego dostawcy są wygodne dokładnie do dnia, w którym coś tam pęknie. Wtedy staje wszystko naraz. Tak właśnie było: razem z pocztą padły Teams, SharePoint i Defender.
3. To, co przynosi pieniądze, powinno być pod waszą kontrolą. Strona, zamówienia, katalog, zapytania — ich miejsce jest tam, gdzie sami możecie sprawdzić stan, postawić kopię i odpowiedzieć klientowi, nie czekając na cudzy raport.
4. Umiejcie odróżnić «u nas» od «u nich». Prosta kontrola z początku tego artykułu oszczędza godziny paniki i chroni przed zbędnymi zmianami w ustawieniach.

Jak to jest u nas

Korzystamy z Microsoft 365 do poczty i dokumentów — i podczas tej awarii nasza skrzynka też się nie otwierała. Natomiast to, co robimy dla klientów, działało i działa: strony na naszym systemie Smart CMS, chatboty, panele klienta i telefonia żyją na własnych serwerach, osobno od poczty. Żadna strona klienta na tej awarii nie ucierpiała.

To właśnie ten rozkład ryzyka, o którym mowa we wnioskach: narzędzia biurowe u solidnego dostawcy zewnętrznego, a to, co sprzedaje i przyjmuje zamówienia — tam, gdzie odpowiadamy za to sami.

O źródłach

Sprawdzenia dostępu, wpisów pocztowych i kodów odpowiedzi wykonaliśmy sami. Chronologia i cytaty Microsoftu pochodzą z jego komunikatów w centrum administracyjnym i na stronie kondycji usług — w relacji branżowych obserwatorów, porównanej między sobą, ponieważ oba te źródła są dostępne wyłącznie administratorom konkretnego klienta. Źródłem pierwotnym dla każdego właściciela jest jego własne centrum administracyjne.

---

Jeśli nie wiecie, jak bardzo wasza firma zależy od jednego dostawcy i co stałoby się z waszą stroną w taki dzień — napiszcie do nas. Spojrzymy razem i powiemy wprost, co warto rozłożyć do osobnych koszyków. A stan samej strony można bezpłatnie sprawdzić w trzy minuty na audit.sgt.com.ua.