כשהענן נופל: תקלת Microsoft 365 ומה ללמוד ממנה לעסק

ב-12 בנובמבר, בשעה 18:17 שעון קייב, החלה ב-Microsoft 365 תקלה שנמשכת גם בשעת פרסום הכתבה הזאת. תיבות הדואר, היומנים, Teams ו-SharePoint הפסיקו להיפתח. נפגעו חברות בכל העולם — ובהן גם אוקראיניות, משום שרוב הדואר העסקי כאן פועל על Microsoft 365.

הרגשנו זאת בתיבה שלנו ובדקנו מה בדיוק נשבר. להלן העובדות שבדקנו בעצמנו, העמדה הרשמית של Microsoft, והעיקר: מה כדאי שבעל עסק ייקח מכאן, בין שהוא משתמש ב-Microsoft ובין שלא.

מה בדיוק לא עובד

התגובה הראשונה ל«הדואר לא נפתח» היא תמיד זהה: אנחנו אשמים, הסיסמה, האינטרנט, הגדרות הדומיין. לכן התחלנו מבדיקת הצד שלנו, וזו נתנה תמונה ברורה.

• הכניסה לחשבון עובדת. Microsoft מזהה את המשתמש ומעניקה גישה — כלומר לא הסיסמה, לא ההרשאות ולא הגדרות הגישה אשמות.
• בקשת הדואר מחזירה שגיאת שרת — קוד 502. לא «אין גישה», לא «סיסמה שגויה», אלא «השרת לא הצליח לענות».
• היומן נופל באותו אופן — קוד 503. כלומר אין מדובר בדואר בלבד, אלא בכל מה ששוכן ב-Exchange Online.
• רשומות הדואר של הדומיין (MX) לא שונו ועדיין מצביעות על Microsoft. הדואר נשלח בדיוק לאן שהוא אמור.

המסקנה פשוטה: הצד שלנו שלם, השירות עצמו אינו עונה. את אותה בדיקה כדאי לעשות לכל מי שמתלבט — היא אורכת כמה דקות ומסירה מחצית מהשאלות.

ציר הזמן הרשמי

Microsoft מנהלת את התקלה תחת שני מספרים: EX1550543 — גישה לתיבות ב-Exchange Online, ו-MO1550821 — כל מה שתלוי ב-Exchange. תקלת Teams נפרדת (TM1550488) כבר נסגרה. בתחילה דובר על אמריקה, ובהמשך שונתה הנוסחה ל«עשוי להשפיע על משתמשים בכל אזור».

השעות להלן הן שעון קייב.

• 18:17, 12 בנובמבר. משתמשים אינם מצליחים לפתוח את תיבות הדואר. Microsoft מודיעה שהיא בודקת בעיה בגישה לדואר.
• 20:19. נרשם עומס מוגבר בכמה אזורים בבת אחת.
• 21:18. הבהרה: העומס גדל לא בגלל גידול בתעבורה. חלק מהשרתים הפך בבת אחת לבלתי זמין, והשאר נטלו על עצמם את עבודתם.
• 21:43. מתברר שהשרתים הפגועים אינם עוברים את בדיקת התקינות האוטומטית — והמערכת מוציאה אותם משירות בעצמה.
• 21:57. «לא זיהינו שום שינוי אחרון הקשור לתחילת ההשפעה».
• 00:00, 13 בנובמבר. «תהליך ליבה בשרתים הפגועים מוצף, ובשל כך אובדת קיבולת».
• בלילה. הבהרה נוספת: מוצף דווקא התהליך האחראי על יצירת חיבורים מאובטחים. במקביל Microsoft מתחילה לבטל שינוי אחרון בתצורת הרשת המתלכד בזמן עם תחילת התקלה.
• 06:11. «אנו מאשרים: אין כל סימן לכך שזו תוצאה של פעילות זדונית».
• 13:04. השחזור הושלם באזור אסיה-פסיפיק, התעבורה מוחזרת בהדרגה, והעבודה מורחבת לאזורים נוספים.

הסיבה: עדיין לא נאמרה

הדבר ההוגן ביותר שאפשר לומר בשעת הפרסום: אין סיבה רשמית. ההסברים של Microsoft השתנו במהלך היממה — מ«איננו רואים שום שינוי אחרון» ועד «אנו מבטלים שינוי אחרון בתצורת הרשת המתלכד עם תחילת ההשפעה». דוח מלא עם הסיבה החברה מבטיחה לפרסם לאחר שהשחזור יסתיים.

דבר אחד Microsoft קובעת חד-משמעית: זו אינה מתקפת סייבר. הנוסח הזה נשמע פעמיים, בהפרש של כמה שעות.

המאלף בסיפור הזה אינו הסיבה אלא הסיבה להתארכות התיקון. שרתים שהוחזרו לעבודה נפלו שוב ברגע שהגיעה אליהם תעבורה. Microsoft הודתה במפורש שהשינויים «אינם פועלים כמצופה». מכאן העבודה התנהלה במעגל: עצירת כל ההטמעות ושינויי התצורה, הפעלות מחדש, שיטה חלופית לבדיקת תקינות, בנייה מחדש של חלק מהשרתים בתצורת תוכנה קודמת, תוספת קיבולת במכונות וירטואליות. התזוזה החלה רק לאחר טלאי לרכיב האחראי על האימות וניתוב הבקשות.

מה קורה עם המיילים

זו השאלה שמטרידה יותר מכול, ולכן בנפרד.

• המסירה מתעכבת — Microsoft מודה בכך במפורש בתיאור התקלה.
• חלון ההמתנה של ההודעות הוארך ל-48 שעות. בדרך כלל שרת שלא הצליח למסור הודעה בתוך זמן מוגדר מחזיר אותה לשולח כהודעת כישלון. החלון המוארך פירושו שההודעות לא יוחזרו אלא ימתינו בתור.
• על אובדן נתונים Microsoft לא דיווחה. אך יש לדייק: היא גם לא אמרה במפורש ש«שום דבר לא אבד». מה שנאמר מילולית הוא שההודעות המעוכבות נשמרות.

המסקנה המעשית: אל תשלחו את המיילים שוב. הם ממתינים בתור, וכשהשירות ישוחרר הנמען יקבל כפילויות. היערכו דווקא לגל — יממה שלמה תגיע בבת אחת.

מה לעשות עכשיו

1. ודאו שהבעיה אינה אצלכם. אם הכניסה לחשבון עוברת והדואר אינו נפתח — התקלה היא בצד הספק. את מצב התקלה רואים במרכז הניהול של Microsoft 365, בקטע «תקינות השירות», מספרים EX1550543 ו-MO1550821.
2. אל תיגעו בהגדרות. בזמן תקלה של אחרים, הנזק הגדול ביותר נגרם מניסיונות «לתקן» אצלכם: רשומות דומיין ששונו, תוכנות דואר שהותקנו מחדש, סיסמאות שאופסו. כשהשירות יחזור, תיאלצו להתמודד עם ההשלכות שלכם עצמכם.
3. הפעילו ערוץ גיבוי. העבירו עניינים דחופים עם לקוחות למסרון או לטלפון למשך התקלה. הודיעו למי שממתין לתשובה — «יש לנו תקלה בדואר, כתבו בטלגרם» עדיף על שתיקה.
4. תעדו את ההשבתה. אם עצירת העבודה עלתה לכם כסף, רשמו את השעות ואת ההשלכות. ל-Microsoft יש התחייבויות לרמת שירות; אם התקלה הזאת מקנה זכות לפיצוי במקרה שלכם — זו שאלה להסכם הרישוי ולשותף שדרכו נרכשו הרישיונות.

ארבע מסקנות להמשך

תקלה בסדר גודל כזה היא נדירה, והמסקנה «הענן גרוע» תהיה שגויה: שרת פרטי בחדר האחורי נופל לעיתים קרובות יותר ומתאושש לאט יותר. המסקנות אחרות.

1. ערוץ גיבוי צריך להתקיים לפני התקלה, לא להימצא במהלכה. אם כל התקשורת עם הלקוחות עוברת בדואר של ספק אחד, התקלה שלו עוצרת אתכם לחלוטין. בוט טלגרם, מסרון ארגוני, טלפון — כל דבר שהלקוחות מכירים מראש.
2. אל תשימו הכול בסל אחד. דואר, מסמכים, שיחות, הזדהות והגנה אצל ספק יחיד נוחים בדיוק עד היום שבו משהו נשבר אצלו. אז הכול נעצר בבת אחת. כך בדיוק קרה: יחד עם הדואר נפלו Teams, SharePoint ו-Defender.
3. מה שמכניס כסף חייב להיות בשליטתכם. האתר, ההזמנות, הקטלוג והפניות — מקומם במקום שבו תוכלו לבדוק את המצב בעצמכם, להרים עותק ולענות ללקוח בלי להמתין לדוח של אחרים.
4. דעו להבחין בין «אצלנו» ל«אצלם». הבדיקה הפשוטה מתחילת הכתבה חוסכת שעות של בהלה ומונעת שינויים מיותרים בהגדרות.

איך זה בנוי אצלנו

אנחנו משתמשים ב-Microsoft 365 לדואר ולמסמכים — וגם התיבה שלנו לא נפתחה בזמן התקלה. לעומת זאת מה שאנחנו בונים ללקוחות המשיך לעבוד: אתרים על מערכת Smart CMS שלנו, צ'אטבוטים, אזורים אישיים וטלפוניה חיים בשרתים משלנו, בנפרד מהדואר. אף אתר לקוח לא נפגע מהתקלה הזאת.

זו בדיוק חלוקת הסיכון שבמסקנות: כלים משרדיים אצל ספק חיצוני אמין, ומה שמוכר ומקבל הזמנות — במקום שבו אנחנו אחראים לו בעצמנו.

על המקורות

את בדיקות הגישה, רשומות הדואר וקודי התשובה ביצענו בעצמנו. ציר הזמן והציטוטים של Microsoft נלקחו מהודעותיה במרכז הניהול ובעמוד תקינות השירות — בתיווך פרשנים מקצועיים, מוצלבים זה מול זה, משום ששני המקורות האלה זמינים רק למנהלי המערכת של לקוח מסוים. המקור הראשוני לכל בעל עסק הוא מרכז הניהול שלו עצמו.

---

אם אינכם בטוחים עד כמה העסק שלכם תלוי בספק יחיד ומה יקרה לאתר שלכם ביום כזה — כתבו לנו. נסתכל יחד ונאמר בפירוש מה כדאי לפזר בין סלים שונים. ואת מצב האתר עצמו אפשר לבדוק בחינם בשלוש דקות ב-audit.sgt.com.ua.