SCR-OPS/06
ऑपरेशंस / लाइव Status
ScreenLast Cloud, hosted rendering और delivery की लाइव सेहत – साथ में 90 दिन का इतिहास।
15 मिनट से लंबी हर घटना के लिए पूरा post-mortem प्रकाशित किया जाता है।
Release से ट्रिगर हुए workflow runs की बाढ़ ने EU render pool को भर दिया। Autoscaling ने 12 मिनट के भीतर क्षमता जोड़ दी; queue में लगे jobs बिना डेटा नुक़सान के पूरे हुए। तब से हमने कार्यदिवस की दोपहरों के लिए पहले से आरक्षित क्षमता बढ़ा दी है।
हल हुआवेब ऐप के rolling deploy ने स्वस्थ instances को उससे तेज़ी से हटा दिया जितनी तेज़ी से नए instances health checks पास कर रहे थे। Deploy रोककर वापस लिया गया। अब deploy pacing instances बदलने से पहले warm caches का इंतज़ार करता है।
हल हुआहमारे voice provider का एक क्षेत्रीय आउटेज था। Jobs फ़ेल नहीं हुए, बल्कि queue में रहे और रिकवरी के बाद अपने आप पूरे हो गए। हमने synthesis अनुरोधों के लिए दूसरा रीजन ऑटोमैटिक fallback के रूप में जोड़ा है।
हल हुआ