SCR-OPS/06
Utrzymanie / Status na żywo
Kondycja ScreenLast Cloud, hostowanego renderowania i dystrybucji na żywo – plus 90 dni historii.
Dla każdego incydentu dłuższego niż 15 minut publikujemy pełne post-mortem.
Fala uruchomień workflow wyzwolonych przez release wysyciła europejską pulę renderu. Autoskalowanie dołożyło moc w ciągu 12 minut; zakolejkowane zadania dokończyły się bez utraty danych. Podnieśliśmy od tego czasu bazową rezerwę mocy na popołudnia w dni robocze.
ROZWIĄZANERolling deploy aplikacji webowej usuwał zdrowe instancje szybciej, niż nowe przechodziły health checki. Deploy został zatrzymany i wycofany. Tempo deployu czeka teraz na rozgrzane cache, zanim zrotuje instancje.
ROZWIĄZANENasz dostawca głosów miał regionalną awarię. Zadania trafiły do kolejki, a nie do kosza, i przetworzyły się automatycznie po przywróceniu usługi. Dodaliśmy drugi region jako automatyczny fallback dla żądań syntezy.
ROZWIĄZANE