"У нас всё стабильно" – это ощущение. Причём обычно ощущение того, кто последним смотрел на сайт. "Аптайм 99,9%, чиним в среднем за 24 минуты" – уже разговор.
Дашборды на всю стену для этого не нужны. Нужны пять цифр и пятнадцать минут в неделю, чтобы на них посмотреть.
Процент времени, когда сервис отвечал нормально. Скучная цифра, пока не переведёшь её в минуты. 99% – это семь часов простоя в месяц. 99,9% – сорок три минуты. Разница между двумя девятками и тремя ощущается как разница между "опять что-то лежит" и "да вроде всё работает".
Считается автоматически из данных мониторинга. Без минутных проверок честной цифры не будет, будет самообман.
Сайт может быть формально доступен и отвечать по восемь секунд. Для клиента он не работает. Смотрите на среднее и на пики: отклик почти всегда растёт до падения, а не после. Переполнился диск, потекла память, база задыхается – сначала медленно, потом никак. Самый дешёвый ранний сигнал, который вообще бывает.
Две разные вещи, которые часто путают. Первая: сколько прошло от падения до "мы знаем". Тут всё решает мониторинг, минуты вместо часов. Вторая: сколько прошло от "мы знаем" до "человек взялся". А тут решает уже не техника, а договорённости.
Если сигнал уходит конкретному дежурному и автоматически перекидывается на следующего через пять минут молчания, реакция предсказуема. Если сигнал падает в общий чат, реакция – как повезёт.
Среднее время от падения до "снова работает". Главная цифра для разборов, потому что она показывает, дешевеет у вас сбой или дорожает. Команда, которая ведёт инциденты по-взрослому и делает выводы, видит, как эта цифра ползёт вниз от месяца к месяцу. Команда, которая её не считает, не улучшает её никогда. Просто потому, что не знает, что улучшать.
Самая неожиданная метрика, и я сам к ней пришёл не сразу. Спросите у людей оценку после того, как всё починили.
Выяснится странное: можно лежать час и получить пятёрки, если всё это время честно писать "чиним, обновление в 12:40" и потом каждому сказать "готово, извините". А можно упасть на десять минут, промолчать и собрать единицы. Для клиента стабильность – это не только аптайм. Это ещё и то, насколько с ним по-человечески разговаривают, когда всё сломалось.
Пять цифр и один взгляд в неделю. После этого "у нас всё стабильно" можно говорить не как заклинание, а как факт, который не стыдно показать клиенту или инвестору.