夜中に鳴るアラートを、気づいたら無視するようになっていた。そういうチームは少なくありません。アラートは「何かがおかしい」を知らせるためにあるのに、多すぎると逆効果になります。
「全部通知」は「何も通知しない」と同じ ¶
アラートを設定するとき、最初は「念のため全部通知しよう」と考えがちです。でも通知が多すぎると、人間はすぐに無視するようになります。重要なアラートが埋もれて、本当の障害に気づくのが遅れます。通知の量を絞ることは、精度を上げることです。
しきい値は「気になる値」ではなく「対応が必要な値」で設定する ¶
CPUが80%を超えたら通知、という設定はよく見ますが、80%で本当に対応が必要かどうかは状況によります。「この値を超えたら、今すぐ誰かが動く必要がある」という基準でしきい値を決めると、通知の質が上がります。
通知先を重要度で分ける ¶
すべてのアラートを同じSlackチャンネルに流すのは、整理されていない受信トレイと同じです。重大なアラートは専用チャンネルに、軽微なものは別チャンネルに分けるだけで、対応の優先順位がつけやすくなります。
週に一度、アラートの発生件数を振り返る ¶
先週何件のアラートが発生して、そのうち何件が実際に対応を必要としたか。この数字を定期的に確認することで、不要なアラートを特定できます。対応不要だったアラートが多い場合、しきい値の見直しが必要です。
アラートは少なく、でも確実に。その設定を見つけるのに時間がかかりますが、一度整理すると夜中に起こされる回数が明らかに減ります。MeshPanelのアラート設定画面では、過去のアラート発生履歴を確認しながらしきい値を調整できます。