Vorfälle

Vorfälle sind InfraNests Aufzeichnung echter Ausfälle – automatisch erstellt für dich und für alle in deinem Team, die wissen müssen, was ausgefallen ist, wann und wie lange.

Übersicht

• Wenn ein Check wirklich fehlschlägt, eröffnet InfraNest einen Vorfall mit Auswirkung und Ursache und verfolgt, wie lange er andauert.
• Vorfälle schließen sich automatisch, sobald der Dienst sich erholt.
• Du kannst einen Vorfall bestätigen, Notizen für dein Team hinterlassen und Statusupdates für deine Kunden veröffentlichen – alles an einem Ort.

So funktionieren Vorfälle

1. Ein bestätigter Ausfall eröffnet einen Vorfall und erfasst dabei Auswirkung, Ursache und Dauer.
2. Du kannst bei dem Vorfall auf Bestätigen drücken, damit dein Team weiß, dass sich jemand darum kümmert – das stoppt die wiederholten Benachrichtigungen. Das Bestätigen funktioniert in jedem Plan.
3. Veröffentliche Updates im Zeitverlauf des Vorfalls, sobald sich etwas ändert; das Posten von Updates ist Teil des Vorfallmanagements.
4. Füge eine Notiz für das Team hinzu – zum Beispiel „Datenbank wird neu gestartet, bin in 5 Minuten zurück“. Notizen sind nur für dein Team gedacht: Sie werden beim Vorfall, in der Glocke und in PagerDuty angezeigt, aber nie auf deiner Statusseite. Du kannst eine Notiz hinzufügen:
   • Direkt beim Vorfall
   • Über die Glocke, sobald der Vorfall bestätigt wurde
   • Direkt nach dem Drücken von Bestätigen in einer Benachrichtigungs-E-Mail
   • In Telegram, indem du unter der Benachrichtigung auf Add a note drückst oder einfach auf die Benachrichtigung antwortest
5. Um deine Kunden zu informieren, veröffentliche stattdessen ein Statusupdate statt einer Notiz. Nach dem Bestätigen aus einer E-Mail führt dich Post a status update direkt zum entsprechenden Feld, wenn der Monitor auf einer deiner Statusseiten eingebunden ist.
6. Sobald sich der Check erholt, löst sich der Vorfall von selbst auf – keine Aktion nötig.
7. Vorfälle, die durch geplante Wartungsarbeiten verursacht wurden, werden als geplant markiert und zählen daher nicht als unerwartete Ausfallzeit.

Alarmlawinen durch Abhängigkeiten vermeiden

1. Wenn ein Ausfall mehrere Checks gleichzeitig fehlschlagen lassen würde, lege fest, dass der betroffene Check von demjenigen abhängt, der tatsächlich ausgefallen ist.
2. Wenn der übergeordnete Check ausfällt, werden die Benachrichtigungen der untergeordneten Checks unterdrückt.
3. Dadurch werden aus zehn einzelnen Vorfällen ein einziger.

Was dir mitgeteilt wird

• Du erhältst eine E-Mail, wenn etwas ausfällt, und eine weitere, wenn es wieder funktioniert. Die zweite E-Mail teilt dir mit, wie lange der Ausfall dauerte und wie schnell der Dienst jetzt wieder reagiert.
• Bei einem Monitor, der immer wieder ausfällt und sich erholt, werden diese als „instabil“ und „wieder stabil“ bezeichnet (siehe unten).
• Die Meldung „wieder online“ wird immer gesendet – selbst an Ziele, die nur auf kritische Benachrichtigungen eingestellt sind, und auch außerhalb ihrer Ruhezeiten. Wenn ein Ziel über den Ausfall informiert wurde, wird es auch informiert, wenn der Ausfall vorbei ist.
• Beide E-Mails enthalten einen Link View incident, der genau diesen Vorfall öffnet, mit Zeitverlauf und Kommentarfeld, unabhängig davon, wie alt er ist.

Einen Monitor verstehen, der immer wieder ausfällt und sich erholt

Manche Dinge fallen nicht sauber aus – ein instabiler vorgelagerter Dienst oder ein überlasteter Server kann ausfallen, sich erholen und erneut ausfallen, wiederholt. Statt für jeden kurzen Ausfall eine „down“- und „back up“-Meldung zu senden, behandelt InfraNest dies als ein fortlaufendes Problem:

1. Die ersten beiden Ausfälle werden wie gewohnt gemeldet. Die zweite Meldung weist darauf hin: „Das sind 2 Ausfälle in den letzten 15 Minuten.“
2. Der dritte Ausfall innerhalb einer Stunde löst eine kombinierte Meldung aus – zum Beispiel „Review-Endpunkt fällt immer wieder aus und erholt sich wieder – 3 Ausfälle in 40 Minuten“ – mit einer Auflistung jedes einzelnen Ausfalls. Sie geht an jedes Ziel, und ein PagerDuty-Vorfall bleibt offen.
3. Danach bleibt InfraNest still, während der Monitor weiter hin- und herspringt. Jeder kurze Ausfall wird dennoch im Zeitverlauf desselben Vorfalls erfasst, sodass nichts verloren geht.
4. Sobald der Monitor eine Stunde lang aktiv war, erhältst du eine „wieder stabil“-Meldung mit den Gesamtwerten: Anzahl der Ausfälle, gesamte Ausfallzeit und der längste Ausfall. Der PagerDuty-Vorfall wird aufgelöst.
5. Wenn der Monitor länger als 10 Minuten ausfällt, während er instabil ist, wirst du sofort informiert, wie bei einem normalen Ausfall – „instabil“ verbirgt niemals einen echten Ausfall.

Die Meldungen „fällt immer wieder aus“ und „wieder stabil“ können auch eine Lösung vorschlagen, wenn die Ausfälle auf eine hindeuten:

• Der Ausfall tritt täglich etwa zur gleichen Zeit auf: Eine Schaltfläche öffnet ein tägliches Wartungsfenster, das bereits ausgefüllt ist.
• Die Ausfälle sind kürzer als ein paar Checks: Es wird eine Zahl für Failed checks before alerting vorgeschlagen – zum Beispiel „Wenn 3 fehlgeschlagene Checks statt 2 erforderlich wären, hätte das 20 von diesen 22 Ausfällen ignoriert“ – und die Kosten werden erklärt: Ein echter Ausfall würde dann ein bis zwei Minuten später gemeldet. Die Schaltfläche öffnet die Einstellungen des Monitors mit dieser bereits eingetragenen und hervorgehobenen Zahl.

NoteEs ändert sich nichts, bis du speicherst. Falls keiner der Vorschläge passt, wird auch keiner angezeigt.

Vorfälle anzeigen und filtern

1. Öffne Incidents in der Seitenleiste.
2. Verwende Filtern, um die Liste auf offene, bestätigte oder gelöste Vorfälle einzugrenzen.
3. Wähle einen beliebigen Vorfall aus, um dessen vollständigen Zeitverlauf zu öffnen.

TipWenn du über den Link View incident in einer Benachrichtigungs-E-Mail kommst, wird nur dieser eine Vorfall angezeigt, mit einem Hinweis oben. Drücke Show all incidents, um zur vollständigen Liste zurückzukehren.