Ein Incident ist eine ungeplante Unterbrechung oder Verringerung der Servicequalität, die von Monitoring-Systemen erkannt und nachverfolgt wird und eine Diagnose und Lösung erfordert. In IT-Betrieb reichen Incidents von Leistungsbeeinträchtigung bis zu kompletten Ausfällen; in der Sicherheit stellen sie Verstöße oder Bedrohungen für Sicherheitsrichtlinien dar.
Incidents werden typischerweise durch Health Checks, Uptime Monitoring oder Alerting-Systeme erkannt, die Metriken, Logs oder Sicherheitsereignisse beobachten. Wenn ein Alert-Schwellenwert überschritten wird – etwa wenn Fehlerquoten sprunghaft ansteigen, ein Service unerreichbar wird oder unbefugter Zugriff erfolgt – wird ein Incident in einem On-Call-System (PagerDuty, Opsgenie usw.) erstellt und eine Schweregrad-Stufe zugewiesen.
Der Incident-Lebenszyklus folgt einem Standardmuster:
- Erkennung: Monitoring-Regeln oder Anomalieerkennung lösen einen Alert aus
- Triage: On-Call-Responder bewertet Schweregrad und Auswirkungen
- Mitigation: Maßnahmen zur Wiederherstellung des Service (Rollback, Neustart, Failover)
- Root-Cause-Analyse: Post-Incident-Review, das dokumentiert, was passiert ist und warum
- Abschluss: Ticket gelöst mit dokumentierten Lektionen
Beispiel: Dein Monitoring-System erkennt, dass eine Anwendung für 10 % der Anfragen HTTP-500-Fehler zurückgibt. Ein Alert wird ausgelöst, ein SEV-2-Incident wird automatisch erstellt und eine Benachrichtigung an den On-Call-Engineer gesendet, der beginnt, die Erschöpfung des Datenbankverbindungspools zu untersuchen.
WarningNicht jeder Alert ist ein Incident. Alert-Ermüdung durch überempfindliche Schwellenwerte kann dazu führen, dass echte Incidents übersehen werden. Implementiere richtige Alert-Deduplizierung, Schweregrad-Klassifizierung und Eskalationslogik, um sicherzustellen, dass nur echte Service-Probleme zu verfolgten Incidents werden.
Verwandte Konzepte: DNS Failover für automatische Wiederherstellung, MTTR zur Messung der Lösungsgeschwindigkeit und Status Page zur Kommunikation von Incidents an Nutzer.