Sechs Experten, ein Urteil. SRE ruft sie zusammen.

Netzwerk, Infrastruktur, Anwendung, Logs, Hosts und Schwachstellen: Jeder Experte liest seine Werkzeuge, der Orchestrator-Agent führt die Befunde zusammen. Alles nur lesend.

Agents entdecken

Orchestrator-Agent

Hypothesen · Zeitleiste · Bericht

Logs: 14 Timeout-Fehler um 13:41 im Index der Filiale. Die Zeilen sind angehängt.

Illustratives Beispiel · jede Anfrage an die Werkzeuge bleibt im Audit-Log

Eine Untersuchung, von der Meldung zum Bericht.

Niemand muss sechs Konsolen nacheinander öffnen: Der Agent tut es für die Bereitschaft und berichtet, was er gefunden hat.

  1. 13:42

    Die Meldung kommt an.

    Eine Nachricht, zum Beispiel in Teams, startet die Untersuchung: Sie sagt, was nicht funktioniert und wo.

  2. 13:42

    Ein isolierter Container öffnet sich.

    Jede Untersuchung arbeitet in ihrer eigenen Umgebung, getrennt vom Rest der Infrastruktur.

  3. 13:43

    Die Experten lesen.

    Netzwerk, Infrastruktur, Anwendung, Logs, Hosts und Schwachstellen: Jeder fragt nur seine eigenen Werkzeuge ab, nur lesend.

  4. 13:46

    Der Orchestrator denkt nach.

    Er ordnet die Ereignisse in einer Zeitleiste, sucht die Ursache mit den 5 Warum und formuliert Hypothesen.

  5. 13:48

    Der Bericht kommt an.

    Die Hypothesen mit ihrem Konfidenzgrad und ein Lösungsvorschlag für die Bereitschaft. Deren Feedback geht zurück an den Agenten.

Illustratives Beispiel

Jede Antwort, ein neues Warum.

Der Orchestrator folgt keinem Skript: Nach jeder Antwort der Werkzeuge entscheidet er, was er als Nächstes fragt. Er geht ein Warum nach dem anderen tiefer, verwirft Spuren, die nicht tragen, und hält bei der Ursache an.

Filiale: langsame Kassen seit 13:40

  1. Warum?Warum sind die Kassen langsam?

    Die Filiale meldet seit 13:40 langsame Kassen. Ich gehe vom Symptom aus: Wie langsam ist die Anwendung, und seit wann?

    Anwendung

    dynatrace.response_time(service="checkout", window="60m")

    Antwortzeiten steigen seit 13:38. Anfragen stauen sich in der Warteschlange.

    Verworfene Spur · Netzwerk

    Ich schließe zuerst die einfachste Ursache aus: Könnte es das Netzwerk zur Filiale sein?

    wug.packet_loss(site="store", window="30m")

    Keine Pakete verloren, Latenz normal. Das Netzwerk erklärt die Verlangsamung nicht.

  2. Warum?Warum wird die Anwendung langsamer?

    Wenn die Anwendung langsamer wird und das Netzwerk gesund ist, schlägt dahinter etwas fehl. Ich suche Fehler um 13:38.

    Logs

    splunk.search(index="store", query="timeout", window="30m")

    14 Timeout-Fehler um 13:41, alle in Richtung Datenbank.

    Verworfene Spur · Infrastruktur

    Timeouts zur Datenbank. Steht der Server unter Last?

    checkmk.host_status(host="db-01")

    Erreichbar, CPU und Speicher unter den Schwellenwerten. Kein Ressourcenproblem.

  3. Warum?Warum laufen Datenbankanfragen in Timeouts?

    Gesunder Server, aber Anfragen laufen in Timeouts: warum? Ich prüfe die offenen Verbindungen mit einem Befehl aus der Positivliste.

    Hosts

    ssh.run(host="app-01", cmd="ss -s")

    Der Verbindungspool ist seit dem Neustart des Dienstes um 13:35 am Limit.

    Verworfene Spur · Schwachstellen

    Ein Zweifel bleibt: Könnte eine Schwachstelle es erklären? Ich suche nur nach IDs und Versionen, sonst wird nichts gesendet.

    cve.lookup(product="app-runtime", version="installed")

    Keine kritische CVE in den eingesetzten Versionen. Hypothese ohne Zusammenhang.

Grundursache

Wahrscheinlichste Ursache: Der Datenbank-Verbindungspool ist nach dem Release ausgelastet. Hohe Konfidenz. Ich bereite den Bericht mit Timeline und Lösung vor und warte auf das Feedback der Bereitschaftsperson.

Illustratives Beispiel · jede Aktion ist eine Lesezugriffsanfrage und bleibt im Audit-Log

Die Bereitschaft erhält eine Hypothese, keinen Alarm.

Der Bericht bleibt nicht beim Symptom stehen: Er listet mögliche Ursachen nach Konfidenz, zeigt die Zeitleiste und schlägt eine Lösung vor. Die Bereitschaft entscheidet, was zu tun ist, und sagt dem Agenten, ob er recht hatte.

Agents entdecken

Vorfallsbericht

Hypothesen zur Grundursache

  • Verbindungspool zur Datenbank nach dem Release erschöpftHohe Konfidenz
  • Anfragespitze am AnwendungsdienstMittel
  • Netzwerklatenz Richtung FilialeNiedrig
  • CVE in einer AnwendungsbibliothekOhne Zusammenhang

Lösungsvorschlag

Das Pool-Limit erhöhen und den Dienst im vereinbarten Zeitfenster neu starten.

Feedback der BereitschaftUrsache bestätigt

Illustratives Beispiel

Er sieht alles, er ändert nichts.

Auf einer Infrastruktur, die man nicht anfassen darf, ist der Agent dafür gebaut, nur zu lesen.

Nur lesend
Jeder Experte nutzt nur die Werkzeuge einer Positivliste. Keines dieser Werkzeuge ändert, startet neu oder konfiguriert etwas.
Isolierter Container
Jede Untersuchung läuft in ihrer eigenen Umgebung, getrennt vom Rest.
Alles im Audit-Log
Jede Anfrage an die Werkzeuge wird protokolliert.
Kein Internetzugang
Ausgenommen sind CVE-IDs und Versionen, an autorisierte Domains.
AION-Modell lokal
Das Denken übernimmt ein AION-Modell auf den PGX: Die Vorfallsdaten bleiben, wo sie sind.

Bringen wir AION SRE auf Ihre Monitoring-Werkzeuge.

Erzählen Sie uns, welche Werkzeuge Sie nutzen: Wir zeigen Ihnen, wie die Experten sie lesen und was bei einer Untersuchung herauskommt.

Standort
Corso Vercelli 89, 28100 Novara

Ihre Daten werden gemäß unserer Datenschutzrichtlinie behandelt und nicht an Dritte weitergegeben.