Am 18. September kam es leider zu einer größeren Störung unserer zentralen Netzwerkinfrastruktur, durch die Teile unserer Dienste zeitweise nicht erreichbar waren.

Die Ursache konnte inzwischen eindeutig eingegrenzt werden. Auslöser war ein Firmwarefehler innerhalb unserer redundant ausgelegten Router-Infrastruktur. Durch diesen Fehler geriet ein Teil des Verbunds in einen fehlerhaften Betriebszustand. Aufgrund der Synchronisation innerhalb der redundanten Infrastruktur wurde dieser Zustand anschließend innerhalb des Verbunds weitergegeben.

Damit trat genau der Fall ein, den die Redundanz eigentlich verhindern soll: Mehrere redundante Komponenten befanden sich gleichzeitig in demselben fehlerhaften Zustand, sodass die automatische Übernahme des Datenverkehrs nicht mehr wie vorgesehen erfolgen konnte.

Die Analyse wurde zusätzlich dadurch erschwert, dass das Fehlerbild zunächst auf eine Störung außerhalb unserer eigenen Infrastruktur hindeutete. Erst im Verlauf der erweiterten Diagnose konnte der gemeinsame Firmwarefehler als Ursache eindeutig identifiziert werden.

Wir überprüfen derzeit sowohl die eingesetzte Firmware als auch das Synchronisations- und Failover-Verhalten der Router. Zusätzlich werden wir Schutzmechanismen implementieren, die verhindern sollen, dass ein fehlerhafter Systemzustand künftig innerhalb der redundanten Infrastruktur weitergegeben werden kann.

Für die entstandenen Einschränkungen möchten wir uns ausdrücklich entschuldigen. Wir wissen, dass unsere Kunden sich auf die Verfügbarkeit unserer Infrastruktur verlassen, und bedauern sehr, dass wir diesem Anspruch in diesem Fall nicht gerecht geworden sind.

Gegenwärtig kommt es bei allen Serversystemen zu Ausfällen und Störungen der Dienste. Das Problem wird untersucht.

Das Technikteam untersucht derzeit mit höchster Priorität die Ursache der Störung und arbeitet an der Wiederherstellung der betroffenen Infrastruktur.

Zum aktuellen Zeitpunkt können wir noch keine verlässliche Aussage zur Ursache oder zur voraussichtlichen Dauer der Störung treffen.