Falk Dübbert macht Sachen

...

Braucht man nicht: Storageausfall am Montag

| Keine Kommentare

Am Montag erreichten mich diverse Bitmails meiner Seafile-User, dass der Server super langsam sei und statt der gewohnten 20 MB/s bis 40 MB/s nur noch im kb-Bereich liefern würde.

Der Seafile Server besteht aus drei Petasan – Nodes die eine ISCSI-logical unit an einen vierten Server übergeben, der darin ein crypto-Laufwerk unterhält.

Die logs zeigten, dass die Seafile-Instanz ein paar Commits nicht übertragen konnte. So etwa 11 Millionen…
Ich konnte live verfolgen wie MariaDB/MySQL und NGINX abstürzten.

Ein paar Minuten später konnte ich erkennen, dass in einem der Storage-Nodes eine Platte hops und das ganze Cluster nur noch als Flötenschlumpf zu gebrauchen war. Es wurde besser, als ich den Node komplett aus dem Rennen nahm. Jetzt konnte ich den Schaden betrachten.

MySQLD wollte nicht wieder hochkommen. Entsprechend sind auch alle von MySQL abhängigen Serverdienste im Limbus.
Nachdem ich die Logs von MySQLd gefunden und lesbar gemacht habe, war klar, dass der Dienst eine Crash-Recovery versuchte, diese aber an einer defekten tc.log scheiterte.
Ich beschloss erst, mysql lokal neu zu installieren und die Datenbank aus der Urne zu holen, aber dann wurde mir klar, dass das Backup ein paar Stunden her ist und das SAN-Cluster zwar wieder antwortete, aber Block-Device-IO aktuell nicht wirklich unter fix fiel. Also benannte ich die TC.log um und MySQL startete wieder.
Damit mir keine Inkosistenten Tabellen auf die Füße fallen, habe ich mit
meinuser@mcp:/var/lib/seafile/haiwen/seafile-server-latest# mysqlcheck -u root —password=Test123!BlaBla —auto-repair -ao —all-databases
die Datenbanken überprüft. Die logs laufen jetzt auf die lokalen Patten.

Heute Morgen wurde die defekte Platte getauscht und das Petasan hatte sich sehr schnell erholt. Der Seafile Garbage-Collector läuft nun seit 14 Stunden und ich hoffe, dass ich die Dienste im Laufe des Abends wieder anheizen kann.

Keine Kommentare

Kommentarfunktion für diesen Artikel geschlossen.

Diese Seite verwendet Cookies, Tracking-Technologien, Logs, APIs und Codeschnipsel von dritten. Hier erfahrt ihr alles zum Datenschutz

✖Ok! Einverstanden.