Falk Dübbert macht Sachen

Artikel sind mit folgenden Tags versehenembedded

Braucht man nicht: Storageausfall am Montag

8. Januar 2020

Am Montag erreichten mich diverse Bitmails meiner Seafile-User, dass der Server super langsam sei und statt der gewohnten 20 MB/s bis 40 MB/s nur noch im kb-Bereich liefern würde.

Der Seafile Server besteht aus drei Petasan – Nodes die eine ISCSI-logical unit an einen vierten Server übergeben, der darin ein crypto-Laufwerk unterhält.

Die logs zeigten, dass die Seafile-Instanz ein paar Commits nicht übertragen konnte. So etwa 11 Millionen…
Ich konnte live verfolgen wie MariaDB/MySQL und NGINX abstürzten.

Ein paar Minuten später konnte ich erkennen, dass in einem der Storage-Nodes eine Platte hops und das ganze Cluster nur noch als Flötenschlumpf zu gebrauchen war. Es wurde besser, als ich den Node komplett aus dem Rennen nahm. Jetzt konnte ich den Schaden betrachten.

MySQLD wollte nicht wieder hochkommen. Entsprechend sind auch alle von MySQL abhängigen Serverdienste im Limbus.
Nachdem ich die Logs von MySQLd gefunden und lesbar gemacht habe, war klar, dass der Dienst eine Crash-Recovery versuchte, diese aber an einer defekten tc.log scheiterte.
Ich beschloss erst, mysql lokal neu zu installieren und die Datenbank aus der Urne zu holen, aber dann wurde mir klar, dass das Backup ein paar Stunden her ist und das SAN-Cluster zwar wieder antwortete, aber Block-Device-IO aktuell nicht wirklich unter fix fiel. Also benannte ich die TC.log um und MySQL startete wieder.
Damit mir keine Inkosistenten Tabellen auf die Füße fallen, habe ich mit
meinuser@mcp:/var/lib/seafile/haiwen/seafile-server-latest# mysqlcheck -u root —password=Test123!BlaBla —auto-repair -ao —all-databases
die Datenbanken überprüft. Die logs laufen jetzt auf die lokalen Patten.

Heute Morgen wurde die defekte Platte getauscht und das Petasan hatte sich sehr schnell erholt. Der Seafile Garbage-Collector läuft nun seit 14 Stunden und ich hoffe, dass ich die Dienste im Laufe des Abends wieder anheizen kann.

Falk Dübbert

,

Kommentare

Über Weihnachten...

19. Dezember 2019

3D Drucker:
  • Atmel tauschen
  • Sailfish laden
  • Extruder umbauen
    • neue Motoren
    • Metallextruder
  • Drucker insgesamt justieren und kalibrieren
Icom-Funkgeräte:
  • Digitalkabel herstellen
  • Antenne ausprobieren
MTB:
  • Laufradsatz 1 wieder geradeprügeln
  • Laufradsatz 2 mit Spikes versehen
  • Federgabel warten (Ölwechsel)
  • auf Endmaß putzen
Rennrad:
  • Winter-LRS klarmachen
  • auf Endmaß putzen
Falk Dübbert

,

Kommentare

Minore Updates am Blog

12. Juni 2019

Ein Blogger schreibt mit einem Blogtool über das Bloggen mit einem Blogtool. Das ist so 2003, dass es wieder schön ist. Ich glaube ich installiere gleich XP auf einem Notebook und Debian Sarge auf dem Server. 

Im Zuge der Vorbereitung eines größeren Aufwaschs, ziehe ich gerade ein paar Vernachlässigungen gerade. Eigentlich wollte ich so schnell wie möglich in Richtung neues Template weiterziehen. Der Code, den mein aktuelles Template „Yoko“ von Elmastudio erzeugt, ist deutlich angejahrt. 

Textpattern, das darunterliegende CMS, kann mittlerweile aus jeder HTML Seite ein Template oder Theme machen; oder besser gesagt, man kann mit wenig Code-Kenntnissen aus fast allem ein Template oder Theme erzeugen. 

Yoko war schön. Als ich auf Textpattern umstellte, war es auch modern. Zum Herbst hin will ich aber meinen Blog-Stil neu erfinden und Yoko hat mit 4k und Medieneinbindung große Probleme. Da die Zeit der Textwüsten vorbei sein soll und ich die meisten Inhalte von anderen Seiten einbetten möchte, wird das zum Showstopper. 

Aktuell läuft ein Log-basierter Kuratierungs-Prozess: Alle Artikel, die im letzten Jahr keinen Zugriff erhielten, werden gelöscht. Die anderen, die nicht zu den neuen Themen passen, kommen ins „Archiv“ und der Rest bleibt, wo er ist.

Falk Dübbert

,

Kommentare

Diese Seite verwendet Cookies, Tracking-Technologien, Logs, APIs und Codeschnipsel von dritten. Hier erfahrt ihr alles zum Datenschutz

✖ Ok! Einverstanden.