Falk Dübbert macht Sachen

Artikel sind mit folgenden Tags versehencache

Braucht man nicht: Storageausfall am Montag

8. Januar 2020

Am Montag erreichten mich diverse Bitmails meiner Seafile-User, dass der Server super langsam sei und statt der gewohnten 20 MB/s bis 40 MB/s nur noch im kb-Bereich liefern würde.

Der Seafile Server besteht aus drei Petasan – Nodes die eine ISCSI-logical unit an einen vierten Server übergeben, der darin ein crypto-Laufwerk unterhält.

Die logs zeigten, dass die Seafile-Instanz ein paar Commits nicht übertragen konnte. So etwa 11 Millionen…
Ich konnte live verfolgen wie MariaDB/MySQL und NGINX abstürzten.

Ein paar Minuten später konnte ich erkennen, dass in einem der Storage-Nodes eine Platte hops und das ganze Cluster nur noch als Flötenschlumpf zu gebrauchen war. Es wurde besser, als ich den Node komplett aus dem Rennen nahm. Jetzt konnte ich den Schaden betrachten.

MySQLD wollte nicht wieder hochkommen. Entsprechend sind auch alle von MySQL abhängigen Serverdienste im Limbus.
Nachdem ich die Logs von MySQLd gefunden und lesbar gemacht habe, war klar, dass der Dienst eine Crash-Recovery versuchte, diese aber an einer defekten tc.log scheiterte.
Ich beschloss erst, mysql lokal neu zu installieren und die Datenbank aus der Urne zu holen, aber dann wurde mir klar, dass das Backup ein paar Stunden her ist und das SAN-Cluster zwar wieder antwortete, aber Block-Device-IO aktuell nicht wirklich unter fix fiel. Also benannte ich die TC.log um und MySQL startete wieder.
Damit mir keine Inkosistenten Tabellen auf die Füße fallen, habe ich mit
meinuser@mcp:/var/lib/seafile/haiwen/seafile-server-latest# mysqlcheck -u root —password=Test123!BlaBla —auto-repair -ao —all-databases
die Datenbanken überprüft. Die logs laufen jetzt auf die lokalen Patten.

Heute Morgen wurde die defekte Platte getauscht und das Petasan hatte sich sehr schnell erholt. Der Seafile Garbage-Collector läuft nun seit 14 Stunden und ich hoffe, dass ich die Dienste im Laufe des Abends wieder anheizen kann.

Falk Dübbert

,

Kommentare

PHP 5.3 -> PHP 7.2 geringe Flurschäden

18. Dezember 2019

Im Zuge der Vorbereitungen auf 2020 habe ich den NGINX/MySQL/PHP-Stack aktualisiert.

Zerbrochen sind:
  • die Tracmor-Lagerverwaltung
  • meine selbstgebastelte Webcam-Oberfläche für die Überwachungskameras
  • meine Wetterstationsapp
  • die alte Lifetype-Version meines Blogs, die 2003 auf einem WAMP (Windows, Apache, MySQL, PHP) in meinem Kleiderschrank startete. Diesmal wohl endgültig.

Ich werde nichts davon reparieren.

Das Blog, meine Service-Apps, die Oberfläche der BTC/LTC-Tradingbots und ein paar andere Dinge haben es überlebt.

Falk Dübbert

,

Kommentare

Konzentration, Code-Qualität oder: Menü geht wieder.

11. Juni 2019

Eigentlich habe ich es geschafft, viele Variablen aus meinem Leben zu streichen. Ich bin ja schon seit Juli 2018 an dem Thema. Ich habe toxische „Freundschaften“ beendet, Mitgliedschaften gekündigt und vieles andere getan, damit ich nur nach vorne schauen muss. 

Aber dennoch bin ich noch nicht auf dem Niveau der Fokussierung, den ich vor 22 Jahren mal hatte. Damals konnte ich alle Gedanken außer den an eine Bewegung aus dem Kopf drängen. 

Vor ein paar Tagen stellte ich fest, dass das Top-Menü meines Blogs verschwunden war. Ich war im ersten Anlauf auch auf dem richtigen Weg und hatte ein Cache-Problem vermutet.

Ich hatte im Zuge eines Updates das Plugin aks_cache aus dem Textpattern entfernt. Mein Template „Yoko“ macht aber extensiv Gebrauch davon. Ich hätte den Code halt durchsehen und alle mit aks_cache geklammerten Objekte auf den neuen Cache-Mechanismus umstellen sollen. Das Problem ist, dass mir dieser Umstand mit aks_cache eigentlich mal präsent war, also sein müsste…

Falk Dübbert

,

Kommentare [1]

Diese Seite verwendet Cookies, Tracking-Technologien, Logs, APIs und Codeschnipsel von dritten. Hier erfahrt ihr alles zum Datenschutz

✖ Ok! Einverstanden.