mod_backup

Beitrag von **MarkusR** » 24.07.2009 13:12

Sowas hatte ich ja schon mal für 3.4.x entwickelt und einige von diesen Modulen laufen nun schon seit Jahren...

Aber wozu für 4.x ???
Da gibt es doch ein integriertes Backup.

Ja, schon. Aber das ist ein XML-Backup und kann somit nur in eine laufende Installation eingespielt werden, also kein Disaster-Recovery.

Aber es gibt doch auch phpmyadmin.

Ja, sicher. Hiermit kann man wunderbar korrekte Backups erstellen. Nach Login, vielen Klicks und Herunterladen des Dumps...
Und... schon mal versucht ein 30MB Dump-Zip wieder einzuspielen???

Und vor allem: Wer kümmert sich ums Backup und wird es denn dann auch wirklich gemacht. Nach einem Crash oder Hackerangriff muß man sich die Frage nicht mehr stellen.

Also, ich muß noch ein paar Dinge anpassen, das Handbuch vervollständigen und werde es dann hier und auf der Modulseite veröffentlichen.

Features:
- zeitgesteuerte SQL-Dumps
- Versand per Mail
- Restore großer SQL-Dumps (mittels BigDump)
- Installation ohne jegliche Dateieingriffe

Da das Restore auch ohne lauffähiges ConPresso auskommt eignet sich das Modul auch bestens für einen Serverumzug...

Gerade der Mailversand ist ein optimales Feature, damit bei einem Servercrash nicht auch die Backups weg sind.
Ich nutze den Mailversand schon seit Jahren und muß nur alle paar Monate mein 5 Gigabyte GMX-Account aufräumen, bei dem die Mails per Filterregel in einen passenden Ordner gelegt werden und die Backups automatisch im Mediacenter landen, so daß ich darauf als Webordner zugreifen kann.

Es ist allerdings wieder ein rein kommerzielles Modul, da sich bei nicht-kommerziellen Auftritten ja sicher ein Hiwi findet, der die paar Klicks in phpmyadmin freiwillig jeden Tag ausführt. Oder ein schlauer Webmaster, der schnell mal einen cronjob erstellt.

balu · Beitrag von **balu** » 27.07.2009 11:09

Hi Markus,

die Idee gefällt mir sehr gut. Einziger Punkt, den ich im Moment bedenken würde ist: Hast Du schon mal 30 MB Mails verschickt? Die kommen nämlich auch nicht immer an

.

Ein Kunde von uns nutzt ein Tool namens "MySQLdumper" (http://www.mysqldumper.de/), das man auf einem passenden Server (Cron, Perl müssen verfügbar sein) auch automatisieren kann.

Ansonsten ist es auch noch manuelle Arbeit, die aber weniger Aufwand erfordert als phpMyAdmin.

Einziger Kritikpunkt ist meiner Meinung nach, dass das Verzeichnis bei einer Installation nicht automatisch geschützt wird. Aber darauf wird man hingewiesen, wenn man das Tool aufruft.

Balu

Beitrag von **MarkusR** » 27.07.2009 11:47

das man auf einem passenden Server (Cron, Perl müssen verfügbar sein) auch automatisieren kann

Genau da setzt mod_backup an.

In der 3.4.x Version mußte noch system() sowie mysqldump verfügbar sein. Das scheiterte aber schon damals bei vielen Servern.

In dieser Version wird alles nur in PHP realisiert.

Ich verschicke täglich Backups mit 30MB (aktuell hat eines 33,5MB).*

Das geht aber zugegebenerweise nur auf "dicken" Servern, bei denen man mitttels shell-Skripten und cronjobs ohnehin besser zum Ziel kommt.

Zielgruppe sind für dieses Modul eher die "Sparsamen" mit den Mini-Accounts ohne Shell-Zugriff, die sonst nur über phpmyadmin eine Sicherung durchführen könnten. Davon habe ich mittlerweile mehrere Fälle. Typischerweise gibt es dort ein Datenbackup, auf die die Kunden zugreifen können, aber kein Datenbank-Backup, so daß bei einem Crash oder einem Angriff die z.T. über Jahre zusammengeschriebenen Artikel verloren wären.

*) nochmal zu den Größen: Ein reiner ConPresso-Auftritt mit einigen zigtausend Artikeln kommt als sql.gz-Backup auf gute 3MB. Ein umfangreicher ConPresso-Auftritt mit phpBB-Fach-Forum kommt (als No1 bei Google) derzeit auf 17MB. Ein "Laberforum" mit ca. tausend Usern und 100.000 Beiträgen verursacht die genannten 33,5MB). Die kleinen Pakete der Zielgruppe werden vermutlich nie über 1MB anwachsen.

Marky · Beitrag von **Marky** » 04.10.2009 17:17

Hallo Markus,

wie ist denn da der Stand?
Gibt das ein rein kommerzielles Modul?

Ich würde das gerne bei uns einsetzen.

@edit: ah ... habs gelesen. Rein kommerziell. Schade.

Beitrag von **MarkusR** » 04.10.2009 19:31

Ich habe es jetzt auf drei Servern als Test laufen und habe bisher keine Probleme bemerkt.

Vielleicht erstelle ich ja mal eine abgespeckte Version für nicht kommerziellen Einsatz.
Aber leider gibt es seit längerer Zeit extreme Probleme mit der Lizensierung durch kommerzielle Anwender, so daß sich weitere Entwicklungen vermutlich nicht mehr lohnen und stattdessen Anwälte gut verdienen werden...

Anyway... ich würde jedem ohnehin raten ein paar Euro für ein besseres Paket zu investieren und dann z.B. mit einem Cronjob oder Scripten wie Reoback professionell Sicherungen durchzuführen.

Marky · Beitrag von **Marky** » 05.10.2009 08:24

MarkusR hat geschrieben: Zielgruppe sind für dieses Modul eher die "Sparsamen" mit den Mini-Accounts ohne Shell-Zugriff, die sonst nur über phpmyadmin eine Sicherung durchführen könnten.

ja, genau das ist eben der geldwerte Vorteil. Hinzu kommt noch das Fehlen eines Tools wie MySQLDumper. Von daher macht eine nicht kommerzielle Variante ja fast kaum noch Sinn.
Streicht man die beiden Features von der abgespeckten Version, bleibt eigentlich nicht mehr viel.

Beitrag von **MarkusR** » 19.11.2009 12:04

Ich habe das Modul einigen Testern zur Verfügung gestellt.

Gibt es da inzwischen Erkenntnisse?

Bei mir läuft es fast problemlos.
Lediglich bei einem Strato-Webhosting-Account gibt es Probleme mit Scriptbeschränkungen.
Hier wird die Erstellung des SQL-Dumps bei exakt 10 MByte abgebrochen.
Das scheint eine Serverbeschränkung zu sein.
Danach funktioniert die anschließende gzip-Komprimierung und der Versand natürlich nicht mehr...

Marky · Beitrag von **Marky** » 20.11.2009 12:44

Hallo Markus,

bei uns läuft das ohne Probleme bisher ...
Super Sache!

Mr. Magpie · Beitrag von **Mr. Magpie** » 15.04.2010 00:05

Marky hat geschrieben:Hallo Markus,

wie ist denn da der Stand?
Gibt das ein rein kommerzielles Modul?

Ich würde das gerne bei uns einsetzen.

@edit: ah ... habs gelesen. Rein kommerziell. Schade.

Wo ist denn da das Problem? Was sind schon die 25-50 € für einen solchen Rettungsanker, verglichen mit dem zeitlichen und damit pekuniären Aufwand 1) fürs händische Backup-Ziehen, 2) wenn's 'mal wirklich brennt?

Also ich würd's nun liebend gern einmal testen, Markus. Ich kauf's, äh lizenzier's auch unbesehen!

Beitrag von **MarkusR** » 15.04.2010 00:19

Du hast Post!

Ich habe es nun auf einigen Webauftritten laufen und außer oben beschriebener Begrenzung eines Billig-Accounts noch keine Probleme gehabt.

Ich habe damit mittlerweile sogar zwei Server "synchronisiert".

Dabei holt sich ein root-Server von einem normalen Hosting-Account mittels FTP die Backups und schreibt sie in die Datenbank des root-Servers.
Zusätzlich wird nur das Verzeichnis _data und mod_gallery/bilder per FTP synchronisiert.
Damit habe ich immer eine lauffähige Kopie...

Das zeigt, daß das Backup ohne Probleme ein System rekonstruieren kann.

Code: Alles auswählen

#!/bin/sh

ncftpget -R -h HOSTNAME -u USERNAME -p PASSWORT /var/www/domain.tld _data
ncftpget -R -h HOSTNAME -u USERNAME -p PASSWORT /var/www/domain.tld/mod_gallery mod_gallery/bilder
ncftpget -R -h HOSTNAME -u USERNAME -p PASSWORT /var/www/domain.tld mod_backup
cd /var/www/domain.tld/mod_backup
find . -name '*.gz' -type f -mtime -1 -exec gzip -d {} \;
find . -name '*.sql' -type f -mtime -1 -exec cp {} dump.sql \;
mysql -u USERNAME -pPASSWORT DBNAME < dump.sql
rm .??*.gz
rm .??*.sql
rm *.sql

Mr. Magpie · Beitrag von **Mr. Magpie** » 15.04.2010 00:34

Wenn nun die SQL-Dumps so ungesichert um die Welt gehen - sei es per eMail oder per FTP - kann man da nicht noch eine Sicherung einbauen? Vllt. die gezippte Version mit einem Kennwort versehen?

Beitrag von **MarkusR** » 15.04.2010 00:49

Naja, "ungesichert" ist relativ...

... aber leider unterstützen weder die PHP-Funktionen noch das gzip-Format selbst eine Verschlüsselung.

Im Zweifelsfall dann eben ein SFTP-Tool nutzen statt ncftp (das auch kein SFTP unterstützt)

Mr. Magpie · Beitrag von **Mr. Magpie** » 15.04.2010 11:01

Hallo Markus,

das Modul läuft seit heute Nacht und von Anfang an völlig problemlos.

Besonders gefällt mir, dass die Backups nur gemacht werden, wenn auch jemand im CMS arbeitet: Ist das eingestellte Intervall abgelaufen, aber niemand eingeloggt, wird erst beim nächsten Einloggen ein Backup erstellt.
BTW, ich nehme an, es reicht das Einloggen eines Benutzers mit der Rolle "Redakteur" schon aus, oder? So war's, wenn ich mich recht entsinne, auch bei dem Modul für CPO 3.4.x.

Würde ich gerne bei allen künftigen Kunden standardmäßig verwenden und auch Bestandskunden anbieten. Fehlt nur noch die Möglichkeit zur Lizenzierung auf conpresso4.de ...

Beitrag von **MarkusR** » 15.04.2010 12:46

Es reicht jeglicher Abruf der Webseite, sei es eine Suchmaschine oder ein normaler Benutzer. Dieser eine Abruf dauert dann eben etwas länger...

Sonst würden z.B. Gästebucheinträge, Kontakte, etc. - also alles, was auch ohne Redakteur Inhalte erzeugt - nicht mit gesichert.

Ich kriege die Backups auch von Webseiten, in denen seit Monaten keine redaktionelle Tätigkeit mehr stattfand...

Den Zeitpunkt kann man ja steuern, indem man selbst das erste Backup manuell anstößt, also z.B. nachts. Natürlich verschiebt er sich mit der Zeit, kann aber jederzeit wieder "justiert" werden.

Ich lasse die Mails übrigens an GMX senden und habe dort eine Vorhaltezeit nach Wunsch eingestellt... so läuft da auch nie was über.

Mr. Magpie · Beitrag von **Mr. Magpie** » 15.04.2010 12:53

MarkusR hat geschrieben:Es reicht jeglicher Abruf der Webseite, sei es eine Suchmaschine oder ein normaler Benutzer. Dieser eine Abruf dauert dann eben etwas länger...

Sonst würden z.B. Gästebucheinträge, Kontakte, etc. - also alles, was auch ohne Redakteur Inhalte erzeugt - nicht mit gesichert.

Stimmt auch wieder

MarkusR hat geschrieben:Ich lasse die Mails übrigens an GMX senden und habe dort eine Vorhaltezeit nach Wunsch eingestellt... so läuft da auch nie was über.

Guter Tipp, so wird das "häusliche" eMail-Programm nicht unnötig belastet.