Admin: Created page with "== /etc/dirvish/master.conf == ## Example dirvish master configuration file: bank: /storage/dirvish_bank image-default: %Y%m%d log: bzip2 index: bzip2 exclude: ..."

2011-09-11T08:44:57Z

Created page with "== /etc/dirvish/master.conf == ## Example dirvish master configuration file: bank: /storage/dirvish_bank image-default: %Y%m%d log: bzip2 index: bzip2 exclude: ..."

New page

== /etc/dirvish/master.conf ==
## Example dirvish master configuration file:
bank:
/storage/dirvish_bank
image-default: %Y%m%d
log: bzip2
index: bzip2
exclude:
lost+found/
core
*~
.nfs*
dev/
proc/
tmp/
mnt/
Runall:
fileserver_data 22:00
mailserver_data 22:00
# mailserver_filesystem 22:00
expire-default: +15 days
expire-rule:
# MIN HR DOM MON DOW STRFTIME_FMT
* * * * 1 +3 months
# * * 1-7 * 1 +1 year
# * * 1-7 1,4,7,10 1
* 10-20 * * * +4 days
# * * * * 2-7 +15 days

== default.conf ==
De gebruikte config heeft de betreffende dirvish-bank in /storage/dirvish_bank/fileserver_data/ staan.
Een dirvish-bank is een dirvish-bank, omdat er de file /dirvish/default.conf in staat met de volgende inhoud:

client: root@192.168.1.5
tree: /storage/networkdrive
xdev: 0
index: gzip

Voorbeeld na een paar weken aan dirvish-backup:
backupserver:/storage/dirvish_bank/fileserver_data# ls
20080203 20080224 20080304 20080307 20080310 20080313 20080316
20080210 20080302 20080305 20080308 20080311 20080314 dirvish
20080217 20080303 20080306 20080309 20080312 20080315
Met onder elke "datum-directory" de volgende structuur:
backupserver:/storage/dirvish_bank/fileserver_data# ls -l 20080203/
total 4636
-rw-r--r-- 1 root root 4718902 Feb 4 10:51 index.gz
-rw-r--r-- 1 root root 759 Feb 4 10:51 log
-rw-r--r-- 1 root root 842 Feb 4 10:51 summary
drwxrwxr-x 20 1017 users 4096 Jan 15 15:29 tree
Onder de directory "tree" is een volledige snapshot te vinden van de datastructuur van dat moment.

== Dirvish-bank initialiseren ==
Om een ''vault'' te kunnen gebruiken moet deze eerst een keer aangemaakt worden. Dit doe je dmv het volgende commando:
dirvish --vault fileserver_data --init
N.B. Dit maakt een complete rsync backup van je data, dus kan een grotere netwerk/server belasting veroorzaken dan een normale backup.

== cronjob ==
De cronjob om de backups te maken ziet er als volgt uit:
# m h dom mon dow command
0 22 * * * /usr/sbin/dirvish-expire --quiet ; /usr/sbin/dirvish-runall --quiet

== Automatisch inloggen via ssh op een andere machine ==
Genereer eerst een eigen ssh-identity.
ssh-keygen -t dsa
Eventueel kun je een passphrase opgeven, maar dat is in dit geval niet praktisch.
Dit maakt de private <tt>id_dsa</tt> en public key <tt>id_dsa.pub</tt> aan in <tt>/root/.ssh/</tt>
Hierna kopieer je die key naar de andere machine (waarop je automatisch wilt inloggen):
ssh-copy-id -i id_dsa root@mail
Zorg wel dat de hostname <tt>mail</tt> bestaat en maak deze desnoods aan in de <tt>/etc/hosts</tt>
Hierna kun je zonder een wachtwoord in te hoeven vullen, inloggen op de andere pc ("mail" in dit geval)
Rsync en dergelijke hebben nu ook geen wachtwoord meer nodig.

== Kopieren van Dirvish-vault ==
Ik heb een script geschreven wat op de CH3SNAS automatisch na het booten de backup-server kopieert naar zijn eigen schijven.
Op de CH3SNAS heb ik met funplug eerst een Linux-distributie gezet.

Script kijkt wat de laatste lokale backup is, en haalt vervolgens alles wat nieuwer is van de backupserver (inclusief --link-dest)

#!/bin/sh
hostname=192.1.132.15
dirvishbank=/storage/dirvish_bank/
remote_dirvishbank=/storage/dirvish_bank/
expire_days=100
TODAY=`date +%Y%m%d`
dobackup(){
echo "Doing backup of $dirvishbank / $dirvishvault"
cd /$dirvishbank/$dirvishvault/
LATEST_LOCAL=`ls | tail -n 1`
remote_allfiles=`ssh root@$hostname ls /storage/dirvish_bank/$dirvishvault/ --file-type | grep '/$' |sort -n |grep '[0-9]'`
for file in $remote_allfiles
do remote_latest=$file
done
remote_backups=`ssh root@$hostname ls /storage/dirvish_bank/$dirvishvault/ --file-type | grep '/$' |sort -n |grep '[0-9]' |grep -B 26 $remote_latest |grep
todo=`echo $remote_backups $LATEST_LOCAL/ |xargs -n 1 echo|sort -n | uniq |grep -A 26 $LATEST_LOCAL/ |grep -v $LATEST_LOCAL/`
for ARG in $todo
do echo "Transferring $dirvishvault using $LATEST_LOCAL as link-dest, processing $ARG"
rsync -e 'ssh -ax -c blowfish' -vrltH --delete -pgo --stats -D --numeric-ids -x --link-dest=/$dirvishbank/$dirvishvault/$LATEST_LOCAL root@$hostname:$remote_dirvishbank/$dirvish
LATEST_LOCAL=$ARG
done
}
dirvishvault=system_files/
dobackup
dirvishvault=mailserver_data/
dobackup
dirvishvault=tekensysteem_data/
dobackup
dirvishvault=fileserver_data/
dobackup
Er is geen dirvish-expire op de CH3NAS (eventueel een keer kijken naar waarom dat (een perl-script) niet werkt). Oude backups (meer dan 100 dagen) verwijderen met:
find /storage/dirvish_bank/VAULT -maxdepth 1 -mtime +100 -type d -exec rm -r {} \;

Op dit moment 2 schijven in de CH3NAS, eenmaal 500 en eenmaal 300G:
# df -h
Filesystem Size Used Available Use% Mounted on
rootfs 9.7M 7.2M 2.0M 78% /
/dev/root 9.7M 7.2M 2.0M 78% /
/dev/sda2 457.5G 132.8G 324.7G 29% /mnt/HD_a2
/dev/sdb2 292.4G 191.2G 101.2G 65% /mnt/HD_b2
/dev/sda4 486.2M 9.0k 486.2M 0% /mnt/HD_a4
/dev/sdb4 486.2M 5.0k 486.2M 0% /mnt/HD_b4
In /storage/dirvish_bank staan symlinks, zodat alle backups van de dirvish-backups uniform te benaderen zijn:
/storage/dirvish_bank # ls -l
lrwxrwxrwx 1 root root 38 Jan 26 13:37 fileserver_data -> /mnt/HD_a2/dirvishbank/fileserver_data
lrwxrwxrwx 1 root root 46 Jan 26 13:37 fileserver_installation -> /mnt/HD_b2/dirvishbank/fileserver_installation
lrwxrwxrwx 1 root root 38 Jan 26 13:37 mailserver_data -> /mnt/HD_b2/dirvishbank/mailserver_data
lrwxrwxrwx 1 root root 46 Jan 26 13:37 mailserver_installation -> /mnt/HD_b2/dirvishbank/mailserver_installation
lrwxrwxrwx 1 root root 36 Jan 28 13:30 system_files -> /mnt/HD_a2/dirvishbank/system_files/

fileserver_data en system_files komen dus op de schijf van 500, de rest op de 300G.

== Links ==
* [http://edseek.com/~jasonb/articles/dirvish_backup/index.html Uitgebreide uitleg van Dirvish]
* [http://www.dirvish.org/debian.howto.html Korte uitleg van het gebruik van Dirvish onder Debian]
* [http://www.dirvish.org/INSTALL Korte installatie handleiding van de Dirvish-homepage]

Dirvish - Revision history

Admin: Created page with "== /etc/dirvish/master.conf == ## Example dirvish master configuration file: bank: /storage/dirvish_bank image-default: %Y%m%d log: bzip2 index: bzip2 exclude: ..."