Premessa: in azienda teniamo i dati cartografici su uno dei tanti NAS in commercio, che rendono accessibili da SMB/CIFS, NFS, FTP il filesystem, su cui gira chissa` quale GNU/Linux nascosto all'utente e configurabile da una scarna interfaccia web.
Sopra avevamo 3 dischi da 500GB SATA-2 (la marca e modello sono volutamente omessi...) in RAID5, per un totale di 930GB spazio disponibile, in teoria sicuri. Si` perche` sempre in teoria, se un disco si rompe, lo si sostituisce con un altro e siamo salvi.
A neanche un anno dall'acquisto dei dischi, il numero 2 si rompe (la definizione migliore e` "fa` sklang-sklang"). Poco male, ne ordino uno nuovo, tempo 3 giorni arriva.
Se non fosse che il giorno dopo il numero 3 viene escluso dal RAID, senza un motivo apparente, dall'interfaccia web non c'e` alcuna spiegazione.
Tanto per capire cosa c'e` che non va`, collego il numero 3 su un PC con sopra System Rescue CD, e scopro subito dal boot che il disco ha circa 120 settori danneggiati. Bene.
Aspetto il disco nuovo, che non tarda ad arrivare. Provo a ricostruire il RAID sul NAS, niente da fare, sempre con zero spiegazioni sul perche`. Provo a sostituire l'elettronica del disco che "fa` sklang" con quella di un altro, il risultato non cambia.
A questo punto mi ritrovo con un RAID5 di 3 unita` di cui una e` persa, e l'altra ha settori danneggiati.
Sul PC di prima, che ormai era li` aperto sul tavolo da due giorni, collego il disco numero 1 buono, il disco numero 3 con settori danneggiati ed il disco nuovo. Verifico che il RAID e` stato fatto dal NAS con mdadm. Provo a ricostruire il RAID a mano ignorando i vari avvisi. Peccato che mdadm ternima la ricostruzione quando incontra il primo settore danneggiato, segnalandomi giosamente che il RAID e` perso per sempre poiche` incontra errori di I/O.
Maledizione pero` anche se qualche file e` corrotto (sulla fine sono solo 120 settori su 1048576000!), voglio recuperare gran parte dei dati!!
Allora mi viene in mente la cosa piu` pazza di questa settimana:
fare una copia con errori del disco 3 con settori danneggiati su un altro disco nuovo, e ricostruire il raid con questo, il disco 1 salvo e il disco nuovo di prima (con un totale di 5 dischi uguali di cui 2 rotti).
Ecco la procedura:
A) Collego al PC il disco 3 con settori danneggiati e un disco nuovo, e avvio system rescue cd
B) Faccio una copia con ddrescue scrivendo al posto dei settori danneggiati di origine degli zeri sul disco destinazione:
# dd_rescue -A /dev/sda /dev/sdb
(nota: il processo per i miei 500GB con i settori danneggiati ci ha messo circa 6 ore)
Ottengo un disco immagine del 3 con errori
C) Spengo il sistema. Collego il disco 1 che si era salvato, il disco immagine 3 con errori, e l'altro nuovo disco vuoto. Avvio system rescue cd.
D) Ricostruisco il RAID5 ora che non si puo` piu` lamentare degli errori di I/O. Esamino i dischi con fdisk e scopro che il RAID e` sulla seconda partizione dei dischi:
# echo p | fdisk /dev/sda
infatti leggo il tipo "linux raid autodetect" sulla partizione 2. Recupero la stringa ARRAY che mi serve nel file di configurazione:
# mdadm -v --examine --scan >> /etc/mdadm.conf
controllo il file di configurazione /etc/mdadm.conf e verifico che sia sensato, aggiungo ai device anche il nuovo disco vuoto /dev/sdc ottenendo una riga del tipo:
ARRAY /dev/md0 level=raid5 num-devices=3 UUID=XXXX-.....-XXXX
devices=/dev/sda2,/dev/sdb2,/dev/sdc
lancio la ricostruzione:
# mdadm --assemble --run --force --update=resync /dev/md0 /dev/sda2 /dev/sdb2 /dev/sdc
e infine verifico lo stato di avanzamento del processo:
# cat /proc/mdstat
E) Quando ha concluso (in /proc/mdstat leggo "[UUU]"), scopro che sopra il RAID non c'e` un filesystem, e quindi ipotizzo ci siano dei volumi logici con LVM. Faccio uno scan del volumi fisici presenti:
# pvscan
trovo in effetti un volume di nome "vg0" (e` indicato dopo "VG "), e provo ad attivarlo:
# vgchange --ay vg0
F) Funziona, ora mi trovo in /dev/vg0/ diversi volumi logici. Trovo quello che piu` mi interessa, il piu` grande, analizzando la dimensione con fdisk:
# ls /dev/vg0/
# echo p | fdisk /dev/vg0/lv1
E` lui, tipo ext3, faccio un check del filesystem:
# fsck -t ext3 -y /dev/vg0/lv1
Ci mette alcune ore (e` pur sempre un'unita` da quasi 1TB), correggendo molti campi sballati degli inode.
G) Monto il filesystem:
# mount -t ext3 -r /dev/vg0/lv1 /mnt/custom
Ok, ho recuperato i 300GB di dati su /mnt/custom, magari qualche file e` corrotto, ma e` *moooolto* meglio di niente. I dati sono stati copiati da rete su un nuovo NAS di qualita` forse superiore, con 3 dischi da 1TB in mirroring (RAID1) con spare (cambiando marca chiaramente).
Morale della storia: Qualsiasi RAID e` inutile, senza spare. (Any RAID, without spare, is useless) |
