joffrey575
Posts: 34
Joined: Mon Feb 08, 2016 12:02 pm

[Résolu] Montage d'un disque dur de sauvegarde à froid avec rsync sur raspberry

Mon Jan 08, 2018 10:01 am

Bonjour à tous,

Est-il possible de monter deux disque dur externe ?

Les services fonctionnait bien pour le moment avec un disque.

J'ai eu quelques problèmes pour le montage des deux disques dur au démarrage.

-----------------------------------------------------------------------------

Ma séquence de boot est la suivante :

-carte microSD : cmdline.txt

dwc_otg.lpm_enable=0 console=serial0,115200 console=tty1 root=/dev/sda1 rootfstype=ext4 elevator=deadline fsck.repair=yes rootwait rootdelay=5

-> root=/dev/sda1 -> le montage se fait bien

-disque dur origin : /etc/fstab ->

Code: Select all

	proc             /proc           proc    defaults          0       0
	/dev/mmcblk0p1   /boot           vfat    defaults          0       0
	#/dev/mmcblk0p2  /               ext4    defaults,noatime  0       0

        #DISQUE DUR PRINCIPALE
	/dev/disk/by-uuid/xxxxxxx-xxxxx-xxxxx-xxxxx / default 0 2
	/dev/disk/by-uuid/xxxxxxx-xxxxx-xxxxx-xxxxx /mnt/my_data default 0 2

        #DISQUE DUR CLONE (avec rsync)
	/dev/disk/by-uuid/xxxxxxx-xxxxx-xxxxx-xxxxx /mnt/rootfs_clone default 0 2
	/dev/disk/by-uuid/xxxxxxx-xxxxx-xxxxx-xxxxx /mnt/my_data_clone default 0 2
Est-ce que l'interface USB de la Pi est capable de gérer deux disques dur ?

Mes disques dur sont alimentés en externe.

Merci d'avance et bon début d'année
Last edited by joffrey575 on Wed Jan 10, 2018 9:55 am, edited 1 time in total.

epoch1970
Posts: 1772
Joined: Thu May 05, 2016 9:33 am
Location: Paris, France

Re: Montage d'un disque dur de sauvegarde à froid avec rsync sur raspberry

Mon Jan 08, 2018 10:09 am

joffrey575 wrote:
Mon Jan 08, 2018 10:01 am
Est-ce que l'interface USB de la Pi est capable de gérer deux disques dur ?

Mes disques dur sont alimentés en externe.
Normalement oui.
J'ai un système qui tourne depuis ~2 ans avec 3 DD USB alimentés par un hub, fonctionnement très fiable.

Est-il possible que root=/dev/sda1 désigne tantôt un disque, tantôt un autre ? Auquel cas, root=PARTUUID= ou root=UUID= seraient plus indiqués ; Je ne sais pas exactement lequel des 2 formes il vaut mieux utiliser
"S'il n'y a pas de solution, c'est qu'il n'y a pas de problème." Les Shadoks, J. Rouxel

joffrey575
Posts: 34
Joined: Mon Feb 08, 2016 12:02 pm

Re: Montage d'un disque dur de sauvegarde à froid avec rsync sur raspberry

Mon Jan 08, 2018 10:15 am

Tu as bien de la chance.

Pour le moment avec un disque dur ça fonctionne mais avec l'ajout du deuxième disque dur c'est complètement déconnant !

Quel log je devrais analyser ?

Peux-tu me transmettre ton cmdline.txt de ta carte SD et et le /etc/fstab de ton HDD externe qui monte les volumes des 3 HDD ? (pour comparaison)

joffrey575
Posts: 34
Joined: Mon Feb 08, 2016 12:02 pm

Re: Montage d'un disque dur de sauvegarde à froid avec rsync sur raspberry

Mon Jan 08, 2018 10:46 am

J'ai regardé avec mount -l, les partitions sont bien montées.

Avec root=UUID ça ne fonctionne pas au démarrage -> le kernel ne se lancant pas complètement depuis la carte microSD.

Je ne sais pas comment changer le PARTUUID parce qu'il est identique entre mes deux disques mais je pense que le problème restera le même.

En laissant mes deux disques dur tel quel, à priori ils sont bien monté.

epoch1970
Posts: 1772
Joined: Thu May 05, 2016 9:33 am
Location: Paris, France

Re: Montage d'un disque dur de sauvegarde à froid avec rsync sur raspberry

Mon Jan 08, 2018 12:02 pm

joffrey575 wrote:
Mon Jan 08, 2018 10:15 am
Quel log je devrais analyser ?

Peux-tu me transmettre ton cmdline.txt de ta carte SD et et le /etc/fstab de ton HDD externe qui monte les volumes des 3 HDD ? (pour comparaison)
Pour le log je ne sais pas exactement, c'est au boot donc examiner la console pourrait être utile ? Eventuellement dmseg si c'est une histoire de driver, mais sinon /var/log/syslog doit tout contenir, y compris les contenu de dmesg.

Pas sûr que ma config va t'aider des masses....
cmdline est standard, le système est sur la SD.

Code: Select all

$ cat /boot/cmdline.txt 
dwc_otg.lpm_enable=0 console=serial0,115200 console=tty1 root=/dev/mmcblk0p2 rootfstype=ext4 elevator=deadline fsck.repair=yes rootwait
Il y a des montages dans fstab, le nom des disques provient d'une règle udev aux petits oignons. Autofs fait aussi des montages complémentaires.

Code: Select all

$ cat /etc/fstab 
proc            /proc           proc    defaults          0       0
/dev/mmcblk0p1  /boot           vfat    defaults          0       2
/dev/mmcblk0p2  /               ext4    defaults,noatime  0       1
# a swapfile is not a swap partition, no line here
#   use  dphys-swapfile swap[on|off]  for that

# Because of autofs complexities we use static mounts. 
# nofail allows to reach init level 2 completion even if drives are missing. Do not remove or else lose ssh and even the console when drives are missing...
# Do not try using nobootwait, it just hangs the machine...
# 
# !! /etc/udev/rules.d/zz-victorine.rules has the name of the devices !!
# !! /usr/local/etc/afp.conf has netatalk volumes config !!
/dev/storage/Red/disk-2		/var/data/Red		hfsplus	defaults,noatime,nofail,rw,force,uid=99,gid=99,umask=0000	0	0
/dev/storage/Green/disk-2	/var/data/Green		hfsplus	defaults,noatime,nofail,rw,force,uid=99,gid=99,umask=0000	0	0
/dev/storage/Orange/disk-2	/var/data/Orange	hfsplus	defaults,noatime,nofail,rw,force,uid=99,gid=99,umask=0000	0	0

# For [email protected] - Storage dir must be chmod +7777 and belong to user vic:vic
/var/data/Orange/Nouveautés	/home/pubhfs/Nouveautés none bind,nofail	0	0

# Since we are sure to have our storage disks mounted, we can use mhddfs merrily
# Well no we are not sure. Freaking parallel boot. Reverting to using autofs!
##mhddfs#/var/data/Red,/var/data/Green,/var/data/Orange,/var/data/Purple	/var/storage	fuse defaults,ro,noatime,nofail,loglevel=0,allow_other,nonempty	0	0
C'est une install Raspbian Jessie Lite

Code: Select all

$ uname -a
Linux la-victorine 4.9.35-v7+ #1014 SMP Fri Jun 30 14:47:43 BST 2017 armv7l GNU/Linux
PS. La règle udev, vraiment aux petits oignons et très certainement valide uniquement sous Jessie. Udev n'est pas des plus stables d'une version à l'autre, Stretch n'utilise pas la même version

Code: Select all

$ cat /etc/udev/rules.d/zz-la-victorine.rules 
# !!! Keep in sync with /etc/auto.* files for automounting !!! Keep this 
# file loading late: being early with a name like 01-foo.rules has much 
# less interest now that udev refuses us to set the device kernel 
# NAME="". And being late allows us to safely use ENV variables. Running 
# to early some vars risk not being available yet.
#
# USB everything. It's getting heavy on rules so we use some env
# First our hub ports. We need this defined first otherwise we can get wrong hits?
# This maps what gets plugged to our "Aukey 7-port USB 3.0 Hub"
SUBSYSTEMS=="usb", KERNELS=="1-1.?.1.1", ENV{VIC_PORT}="hub/USB-1"
SUBSYSTEMS=="usb", KERNELS=="1-1.?.1.2", ENV{VIC_PORT}="hub/USB-2"
SUBSYSTEMS=="usb", KERNELS=="1-1.?.1.3", ENV{VIC_PORT}="hub/USB-3"
SUBSYSTEMS=="usb", KERNELS=="1-1.?.1.4", ENV{VIC_PORT}="hub/USB-4"
SUBSYSTEMS=="usb", KERNELS=="1-1.?.2", ENV{VIC_PORT}="hub/USB-5"
SUBSYSTEMS=="usb", KERNELS=="1-1.?.3", ENV{VIC_PORT}="hub/USB-6"
SUBSYSTEMS=="usb", KERNELS=="1-1.?.4", ENV{VIC_PORT}="hub/USB-7"
#
# Media classes: VIC_OD (optical media, cd data or dvd)
#		 VIC_OA (cd audio)
# 		 VIC_DISK (some USB blockdev)
#		 VIC_STORE (our big USB data drive), a VIC_DISK subclass
ENV{VIC_PORT}=="hub/USB-?", KERNEL=="sd*", ENV{DEVTYPE}=="partition", ENV{VIC_DISK}="1"
ENV{VIC_PORT}=="hub/USB-?", KERNEL=="sr*", ENV{ID_FS_USAGE}=="filesystem", ENV{VIC_OD}="1"
# The MEDIA TRACK key does not exist when we don't have a CDDA, but testing for "*" matches if the
# key is missing. Value is numerical, so we check for a digit (even 0 which seems liberal...)
ENV{VIC_PORT}=="hub/USB-?", KERNEL=="sr*", ENV{ID_CDROM_MEDIA_TRACK_COUNT_AUDIO}=="[0-9]*", ENV{VIC_OA}="1"
#
# These devices are automounted as local media storage, set special variable VIC_STORE
ENV{VIC_DISK}=="1", ENV{ID_SERIAL_SHORT}=="23945513132D", SYMLINK+="storage/Red/disk-%n", ENV{VIC_STORE}="1"
ENV{VIC_DISK}=="1", ENV{ID_SERIAL_SHORT}=="2394551313A2", SYMLINK+="storage/Green/disk-%n", ENV{VIC_STORE}="1"
ENV{VIC_DISK}=="1", ENV{ID_SERIAL_SHORT}=="20160815011226", SYMLINK+="storage/Orange/disk-%n", ENV{VIC_STORE}="1"
#ENV{VIC_DISK}=="1", ENV{ID_SERIAL_SHORT}=="xxx", SYMLINK+="storage/Purple/disk-%n", ENV{VIC_STORE}="1"
# We run fsck only on "add", not reload or other events.
ACTION=="add", ENV{VIC_STORE}=="1", ENV{ID_SERIAL_SHORT}=="23945513132D", ENV{ID_FS_TYPE}=="hfsplus", RUN+="/usr/local/bin/victorine_fsck.sh Red"
ACTION=="add", ENV{VIC_STORE}=="1", ENV{ID_SERIAL_SHORT}=="2394551313A2", ENV{ID_FS_TYPE}=="hfsplus", RUN+="/usr/local/bin/victorine_fsck.sh Green"
ACTION=="add", ENV{VIC_STORE}=="1", ENV{ID_SERIAL_SHORT}=="20160815011226", ENV{ID_FS_TYPE}=="hfsplus", RUN+="/usr/local/bin/victorine_fsck.sh Orange"
#ACTION=="add", ENV{VIC_STORE}=="1", ENV{ID_SERIAL_SHORT}=="xxx", ENV{ID_FS_TYPE}=="hfsplus", RUN+="/usr/local/bin/victorine_fsck.sh Purple"
#
# The following rules handle what else gets plugged to our "Aukey 7-port USB 3.0 Hub"
# Things plugged directly to the Pi2 are not handled here.
#
# Block devices (USB sticks)
# We also run a script to unmount any previous mounts to this slot. Else processes can block horribly.
ENV{VIC_DISK}=="1", ENV{VIC_STORE}!="1", SYMLINK+="$env{VIC_PORT}/disk-%n", RUN+="/usr/local/bin/victorine_umount_autofs.sh $env{VIC_PORT}"
#
# Optical media. 
# We run on udev media change event (always happens even upon plugging a drive that already has a disk inside)
#
# CD-Roms / DVD (difficult to differenciate UDF used as fs for data and used for video dvds. We bunch up and sort later)
# We also run a script to unmount any previous mounts to this slot. Else processes can block horribly.
ACTION=="change", ENV{VIC_OD}=="1", SYMLINK+="$env{VIC_PORT}/cd-dvd", RUN+="/usr/local/bin/victorine_umount_autofs.sh $env{VIC_PORT}"
# CD Audio
ACTION=="change", ENV{VIC_OA}=="1", SYMLINK+="$env{VIC_PORT}/cdda", RUN+="/usr/local/bin/victorine_umount_autofs.sh $env{VIC_PORT}"
"S'il n'y a pas de solution, c'est qu'il n'y a pas de problème." Les Shadoks, J. Rouxel

joffrey575
Posts: 34
Joined: Mon Feb 08, 2016 12:02 pm

Re: Montage d'un disque dur de sauvegarde à froid avec rsync sur raspberry

Mon Jan 08, 2018 1:21 pm

Merci pour ta config.

*C'est peut être un problème du fichier config.txt : max_usb_current = 1 -> configuration particulière des résistances de tirage sur le bus USB

*Autrement, peut être un souci de démarrage des disques dur et donc je voulais mettre des tampo pour laisser le temps aux disques de démarrer :

cmdline.txt -> ajouter
rootwait rootdelay = X s
boot_delay = X ms

Dans /etc/fstab, existe t-il une commande pour "temporiser" le montage des disques dur ?

Aussi, essayer avec une clé USB si le montage ne se fait pas correctement.

*Egalement concernant les permissions, le dossier qui accueil un disque dur externe doit avoir quoi comme permission ? C'est le root qui monte les disques dur donc si pi est dans le groupe sudoers alors le dossier peut être pi:pi

epoch1970
Posts: 1772
Joined: Thu May 05, 2016 9:33 am
Location: Paris, France

Re: Montage d'un disque dur de sauvegarde à froid avec rsync sur raspberry

Mon Jan 08, 2018 3:22 pm

Ta config est différente de la mienne, je n'ai jamais essayé de bouter depuis USB avec 2 disques branchés.
Ici: https://github.com/raspberrypi/firmware/issues/647 il est indiqué de rajouter un fichier (vide, on dirait) nommé "timeout" à côté de bootcode.bin dans la SD.

Dans fstab on ne peut pas temporiser, à ma connaissance. Le moyen de temporiser ça serait d'utiliser automount, le montage se ferait uniquement lorsque le système à besoin d'accèder au disque, donc a priori une fois que tout est lancé, y compris les applications.
Dans Debian/Raspbian de nos jours il y a 2 automounters qui se font concurrence (comme ça c'est plus simple). L'ancien autofs et le nouveau fourni par systemd. Celui de systemd se configure principalement dans fstab.

Les permissions n'ont rien à voir à l'affaire. Le propriétaire et les autorisations définitifs seront ceux indiqués dans le media finalement monté (selon le FS on peut "forcer" un uid/gid spécifique.)
Pour le point de montage "nu", s'il appartient à root avec des droits comme "drwxr-xr-x", ça devrait convenir (et ça permet d'éviter qu'un process non-root n'écrive dans le répertoire s'il n'est pas monté.)
"S'il n'y a pas de solution, c'est qu'il n'y a pas de problème." Les Shadoks, J. Rouxel

joffrey575
Posts: 34
Joined: Mon Feb 08, 2016 12:02 pm

Re: Montage d'un disque dur de sauvegarde à froid avec rsync sur raspberry

Mon Jan 08, 2018 4:10 pm

Je vais étudier cela ce soir.

Merci

joffrey575
Posts: 34
Joined: Mon Feb 08, 2016 12:02 pm

Re: Montage d'un disque dur de sauvegarde à froid avec rsync sur raspberry

Mon Jan 08, 2018 7:11 pm

J'essaie de booter sur un UUID plutôt que sur /dev/sda1 mais ça bloque avant de pouvoir booter sur l'UUID du disque dur.

Comment faire ?

totoharibo
Posts: 3852
Joined: Thu Jan 24, 2013 8:43 am

Re: Montage d'un disque dur de sauvegarde à froid avec rsync sur raspberry

Mon Jan 08, 2018 7:15 pm

si ça peut aider :
j'ai remarqué que pour booter sur DD,il est important que l'alim soit présente "un certain temps " avant.

AMHA (tiens ça faisait longtemps) il y a un temps de démarrage (boot) dans le circuit du boîtier du DD, il faut respecter ce temps.

joffrey575
Posts: 34
Joined: Mon Feb 08, 2016 12:02 pm

Re: Montage d'un disque dur de sauvegarde à froid avec rsync sur raspberry

Mon Jan 08, 2018 7:33 pm

Voici ce que j'obtiens aux dernières nouvelles :

https://dpaste.de/Y4AY

epoch1970
Posts: 1772
Joined: Thu May 05, 2016 9:33 am
Location: Paris, France

Re: Montage d'un disque dur de sauvegarde à froid avec rsync sur raspberry

Mon Jan 08, 2018 7:41 pm

/dev/sdb ça a pas l'air d'être la grosse forme...
Depuis une autre machine (ou pas au boot), que dit fsck sur les partitions du disque ?
"S'il n'y a pas de solution, c'est qu'il n'y a pas de problème." Les Shadoks, J. Rouxel

joffrey575
Posts: 34
Joined: Mon Feb 08, 2016 12:02 pm

Re: Montage d'un disque dur de sauvegarde à froid avec rsync sur raspberry

Mon Jan 08, 2018 7:44 pm

Je pense plutôt à un problème de timing entre :

carteSD (cmdline.txt) -> boot sur HDD1 puis boot sur HDD2

joffrey575
Posts: 34
Joined: Mon Feb 08, 2016 12:02 pm

Re: Montage d'un disque dur de sauvegarde à froid avec rsync sur raspberry

Mon Jan 08, 2018 10:26 pm

Mes deux disques dur sont branchés sur chacun un port USB de ma raspberry pi de 2To chacun.

J'ai effectué un rsync entre mes deux disques dur.

Je me retrouve avec cette erreur :

Code: Select all

rsync: mkstemp "/mnt/my_data_clone/Archives_D/" failed:Read-only file system (30)
puis après me voici avec un disque dur démonté et avec ces erreurs lors d'un fsck :

Code: Select all

[email protected]:~$ sudo fsck /dev/sdb
fsck de util-linux 2.29.2
e2fsck 1.43.4 (31-Jan-2017)
ext2fs_open2: Numéro magique invalide dans le super-bloc fsck.ext2 : Superbloc invalide, tentons d'utiliser les blocs de sauvetage... fsck.ext2: Numéro magique invalide dans le super-bloc lors de la tentative d'ouverture de /dev/sdb

Le superbloc n'a pu être lu ou ne contient pas un système de fichiers ext2/ext3/ext4 correct. 
Si le périphérique est valide et qu'il contient réellement un système de fichiers ext2/ext3/ext4 (et non pas de type swap, ufs ou autre), alors le superbloc est corrompu, et vous pourriez tenter d'exécuter e2fsck avec un autre superbloc :
    e2fsck -b 8193 <périphérique>
 ou
    e2fsck -b 32768 <périphérique>

Trouvé une table de partitions gpt dans /dev/sdb

=> Conclusion :
1-trouver un autre schéma de boot
2-mettre les deux disques dans mon PC fixe et réveiller le PC fixe à chaque sauvegarde.
3-soit mettre le hub USB en plus mais les disques durs sont alimentés -> Possibilité d'obtenir les même erreurs
4-booter sur la carte SD et monter les 2 HDD dans le /mnt sachant que la carte microSD sera utilisé ! Possibilité d'obtenir les même erreurs

=> 2ème conclusion : avec des HDD et non des SSD, c'est encore plus mal barré pour faire des sauvegardes je pense à cause des latances !

=> comment reformater lentement mes deux disques dur qui ont subi le coup du rsync ?

joffrey575
Posts: 34
Joined: Mon Feb 08, 2016 12:02 pm

Re: Montage d'un disque dur de sauvegarde à froid avec rsync sur raspberry

Mon Jan 08, 2018 10:46 pm

Voici les erreurs après les deux premiers rsync :

Code: Select all

[email protected]:/home/pi$ rsync -pavz --partial --progress --delete /mnt/my_data/Archives_D/ /mnt/my_data_clone/Archives_D/ > /tmp/log_rsync.txt
rsync: send_files failed to open "/mnt/my_data/Archives_D/.~lock.journal_2.txt#": Permission denied (13)
rsync: write failed on "/mnt/my_data_clone/Archives_D/Autres/Cd rom au fil de l'histoire/F1500.Dxr": Read-only file system (30)
rsync: failed to set times on "/mnt/my_data_clone/Archives_D/Autres/Cd rom au fil de l'histoire/.F1500.Dxr.V9sfuz": Read-only file system (30)
rsync: rename "/mnt/my_data_clone/Archives_D/Autres/Cd rom au fil de l'histoire/.F1500.Dxr.V9sfuz" -> "Autres/Cd rom au fil de l'histoire/F1500.Dxr": Read-only file system (30)
rsync error: error in file IO (code 11) at receiver.c(393) [receiver=3.1.2]

[email protected]:/mnt$ rsync -pavz --partial --progress --delete /mnt/my_data/Archives_D/Electronique /mnt/my_data_clone/Archives_D/Electronique > /tmp/log_rsync_electronique.txt
rsync: recv_generator: mkdir "/mnt/my_data_clone/Archives_D/Electronique/Electronique" failed: Read-only file system (30)
*** Skipping any contents from this failed directory ***
rsync error: some files/attrs were not transferred (see previous errors) (code 23) at main.c(1196) [sender=3.1.2]

epoch1970
Posts: 1772
Joined: Thu May 05, 2016 9:33 am
Location: Paris, France

Re: Montage d'un disque dur de sauvegarde à froid avec rsync sur raspberry

Mon Jan 08, 2018 11:42 pm

joffrey575 wrote:
Mon Jan 08, 2018 10:26 pm
...

Code: Select all

Trouvé une table de partitions gpt dans /dev/sdb
...
=> Conclusion :
1-trouver un autre schéma de boot
2-mettre les deux disques dans mon PC fixe et réveiller le PC fixe à chaque sauvegarde.
3-soit mettre le hub USB en plus mais les disques durs sont alimentés -> Possibilité d'obtenir les même erreurs
4-booter sur la carte SD et monter les 2 HDD dans le /mnt sachant que la carte microSD sera utilisé ! Possibilité d'obtenir les même erreurs

=> 2ème conclusion : avec des HDD et non des SSD, c'est encore plus mal barré pour faire des sauvegardes je pense à cause des latances !

=> comment reformater lentement mes deux disques dur qui ont subi le coup du rsync ?
Quelques remarques et avis:
- Au lancement de la feature (il y a + d'un an), USB boot ne marchait pas avec un disque en GPT. Il fallait formatter en MBR, donc taille limite des HDD 2TO. Je pense que ce bug est résolu, mais ça vaut peut être le coup de vérifier.
- Mon truc à moi qui marche à "100%", c'est le système sur la SD, des disques USB pour les données uniquement, alimentés par un hub de bonne puissance, et idéalement gérés sous automount. Avec automount, les disques démontent lorsqu'ils ne sont pas utilisés, avantage 1 ils se mettent en veille plus aisément, avantage 2 ils sont toujours démontés lorsque le système s'arrête ou reboote (ce qui n'est pas toujours le cas avec USB boot, semble-t'il, et on récolte un système qui corrompt le disque au halt et qui crashe au boot suivant.)
- Je ne suis pas le champion de fsck, mais si tu as des erreurs sur un disque et le journal qui n'arrive pas à réparer je dirais que le diagnostic est sombre. Les erreurs ne sont pas la faute de rsync, ça n'est qu'une application qui lit où écrit. Tu semble avoir un problème plus fondamental que ça, soit partition corrompue soit problème matériel sur un des disques. Perso j'essaierai de voir si SMART à quelque chose à déclarer et si tout à l'air normal, je repartirais d'un formattage complet en ext3 ou ext4.

Bonne chance ;)
"S'il n'y a pas de solution, c'est qu'il n'y a pas de problème." Les Shadoks, J. Rouxel

joffrey575
Posts: 34
Joined: Mon Feb 08, 2016 12:02 pm

Re: Montage d'un disque dur de sauvegarde à froid avec rsync sur raspberry

Tue Jan 09, 2018 8:54 am

- Au lancement de la feature (il y a + d'un an), USB boot ne marchait pas avec un disque en GPT. Il fallait formatter en MBR, donc taille limite des HDD 2TO. Je pense que ce bug est résolu, mais ça vaut peut être le coup de vérifier.
Comment faire pour vérifier ?
Mon truc à moi qui marche à "100%", c'est le système sur la SD, des disques USB pour les données uniquement, alimentés par un hub de bonne puissance
Je n'ai pas de hub mais une alimentation quand même sur chaque disque dur ! Est-ce que ça change quelque chose ? Je pense pas ! Pour moi le souci vient du fait qu'on passe d'un HDD de 2 To connecté en USB sur un autre HDD de 2 To connecté sur de l'USB aussi ! (Lien avec le paragraphe du dessus ?)
- Je ne suis pas le champion de fsck, mais si tu as des erreurs sur un disque et le journal qui n'arrive pas à réparer je dirais que le diagnostic est sombre. Les erreurs ne sont pas la faute de rsync, ça n'est qu'une application qui lit où écrit. Tu semble avoir un problème plus fondamental que ça, soit partition corrompue soit problème matériel sur un des disques. Perso j'essaierai de voir si SMART à quelque chose à déclarer et si tout à l'air normal, je repartirais d'un formattage complet en ext3 ou ext4.
Oui je vais voir, pour le moment j'ai fait un dd if=/dev/zero of=/dev/sdX pour réécrire des zero.

----------------------------

Depuis combien de temps ton système fonctionne? -> implicitement depuis combien de temps fonctionne ta carte microSD ?

joffrey575
Posts: 34
Joined: Mon Feb 08, 2016 12:02 pm

Re: Montage d'un disque dur de sauvegarde à froid avec rsync sur raspberry

Tue Jan 09, 2018 10:11 am

La 1ère solution est effectivement de booter sur la carte SD et de monter les deux HDD.

=> de cette configuration on peut tenter de faire un cp entre les deux disques ou un rsync.
=> cp ou rsync par USB entre les deux HDD

La 2ème solution est de garder la config boot HDD par usb et fonctionner sur le HDD comme ça pas de souci de carte microSD.

=> de cette configuration, faire un rsync du HDD USB vers un autre HDD d'un autre PC.
=> cp ou rsync via le réseau entre la pi et un PC

----------------------------------------------

Laquelle des solutions est la plus approprié ?

Solution 1 : cp/rsync USB sur pi
-Avantage : rapidité du bus USB
-Inconvénient : gestion de durée de via microSD

Solution 2 : cp/rsync réseau entre pi et un PC
-Avantage : durée de vie HDD
-Inconvénient : latence réseau pour les sauvegardes

Qu'en penses-tu ?

epoch1970
Posts: 1772
Joined: Thu May 05, 2016 9:33 am
Location: Paris, France

Re: Montage d'un disque dur de sauvegarde à froid avec rsync sur raspberry

Tue Jan 09, 2018 1:01 pm

La machine en question est un serveur multimédia, supports locaux et streaming internet. Usage quotidien assez léger par un seul utilisateur en général. Globalement c’est un système plutôt lecture seule: il grossit doucement mais il y a peu d’effacement. Le truc est en service depuis 2 ans, la SD aussi. Le système des mis à jours tous les 3 ou 6 mois.
Je suppose que ceux qui flinguent une SD en 6 mois font de la base de données avec ou autres trucs stupides du genre.

J’ai par ailleurs quelques machines qui font un backup quotidien (borgbackup) sur une SD, là encore les SD on 1,5 ans et pas de souci. Le nombre de fichiers change très peu sur ces machines, probablement moins de 50 mouvements par mois. Système tenu à jour au moins mensuellement.

Pour tester MBR vs GPT, le plus simple c’est peut être de formater les disques avec une table MBR et de voir si le boot se passe mieux.

La copie d’USB à USB n’est pas rapide, et avoir le système sur une partition USB non plus à mon avis. Je trouve que la SD va relativement vite si c’est une classe 10 “U3”. J’ai pu comparer des Sandisk rouge/grises et rouge/or. La version rouge/or est nettement plus réactive.
A côté de cela, la sauvegarde USB-réseau n’ira pas vite non plus, du style 4MO/s.

De tous les côtés qu’on prenne l’affaire, un Pi ça n’est pas un NAS. Le Pi 3 est un descendant du Pi, je ne crois pas qu'au début il y ait eu des myriades de gens voulant s’en servir en plateforme IoT ou en serveur... Personnellement j’ai fait marcher le boot USB, j’ai trouvé le boot réseau totalement foireux, et au final si je dois faire une machine très fiable, je n’utilise ni l’un ni l’autre: je mets une SD dans le Pi et une SD clonée de secours dans le boiter. En cas de problème, c’est “débranche et échange la carte”. Une bonne SD coûte moins de 10 euros, c’est le prix de la tranquillité en attendant mieux.

Si tu es aventureux, RPF vient de sortir “Pi Server” qui semble être un effort pour déployer le boot réseau dans un environnement plus contrôlé. Je ne vais pas me donner la peine d’essayer personnellement, mais c’est que j’ai la rancune tenace.
"S'il n'y a pas de solution, c'est qu'il n'y a pas de problème." Les Shadoks, J. Rouxel

joffrey575
Posts: 34
Joined: Mon Feb 08, 2016 12:02 pm

Re: Montage d'un disque dur de sauvegarde à froid avec rsync sur raspberry

Tue Jan 09, 2018 4:11 pm

Merci pour tes infos.

Code: Select all

Personnellement j’ai fait marcher le boot USB, j’ai trouvé le boot réseau totalement foireux
Je ne voulais pas faire de boot réseau (peut être si, si tu parles d'allumer un PC à distance).

Je parlais juste de booter sur HDD en USB et de faire un rsync en envoyant mes datas par le réseau Eth sur le PC qui serait allumé par le réseau.

J'avais mesuré 10Mo/s je crois max.

joffrey575
Posts: 34
Joined: Mon Feb 08, 2016 12:02 pm

Re: Montage d'un disque dur de sauvegarde à froid avec rsync sur raspberry

Wed Jan 10, 2018 9:49 am

Je reviens vers vous pour vous spécifier que mon problème est résolu.

Avec un Hub USB alimenté en externe le boot sur HDD1 et rsync sur HDD2 de clonage fonctionne, lentement mais fonctionne sans erreur dans journalctl.

Était-ce un problème d'alimentation (ce serait étrange car mes HDD ont une alimentation externe) ?

Était-ce un problème d'interface USB de la raspberry-pi ? En tout les cas je me demande quel chemin prend le flux géré par rsync, seulement le Hub USB ou un chemin classique HDD -> pi -> HDD ?

joffrey575
Posts: 34
Joined: Mon Feb 08, 2016 12:02 pm

Re: [Résolu] Montage d'un disque dur de sauvegarde à froid avec rsync sur raspberry

Thu Jan 11, 2018 12:03 pm

Voici le montage d'avant et d'après.

Avant ça ne fonctionnait pas malgré l'alimentation des disques dur. Alors peut être que l'alimentation des disques dur n'alimentait pas le bus USB allant vers la Pi. Ca c'est possible.

https://www.net-c.com/netc/mail/attachl ... %2B&file=0

Return to “Français”

Who is online

Users browsing this forum: No registered users and 2 guests