Performances de transmission selon ext4 ou ntfs-3G


26 posts   Page 1 of 2   1, 2
by tomy137 » Tue Jan 22, 2013 12:22 pm
Bonjour,

J'ai installé très récemment mon Raspberry Pi pour en faire, entre autre, un petit serveur torrent avec transmission.

J'y ai donc branché mon disque dur 2To en ntfs-3g pour y stocker mes fichiers.

Je me rend compte cependant que le débit descendant de mes torrents est anormalement faible et très instable et que le CPU du Raspberry plafonne entre 98 et 100% d'utilisation. Avec le montage ntfs-3g qui prend à lui tout seul 70% du cpu. Je me pose donc la question suivante:

Est-ce que passer mon DD en ext4 soulagera significativement le CPU de mon Raspberry ?

Est-ce que en soulageant le cpu je peux espérer que mes torrents se téléchargeront plus vite ?

Merci d'avance pour vos réponses,

Bonne après-midi !
Attachments
Putty.jpg
Putty.jpg (33.89 KiB) Viewed 2360 times
Posts: 12
Joined: Tue Jan 22, 2013 12:11 pm
by Zoolander06 » Tue Jan 22, 2013 1:14 pm
Salut,

Je me suis posé la même question que toi récemment. J'utilisais un disque en NTFS, et les performances étaient ridicules en lecture (avec Samba), sans compter que le driver NTFS-3G bouffait une part non négligeable de mon temps CPU.

Je suis depuis passé sur un disque EXT4, et j'ai noté une augmentation de l'ordre de 200% du débit en lecture (probablement limité par d'autres facteurs, comme le réseau), et j'ai l'impression (mais je n'ai pas vérifié de façon scientifique), que Transmission a des performances plus normales (sensiblement les mêmes que sur celui intégré à la Freebox).

Donc je ne saurais que trop te conseiller de formater ton disque en EXT4, Linux n'aime pas trop le NTFS, et je le réserverais plutôt à des usages occasionnels (disque dur nomade).

J
Posts: 203
Joined: Fri Oct 26, 2012 3:25 pm
by tomy137 » Tue Jan 22, 2013 1:40 pm
Tout d'abord, merci de ta réponse rapide !

Je vais surement sauter le pas !

Maintenant, un doute subsiste, est-ce que le partage réseau via samba sera compliqué par le format ext4 du nouveau DD ? De la même manière, est-ce que le partage DLNA (Via minidlna) qui me permet de lire les fichiers du DD du Rpi sur la freebox fonctionnera de la même manière ?

Merci d'avance !
Posts: 12
Joined: Tue Jan 22, 2013 12:11 pm
by Zoolander06 » Tue Jan 22, 2013 2:04 pm
Oui, ça ne change rien du tout, ni à Samba, ni à DLNA...

Par contre, pourquoi lire les vidéos depuis la Freebox ? Je trouve l'interface de XBMC sur RPi 1000 fois plus agréable, performante, stable, belle etc...
M'enfin, c'est pas mes oignons hein ^^

J
Posts: 203
Joined: Fri Oct 26, 2012 3:25 pm
by tomy137 » Tue Jan 22, 2013 2:12 pm
Merci de l'information !

Pour la freebox, plusieurs raisons en vrac :

Je n'ai pas de télécommande, et j'adore celle de la freebox.
Je ne suis pas le seul à utiliser la TV et les autres sont déjà habitués à l'interface de la freebox.
Pas besoin de toucher à la télécommande de la TV pour passer de la TV aux films de la freebox.
La freebox est reliée à mon ampli grâce à la fibre optique.
J'ai peur d'avoir des problèmes de performance avec le petit Raspberry. (Je l'ai mis en dernier pcq ça à l'air de bien marcher chez vous.)

Bref, sans frais supplémentaires, le DLNA me permet de m'amuser avec mon Rasperry de façon transparente dans mon installation multimédia.

Après, je débute avec mon Raspberry, je changerais peut être d'avis avec le temps ;)
Posts: 12
Joined: Tue Jan 22, 2013 12:11 pm
by Zoolander06 » Tue Jan 22, 2013 2:21 pm
Il est vrai qu'une sortie son numérique manque au RPi pour qu'il soit parfait...

Par contre, niveau performances, y a rien à dire, et niveau ergonomie, c'est royal !

Mais effectivement il faut prévoir une telco, ou une télé compatible CEC, ou une app smartphone type Yatzee, bref, c'est pas aussi plug and play qu'une box...

J
Posts: 203
Joined: Fri Oct 26, 2012 3:25 pm
by tomy137 » Tue Jan 22, 2013 7:30 pm
En parlant de royal, je trouve que ça caractérise aussi les changements !

J'ai donc formaté un DD en ext4, plus besoin du processus ntfs-3g. Le CPU tourne à 75% environ, je télécharge à toute vitesse et toutes mes "remotes" sont beaucoup plus rapides !

J'attends de voir avec plus de charge, mais pour l'instant, c'est magique.

Merci ! :D
Posts: 12
Joined: Tue Jan 22, 2013 12:11 pm
by ecaheti » Tue Jan 22, 2013 9:29 pm
Quand vous copiez un fichier de votre disque en ext4 vers votre PC, vous avez quel débit ?

Avec mon disque de 320go en NTFS je suis à 5,8Mo/s, ce que je trouve pas si mal que ça. Et vous ?
User avatar
Posts: 131
Joined: Tue Aug 14, 2012 3:06 pm
Location: Normandie, France
by trouch » Wed Jan 23, 2013 9:01 am
bonjour

Le systeme de fichier NTFS est un format propriétaire à microsoft et fermé.
l'implémentation qui est faite dans linux provient de retro ingénierie.
ca marche, mais ce n'est pas la panacée. il y a encore quelques temps, il était simplement impossible d'ecrire sur un disque NTFS depuis linux !
ce genre d'implémentation doit servir uniquement pour de l'usage ponctuel.

les systeme de fichier ext3/4 sont specifique linux, donc la performance et la consommation CPU seront optimales.
c'est le format à privilégier pour toute disque dur fonctionnant essentiellement sur linux.

WebIOPi - Raspberry Pi REST Framework to control your Pi from the web
http://store.raspberrypi.com/projects/webiopi
http://code.google.com/p/webiopi/
http://trouch.com
Posts: 308
Joined: Fri Aug 03, 2012 7:24 pm
Location: France
by tomy137 » Wed Jan 23, 2013 3:55 pm
ecaheti wrote:Quand vous copiez un fichier de votre disque en ext4 vers votre PC, vous avez quel débit ?

Avec mon disque de 320go en NTFS je suis à 5,8Mo/s, ce que je trouve pas si mal que ça. Et vous ?



Salut,

J'ai à peu près le même débit. Ça a le mérite de fonctionner, après ça montre vite ses limites pour déplacer ses gros fichiers d'un disque à un autre. Il faudrait que je le laisse une nuit entière ^^

Par contre, je suis entrain de me rendre compte que mon CPU est de nouveau presque à 100% tout le temps. Peut être est-ce dû à la montée en charge de transmission (Qui mange presque tout à lui tout seul...) je vais fouiner un peu. Cela m'intrigue énormément !
Attachments
tty.jpg
tty.jpg (53.72 KiB) Viewed 2265 times
Posts: 12
Joined: Tue Jan 22, 2013 12:11 pm
by ouafnico » Wed Jan 23, 2013 6:17 pm
Chez moi en ntfs je suis à 400Ko/sec... en ext4 ça varie vers 5Mo/sec.
Posts: 44
Joined: Wed Jan 23, 2013 7:35 am
by tomy137 » Wed Jan 23, 2013 7:38 pm
En effet, gros soucis. Transmission grignote tout le CPU et plante tous les téléchargements au bout de quelques minutes.

Transmission remote indique une erreur de type "disque plein" or je viens de le formater en ext4, et un DD de 2To ça ne se rempli pas comme ça. Il doit y avoir des problèmes au montage, ou tout du moins avec le disque.

Une idée de ce qui pourrait mal se passer ? =s
Attachments
Ext4.jpg
Ext4.jpg (61.93 KiB) Viewed 2239 times
Posts: 12
Joined: Tue Jan 22, 2013 12:11 pm
by ouafnico » Wed Jan 23, 2013 8:15 pm
Au moment où il te dit que c'est plein, hésites pas à faire un " df -h " pour voir l'état des partitions.

Si tu veux la taille d'un dossier, tu fais " du -sh nomdossier" ou alors " du -sh * " pour avoir tous les dossiers :)

ça peut te permettre de trouver où ça coince. Tu as modifié ton fichier json de transmission pour les dossiers de téléchargement temporaire et final ?
Posts: 44
Joined: Wed Jan 23, 2013 7:35 am
by tomy137 » Wed Jan 23, 2013 11:32 pm
Merci de ta réponse.

J'ai effectué deux fois la commande "df -h" pendant que tout se déroulait bien. Puis un second après que tout ai planté. (Voir capture), rien a changé, il y a toujours autant d'espace libre sur le disque.

Voici mon "settings.json" :

Code: Select all
{
    "alt-speed-down": 50,
    "alt-speed-enabled": false,
    "alt-speed-time-begin": 540,
    "alt-speed-time-day": 127,
    "alt-speed-time-enabled": false,
    "alt-speed-time-end": 1020,
    "alt-speed-up": 50,
    "bind-address-ipv4": "0.0.0.0",
    "bind-address-ipv6": "::",
    "blocklist-enabled": false,
    "blocklist-url": "http://www.example.com/blocklist",
    "cache-size-mb": 4,
    "dht-enabled": false,
    "download-dir": "/media/dd1/DL",
    "download-limit": 100,
    "download-limit-enabled": 0,
    "download-queue-enabled": true,
    "download-queue-size": 3,
    "encryption": 1,
    "idle-seeding-limit": 30,
    "idle-seeding-limit-enabled": false,
    "incomplete-dir": "/root/Downloads",
    "incomplete-dir-enabled": false,
    "lpd-enabled": false,
    "max-peers-global": 200,
    "message-level": 2,
    "peer-congestion-algorithm": "",
    "peer-limit-global": 240,
    "peer-limit-per-torrent": 60,
    "peer-port": 51413,
    "peer-port-random-high": 65535,
    "peer-port-random-low": 49152,
    "peer-port-random-on-start": false,
    "peer-socket-tos": "default",
    "pex-enabled": true,
    "port-forwarding-enabled": false,
    "preallocation": 1,
    "prefetch-enabled": 1,
    "queue-stalled-enabled": true,
    "queue-stalled-minutes": 30,
    "ratio-limit": 2,
    "ratio-limit-enabled": false,
    "rename-partial-files": true,
    "rpc-authentication-required": true,
    "rpc-bind-address": "0.0.0.0",
    "rpc-enabled": true,
    "rpc-password": "{01d1850ffeacfb7a5c813e7686bb4b84e87f3baaNAUnaTEO",
    "rpc-port": 9091,
    "rpc-url": "/transmission/",
    "rpc-username": "thomas",
    "rpc-whitelist": "127.0.0.1",
    "rpc-whitelist-enabled": false,
    "scrape-paused-torrents-enabled": true,
    "script-torrent-done-enabled": false,
    "script-torrent-done-filename": "",
    "seed-queue-enabled": false,
    "seed-queue-size": 10,
    "speed-limit-down": 100,
    "speed-limit-down-enabled": false,
    "speed-limit-up": 100,
    "speed-limit-up-enabled": false,
    "start-added-torrents": true,
    "trash-original-torrent-files": false,
    "umask": 18,
    "upload-limit": 100,
    "upload-limit-enabled": 0,
    "upload-slots-per-torrent": 14,
    "utp-enabled": true
}


Je n'ai pas trouvé de solution pour l'instant, merci d'avance de vos lumières !
Attachments
tty2.jpg
tty2.jpg (63.38 KiB) Viewed 2213 times
Posts: 12
Joined: Tue Jan 22, 2013 12:11 pm
by ouafnico » Thu Jan 24, 2013 5:52 am
Sur ta photo on voit que le / est plein. Cela dit dans ton settings.json tu as le incomplete dir qui pointe vers /root/qqchose, donc c'est lui qui te le sature.
Change cette variable vers un dossier temporaire de ton externe :-)
Posts: 44
Joined: Wed Jan 23, 2013 7:35 am
by ecaheti » Thu Jan 24, 2013 8:52 am
trouch wrote: il y a encore quelques temps, il était simplement impossible d'ecrire sur un disque NTFS depuis linux !

Ouais enfin ça fait plus de 6 ans que NTFS-3G permet d'utiliser un disque NTFS en RW sans problème. Ext4 a côté n'a "que" 5 ans. En terme d'utilisation ça me parait tout de même assez rodé.

trouch wrote:les systeme de fichier ext3/4 sont specifique linux, donc la performance et la consommation CPU seront optimales.
c'est le format à privilégier pour toute disque dur fonctionnant essentiellement sur linux.

L'intérêt d'un disque USB c'est de pouvoir être baladé à droite à gauche, et le NTFS l'air de rien est reconnu nativement sur plein d'OS.

Moralité, comme toujours dans le monde magique de l'informatique, la solution unique n'est jamais la réponse. (et vu qu'en plus j'ai les même perf que d'autre avec de l'Ext3/4, je vais pas me fouler à tout changer pour la beauté du geste ^^)
User avatar
Posts: 131
Joined: Tue Aug 14, 2012 3:06 pm
Location: Normandie, France
by tomy137 » Thu Jan 24, 2013 10:27 am
ouafnico wrote:Sur ta photo on voit que le / est plein. Cela dit dans ton settings.json tu as le incomplete dir qui pointe vers /root/qqchose, donc c'est lui qui te le sature.
Change cette variable vers un dossier temporaire de ton externe :-)


Merci du conseil, cependant, je pensais que la ligne:
Code: Select all
 "incomplete-dir-enabled": false,


Désactivait la fonction dossier temporaire. D’ailleurs je suis allé voir dans /root/ , le dossier en question n'existe même pas ! J'ai quand meme pointé incomplete-dir vers mon DD, mais rien n'y fait, le problème est toujours là... :cry:
Posts: 12
Joined: Tue Jan 22, 2013 12:11 pm
by ouafnico » Thu Jan 24, 2013 11:25 am
En effet je n'avais pas fait attention.

Il faut identifier le dossier qui est volumineux sur /. Pour cela :

- va dans /
- fais un : du -sh *
- regarde les dossiers qui sont volumineux. Entre dans celui-ci
- fais à nouveau un du -sh *
- etc..

Le but est d'arriver à cibler le dossier qui est gros.
Posts: 44
Joined: Wed Jan 23, 2013 7:35 am
by tomy137 » Thu Jan 24, 2013 12:07 pm
Je ne trouve rien d'anormal...

Juste le dossier /media qui fait plusieurs Go, mais qui est en fait le DD, donc tout est normal. Idem pendant la session de transmission puis après le fameux crash.

:?
Attachments
du.jpg
du.jpg (61.73 KiB) Viewed 2152 times
Posts: 12
Joined: Tue Jan 22, 2013 12:11 pm
by ouafnico » Thu Jan 24, 2013 12:16 pm
tu peux le refaire en tant que root ?
Posts: 44
Joined: Wed Jan 23, 2013 7:35 am
by tomy137 » Thu Jan 24, 2013 12:19 pm
Je viens d'essayer après un sudo su, le résultat est exactement le même. =/
Posts: 12
Joined: Tue Jan 22, 2013 12:11 pm
by ouafnico » Thu Jan 24, 2013 12:47 pm
as-tu une interface graphique ? tu pourrais installer "baobab" qui est un afficheur graphique de l'utilisation disque par dossier. Par contre c'est une application gnome donc j'espère qu'il ne va pas chercher à t'installer plein de dépendances..
Posts: 44
Joined: Wed Jan 23, 2013 7:35 am
by jelopo » Thu Jan 24, 2013 9:25 pm
Bonjour,

A tout hasard, as tu tenté un reboot de ton PI ? En effet si la commande "du" ne montre pas de répertoire volumineux et que df indique un filesystème plein, cela peut être dû à des fichiers qui sont
toujours utilisés en mémoire et plus vu sur le disque.
C'est typiquement le cas lorsqu'on supprime un fichier alors qu'un processus est en cours d'écriture dessus. Tant que le processus n'a pas libéré la ressource, le fichier fantôme utilise son espace sur le disque.

A +
Posts: 531
Joined: Wed Oct 17, 2012 7:53 pm
by Zoolander06 » Fri Jan 25, 2013 9:16 am
ecaheti wrote:
trouch wrote: il y a encore quelques temps, il était simplement impossible d'ecrire sur un disque NTFS depuis linux !

Ouais enfin ça fait plus de 6 ans que NTFS-3G permet d'utiliser un disque NTFS en RW sans problème. Ext4 a côté n'a "que" 5 ans. En terme d'utilisation ça me parait tout de même assez rodé.

trouch wrote:les systeme de fichier ext3/4 sont specifique linux, donc la performance et la consommation CPU seront optimales.
c'est le format à privilégier pour toute disque dur fonctionnant essentiellement sur linux.

L'intérêt d'un disque USB c'est de pouvoir être baladé à droite à gauche, et le NTFS l'air de rien est reconnu nativement sur plein d'OS.

Moralité, comme toujours dans le monde magique de l'informatique, la solution unique n'est jamais la réponse. (et vu qu'en plus j'ai les même perf que d'autre avec de l'Ext3/4, je vais pas me fouler à tout changer pour la beauté du geste ^^)


C'est pour ça que je préconisais un peu plus haut de réserver NTFS pour un disque nomade.
Le driver NTFS-3G a peut être 6 ans, mais il n'empêche qu'il consomme énormément de ressources, et qu'il est atrocement lent sur nos RPi qui en ont peu (des ressources).
Donc si comme moi, vous avez un disque USB connecté au Pi en permanence (cas fréquent pour les utilisations en NAS, Seedbox ou Media Center), privilégiez le EXT4 (ou le 3, je n'ai jamais testé, et je ne sais pas s'il y a une différence).
Posts: 203
Joined: Fri Oct 26, 2012 3:25 pm
by Zoolander06 » Fri Jan 25, 2013 9:21 am
@tomy137 : ton problème ne serait il pas tout simplement lié à une histoire de droits d'accès ? (j'ai eu pas mal de soucis avec ça en passant sur un disque EXT4, alors qu'en NTFS tout marchait nickel).

Déjà, tu peux vérifier si transmission crée bien un fichier dans ton dossier de download. Tu peux aussi essayer d'activer le répertoire pour les fichiers incomplets, de façon à être sur et certain de l'endroit ou il les met.

Et fait gaffe avec Transmission, faut que le service soit arrêté pour modifier le fichier de settings, sans quoi, tes modifs disparaissent (je me suis fait avoir avec ça aussi ^^ ).

J
Posts: 203
Joined: Fri Oct 26, 2012 3:25 pm