Discussions théoriques - RPi 3 SuperCluster


8 posts
by TheGeekno72 » Fri Mar 31, 2017 7:10 am
Bonjour à tous !

J'ouvre ce topic parce que les superclusters m’intéressent particulièrement en ce moment et je voulais poser quelque questions aux connaisseurs voir professionnels. Avant de poser ces questions, je tiens a vous avertir que je suis un débutant complet, le noob parfait ! Je ne connais ni programmation ni hardware (mais je sais quand même ce que ça veut dire) je ne sais pas créer un serveur je ne sais pas grand-chose à vrai dire mais c'est pour apprendre qu'on est la, non ?

Bon, alors, pour mes questions je voudrais savoir si :
1 - Peut-on créer un supercluster plusieurs types de cartes RPi genre ça mais plusieurs d'entre eux comme un groupe de calculs spécifique ?
2 - Peut-on mettre un supercluster RPi sous Windows 10 ou Ubunutu 17 ?
3 - Peut-on mettre n'importe quel programme à tourner sur un supercluster comme Steam ou des jeux lourds comme KSP ?
4 - Avec ce genre d'ordinateur, s'il on peut mettre des OS comme Windows ou Ubunutu, peut on créer un menu automatique au démarrage pour sélectionner l'OS ou le programme adapté que l'on souhaite faire tourner ?

Pour l'instant je n'ai que ces questions la mais je viendrais peut-être en déposer d'autre plus tard, entre temps je vais aller m'instruire un peu plus !

Merci d'avance !
Posts: 4
Joined: Fri Mar 03, 2017 10:14 am
by nikotinux » Fri Mar 31, 2017 7:24 pm
TheGeekno72 wrote: entre temps je vais aller m'instruire un peu plus !


effectivement !
Posts: 556
Joined: Sat Feb 02, 2013 2:11 am
by salvius » Tue Apr 04, 2017 7:44 pm
Ouahh !!! ça me rappelle le post sur un autre forum d'un noob qui voulait créer son propre OS !
Les clusters, c'est vrai que ça fait rêver ! On se dit qu'en additionnant plein de piZero, on pourrait faire un truc de ouf à pas cher ( genre super-calculateur et tout et tout...). ça gamberge dur et puis après vient ... la réalité ! Pour arriver à la puissance théorique d'une très bonne bécane, il ne suffit pas d'additionner les puissances théoriques de quelques RPis. On aborde là des notions qui dépassent très largement les compétences de ce forum (les tiennes comme les miennes a priori). Le calcul distribué, puisque c'est de celà qu'il s'agit, est sans doute la chose la plus compliqué qu'il y est en informatique (à mon sens). Quant à faire tourner des jeux sur un cluster, là tu planes à 100 000. Pour faire du calcul combinatoire c'est déjà énorme et cela relève plus de la "preuve du concept" que de quelque chose d'utile (les calculateurs sur le marché se révèlent moins chers à puissance comparable). Je t'invite à lire cet article http://www.framboise314.fr/un-cluster-d ... pberry-pi/ qui pourra te donner une idée de l'inanité de tes questions... et du travail colossal à effectuer. J'attire ton attention sur cette phrase : "ils sont souvent réalisés pour répondre à une tâche très spécifique". On ne parle pas ici de démarrer un OS (surtout pas windows) et de faire tourner des jeux avant de retourner regarder Youtube tout en pianotant sur son traitement de texte !
Posts: 37
Joined: Tue Mar 28, 2017 3:59 pm
by graknar » Tue May 16, 2017 8:38 am
Bonjour,
Je me permet de te répondre, n'étant moi même pas un professionnel, du moins encore, mais étant étudiant dans le domaine de l'informatique. J'avoue que je ne prétent pas avoir la science infuse et que les réponses que je vais te donner je les ai trouvé par le fil de mes recherches. Il ce peut que cela soit faux et si c'est le cas, j'aimerais qu'on me le dise avec des preuves à l'appuis.

Bon déjà bravo, les deux seules personnes qui ont répondu ont été assez agréssive.... faut croire qu'on aime pas les débutants sur internet... Mais Salvius a au moins eu le mérite de t'apporter une réponse fourni et donc déjà un peu plus utile.

Mais du coup je vais prendre le temps de répondre à toute tes questions point par point.
TheGeekno72 wrote: 1 - Peut-on créer un supercluster plusieurs types de cartes RPi genre ça mais plusieurs d'entre eux comme un groupe de calculs spécifique ?

Salvius a déjà répondu à cela plus ou moins, après j'avoue ne pas trop comprendre cette question et donc t'invite à la reformuler. Ce que tu veux faire c'est un cluster avec plusieurs cartes Rpi de type différent en ensuite avec plusieurs custer faire un supercluster en les combinants avec certains pour faier des calculs particulier que les autres ne feraient pas et ensuite tout regrouper sur la RPi mère?
Si c'est ça, alors oui ça doit être possible, d'autant plus chiant qu'il va falloir demander une tache spécifique différent à chaque groupe, mais techniquement c'est possible.

TheGeekno72 wrote:2 - Peut-on mettre un supercluster RPi sous Windows 10 ou Ubunutu 17 ?

Oui, mais non.... Je m'explique, tu peux mettre n'importe quel RPi sous Windows 10 et Ubuntu 16 (pas encore 17), mais ce sont des OS spéciales pour RPi et dans ton supercluster chaque RPi a son OS à elle et non la RPi maitre a une OS pour les contrôler toutes! Donc malheureusement, non.
TheGeekno72 wrote:3 - Peut-on mettre n'importe quel programme à tourner sur un supercluster comme Steam ou des jeux lourds comme KSP ?

La encore la réponse risque de ne pas être comme tu l'attendais... Mais cette fois ce n'est pas faute de puissance de calcule car en théorie on aurait une puissance de calcule suffisante, mais cette fois ça vient du code même des programmes et de la RPi. Au début je voulais moi même faire tourner un jeu sur ma RPi pour en faire un mini-serveur, mais je me suis rendu compte que la manière dont est codé la RPi et les programmes externes fait que ce n'est pas toujours compatible... Donc même avec un supercluster, Steam tu oublies... Il y a des fois même un milliard de RPi ne valent pas un ordinateur, car l'ordinateur aura deux trois petits trucs en plus...
Et enfin:
TheGeekno72 wrote:4 - Avec ce genre d'ordinateur, s'il on peut mettre des OS comme Windows ou Ubunutu, peut on créer un menu automatique au démarrage pour sélectionner l'OS ou le programme adapté que l'on souhaite faire tourner ?

La réponse vient donc d'elle même, un supercluster n'est pas un ordinateur, mais plus un calculateur. Tu ne peux pas mettre d'OS pour l'ensemble des RPi donc déjà c'est foutu, et ensuite il faudrait un BIOS que les RPi n'ont pas. Un autre exemple: une RPi est environ un seizième plus petit que les serveurs sur lequel j'ai l'habitude de bosser, si seize RPi pourrait avoir une puissance supérieur en ayant le même fonctionnement que les serveurs, pourquoi utiliserions nous des serveurs? (Dis toi aussi que certain téléphone portable sont plus puissant qu'une RPi, mais qu'on utilise pas des ensembles de téléphone portable pour nos serveurs de demain)
Je parle là en partant de ton principe qu'en informatique et éléctronique on peut faire 1+1=2 pour la puissance, malheureusement on est plutot sur du calcul qui fait 1+1=1,1.
J'ai trouvé cette article: http://www.framboise314.fr/32-raspberry ... e-en-java/ qui te donne un exemple en terme de prix/puissance et puissance/nombre par rapport à un I7.

Donc voilà, je sais que les superclusters peuvent être interessant, mais avant de te lancer dedans, il y a plein de truc génial à faire avec une et juste une RPi! Tu dis toi même être débutant, autant ne pas essayer de devenir Bill Gates actuel alors qu'on est le Bill Gates de 1973, il y a du chemin à faire et des expériences progressives à accumuler!
Pars déjà du principe que ta RPi est un micro ordinateur, mais que cumuler à un ensemble d'autres RPi elle ne donnera jamais un ordinateur. Mais elle peut avoir plein d'application géniale! Tu peux en faire une mini console de jeu rétro par exemple, un appareil de contrôle de ton imprimante, ou encore un appareil pour tes calcules ou rendu de programme tu codes sur ton ordinateur tu envois ton code brute sur ta RPi et ensuite elle te le compile pour avoir un jolie .exe que tu peux executer sur elle directement! Te permettant d'avoir ton ordinateur de disponible pour d'autres calcules plus lourd

Enfin une dernière chose, ce n'est pas parce que tu as des illusions à propos des superclusters que tu ne dois pas essayer d'en faire un. J'ai toujours été favorable à la recherche par soi même et aux essais pratiques. Essais avec 8, puis 16, puis 32, 128, 1024 et enfin avec 4096 RPi, peut être qu'au dela des essais actuels il y a un moment ou la théorie devient possible. Mais va falloir que tu modifies la structure électronique de la RPi, la manière dont elle a été codé, que tu fabriques un BIOS de toute main, bref il y a du travail que personne ici seul, n'a les compétences de faire.
J'espère t'avoir été utile et attend donc ta réponse sous peu je l'espère.
Posts: 2
Joined: Tue May 16, 2017 6:56 am
by YCN- » Tue May 16, 2017 11:35 am
Salut,

C'est tout à fait possible de faire un cluster avec des rapsberry pi, d'ailleurs ça a été fait et très bien :
http://www.southampton.ac.uk/~sjc/raspberrypi/

Maintenant de ce que disent ceux qui l'ont fait c'est que c'est pas génial. Même si à des fins pédagogique c'est vraiment pas mal.
Ensuite il faut que tu comprennes plusieurs choses, déjà contrairement au réponses qu'on a pu te donner au dessus, les cluster ne sont pas simplement des proof of concept, au contraire il en existe de très puissants, et quasiment toutes les facultés scientifique en ont ainsi que les grande entreprise de technologie.

En fait ce sont de super calculateur. Maintenant comme leurs nom l'indique ça sert à calculer, et pas à exécuter des taches classiques.

Mais en tout cas ça peut être très intéressant d'essayer de faire un cluster même avec 2 ou 3 Rpi histoire de comprendre comment ça fonctionne, on utilise (souvent) pour ce genre d'application le "langage" appelé MPI (plutôt une librairie m'enfin). Mais bon c'est de l'informatique très avancé et ce n'est pas vraiment pour les débutant, mais même pour la culture c'est un sujet très intéressant.

-> comment faire un cluster de RPI : http://makezine.com/projects/build-a-co ... i-cluster/
-> Classement des meilleurs cluster et place de la Fr : http://www.numerama.com/tech/176676-fra ... teurs.html

Cependant malgré tout il y a une part de vrai dans le fait que ce n'est pas très utile, du moins on en a pas besoin d'autant qu'on en a. Cependant les nations qui sont puissantes ont souvent besoin de jouer à qui a la plus grosse sur bien des domaines, et comme tu peux le voir, sur l'informatique aussi.

YCN-
Posts: 178
Joined: Fri Jun 10, 2016 3:18 pm
by totoharibo » Tue May 16, 2017 1:49 pm
un peu (beaucoup) HS :
il y a le GPU du RPI qui a 8 processeurs je crois, la doc est dispo. Du parallélisme c'est un peu cluster non ?
Je ne sais pas si cela correspond mais ce serait une autre voie d'expérimentation pas chère :
http://www.framboise314.fr/broadcom-lib ... spberrypi/
Posts: 3067
Joined: Thu Jan 24, 2013 8:43 am
by graknar » Fri May 19, 2017 8:56 am
YCN wrote:Ensuite il faut que tu comprennes plusieurs choses, déjà contrairement au réponses qu'on a pu te donner au dessus, les cluster ne sont pas simplement des proof of concept, au contraire il en existe de très puissants, et quasiment toutes les facultés scientifique en ont ainsi que les grande entreprise de technologie.

Alors oui mais non, les cluster de RPi eux ne sont pas aussi puissant que tu pourrais le laisser sous entendre, et très très peu de facultés de science ont des clusters de RPI. Effectivement les facultés de science et grandes voir même certaines moyennes et petites entreprises en technologie, mais pas que pour les grosses, ont des cluster mais pas fait de RPI mais plutôt de serveur. Ce qui donne donc une puissance bien plus importante et donc une vitesse de calcul plus importante.
Même si dans le fonctionnement on est proche entre un cluster de RPI et un cluster de serveur on part sur deux choses différentes! Deux puissances de calcul bien différente, deux coûts d'entretient et d'achat différent, et deux appareils de bases bien différents. Et dans son cas il vaut mieux faire un cluster avec des RPi pour un coût moindre et car je pense qu'il n'a pas besoin de la puissance d'un cluster de serveur.
On parle de base de cluster de RPi et c'est pour ça qu'on s'en est tenu au cluster de RPi qui eux ne sont pas très fréquent car n'ont pas d'utiliter dû à leurs puissances réduites et car les gens qui ont l'utilités de faire un cluster, ont souvent les moyen de le faire avec des serveurs.
Posts: 2
Joined: Tue May 16, 2017 6:56 am
by YCN- » Fri May 19, 2017 9:00 am
@graknar yes je crois qu'on s'est mal compris, je crois que toi tu parlais de cluster de raspberry pi en particulier, alors que moi je parlais de cluster en général. Et je pensais que tu parlais de cluster en général aussi. D’où le mal entendu désolé.
J'avoue que j'ai pas été très clair ! :roll:
Posts: 178
Joined: Fri Jun 10, 2016 3:18 pm