Bonjour,

De plus en plus, pour pallier aux super-calculateurs, on utilise les
ressources de milliers de PC volontaires pour effectuer les calculs
consommateurs.
Cette idée ne pourrait-elle pas être reprise au niveau de l'hébergement des
sites ? Je m'explique : pourquoi ne pas créer une association à but non
lucrative ou chacun de ses membres mettrait à disposition certaines
ressources de son ordinateur afin de créer un super serveur virtuel, en
contrepartie d'un hébergement gratuit sur ce derbnier.
Techniquement, je ne sais pas si cette idée est viable, mais cela me parait
un concept interessant en théorie...

Pierre-Alain Flavier a écrit :

> Techniquement, je ne sais pas si cette idée est viable, mais cela me parait
> un concept interessant en théorie...
>

Techniquement c'est très possible et viable mais ca va déplaire aux
habitués.

Moi je veux bien en discuter.

Eriam Schaffter wrote:

> Techniquement c'est très possible et viable mais ca va déplaire aux
> habitués.

Ceci en ne prenant pas en compte la grosse différence entre le web et des
calculs type SETI/Cassage de clef brute force/ : le web c'est du temps réel
!

--
Patrick Viet

On Wed, 21 Sep 2005 20:29:51 +0200, Pierre-Alain Flavier wrote:

> Bonjour,

Bonjour

> De plus en plus, pour pallier aux super-calculateurs, on utilise les
> ressources de milliers de PC volontaires pour effectuer les calculs
> consommateurs.

Et? quels resultats ça donne? est-ce que ça évolue dans le bon sens?

> Cette idée ne pourrait-elle pas être reprise au niveau de l'hébergement des
> sites ? Je m'explique : pourquoi ne pas créer une association à but non
> lucrative

Pourquoi but non lucratif?

> ou chacun de ses membres mettrait à disposition certaines
> ressources de son ordinateur afin de créer un super serveur virtuel, en
> contrepartie d'un hébergement gratuit sur ce derbnier.
> Techniquement, je ne sais pas si cette idée est viable,

D'où ma premiere question.

> mais cela me parait
> un concept interessant en théorie...

Il reste à voir les garanties de disponibilités, les plaisantins qui se
joindront à l'association pour foutre le souk,... Moi je pense que c'est
une bonne idée mais irréalisable.

On a déjà un semblant de super-cluster avec le p2p. Vois à quoi il sert.
(quel pourcentage des fichiers échangés le sont légalement?)

--
SPIP, phpNuke, Plone, opengroupware... c'est bien
CPS c'est mieux: http://www.cps-project.org/
Hébergement de sites CPS: http://www.objectis.org/

dans (in) fr.reseaux.internet.hebergement, "Pierre-Alain Flavier"
<pieralain.flavier@nospam-free.fr> ecrivait (wrote) :

Bonsoir Pierre-Alain,

> De plus en plus, pour pallier aux super-calculateurs, on utilise les
> ressources de milliers de PC volontaires pour effectuer les calculs
> consommateurs.

Genre seti@home et autres projets, oui, mais dans ce cas, on n'exige pas
de fiabilité des participants.

> Cette idée ne pourrait-elle pas être reprise au niveau de l'hébergement des
> sites ? Je m'explique : pourquoi ne pas créer une association à but non
> lucrative ou chacun de ses membres mettrait à disposition certaines
> ressources de son ordinateur afin de créer un super serveur virtuel, en
> contrepartie d'un hébergement gratuit sur ce derbnier.

Le problème, à mon sens, est technique.

> Techniquement, je ne sais pas si cette idée est viable, mais cela me parait
> un concept interessant en théorie...

En théorie, oui, mais techniquement, sauf à proposer de la redondance
(si une machine ne répond plus une autre prend le relai pour
simplifier), je ne vois pas trop comment substituer une solution
alternative à un hébergement dans un endroit fait pour ça, garantissant
accès 24h/24 en cas de besoin, contrôle d'accès aux salles machine,
présence de nombreux opérateurs pour fournir de la bande passante dans
de bonnes conditions, courant secouru, onduleurs et groupes électrogènes
géants en cas de coupure de courant, j'en passe, pourrait être viable...

Mais l'idée est effectivement intéressante et mériterait d'être creusée
je pense

--
Eric Demeester - http://www.galacsys.net

Eriam Schaffter a écrit :
> Eric Demeester a écrit :
>
>>
>> Genre seti@home et autres projets, oui, mais dans ce cas, on n'exige pas
>> de fiabilité des participants.
>>
>
> Ah bon ? Pourtant il faut bien s'assurer de la justesse des calculs. Je
> vous invite a controler vos sources parceque selon moi il faut que les
> participants soient fiables. On aurait peu etre deja été contacté
> souvent par des ET sinon

Non, il n'y a pas besoin de fiabilité de la part des participants... En
fait, chaque participant se voit attribué un "bloc" de recherche. Si au
bout d'un temps donné assez long, il n'a pas retourné ses résultats, le
bloc de recherche est réattribué, et ça arrive tout le temps.

Dans le cas de l'hébergement, ça ne peut pas marcher comme ça. Celà dit,
l'hébergement en P2P (car c'est de ça qu'il s'agit) est une bonne idée,
mais pas nouvelle. Voir les réseaux de style Freenet par exemple, mais
les obstacles sont encore nombreux.

Yves

Yves a écrit :
>
> Non, il n'y a pas besoin de fiabilité de la part des participants... En
> fait, chaque participant se voit attribué un "bloc" de recherche. Si au
> bout d'un temps donné assez long, il n'a pas retourné ses résultats, le
> bloc de recherche est réattribué, et ça arrive tout le temps.
>

"There's an article in the New York Times about the strategies SETI is
using to avoid fraudulent reports. One trick they're using is multiple
analyses of the same data. Another strategy is the use of "ringer" data,
where they send you fake data for which they know the results." One of
the researchers has several postscript papers on his home page -
Incentives for Sharing in Peer-to-Peer Networks, Uncheatable Distributed
Computations, Distributed Computing with Payout. In related news,
ProcessTree apparently sent out an email to participants indicating it
is closing up shop, so although SETI seems to be chugging along, the
idea of distributed computing as a business model is perhaps a bit
premature.

http://slashdot.org/articles/01/05/24/1311222.shtml

L'article du NYT est payant mais c'est assez clair je pense.

> Dans le cas de l'hébergement, ça ne peut pas marcher comme ça. Celà dit,
> l'hébergement en P2P (car c'est de ça qu'il s'agit) est une bonne idée,
> mais pas nouvelle. Voir les réseaux de style Freenet par exemple, mais
> les obstacles sont encore nombreux.
>

Freenet, l'exemple du réseau qui est particulièrement lent parceque
c'est un "dark net" et qui justement ne conviendrais pas pour de
l'hébergement (pour raison de performance justement).

Et puis héberger en P2P cela sous entends que les clients ont également
un logiciel pour accéder au réseau, hors ce n'est pas le but je pense ?

Eriam Schaffter a écrit :
>
> Et puis héberger en P2P cela sous entends que les clients ont également
> un logiciel pour accéder au réseau, hors ce n'est pas le but je pense ?

D'ailleurs je suis prêt a travailler la dessus avec un hébergeur qui
voudrait évoluer vers ce type d'architecture

J'ai déja beaucoup débrousaillé.

Le jeu, 22 sep 2005 at 07:24 GMT, Eriam Schaffter <eriamschaffter@gmail.com> a écrit:
> Yves a écrit :
>> Non, il n'y a pas besoin de fiabilité de la part des participants... En
>> fait, chaque participant se voit attribué un "bloc" de recherche. Si au
>> bout d'un temps donné assez long, il n'a pas retourné ses résultats, le
>> bloc de recherche est réattribué, et ça arrive tout le temps.
>
[... snip le NY Times ...]
> http://slashdot.org/articles/01/05/24/1311222.shtml
>
> L'article du NYT est payant mais c'est assez clair je pense.

Tu confonds le fait de répondre quelque chose correspondant aux données
confiées et le fait de tout simplement répondre.
SETI s'assure qu'une réponse est cohérente avec les données, et quand un
hote donné ne répond pas, le _même_ bloc de données est confié à un
autre.


Dom

Dominique ROUSSEAU a écrit :
>
>
> Tu confonds le fait de répondre quelque chose correspondant aux données
> confiées et le fait de tout simplement répondre.
> SETI s'assure qu'une réponse est cohérente avec les données, et quand un
> hote donné ne répond pas, le _même_ bloc de données est confié à un
> autre.
>
>
> Dom
>

Dans une architecture distribuée quand un noeud ne réponds pas un autre
réponds a sa place, voila pour la disponibilité et je ne pense pas
confondre.

Le terme fiabilité couvre plus que la disponibilité selon moi (d'autant
plus que la disponibilité est théoriquement meilleure dans un systeme
distribué).

Eriam Schaffter a écrit :
> Et puis héberger en P2P cela sous entends que les clients ont également
> un logiciel pour accéder au réseau, hors ce n'est pas le but je pense ?

Non, je ne vois pas pourquoi celà implique un client particulier.
L'exemple que j'ai donné (freenet) n'était qu'à but d'illustration. On
peut très bien travailler au niveau des DNS pour rediriger le site
demandé vers le peer le plus approprié, ou utiliser d'autres techniques
du même style que anycast.

D'ailleurs, si ma mémoire est bonne, un certain nombre de pirates
utilisait ça pour héberger des site marchands de produits divers (du
grossisseur de "membre", aux répliques de montres) sur des PC
d'utilisateurs infestés par des zombies (il faudrait que je retrouve une
référence là dessus). Un bel exemple de distribution de ressources.

Yves

En fait il y a déjà des outils qui font plus ou moins cela basé sur
du P2P & ça marche très bien.

Prenez par exemple le prometteur Dijjer : http://www.dijjer.org/

Le principe est le suivant :
- Il y a toujours un hébergeur classique qui héberge les pages et
assure la qualité en cas de déperdition du réseau distribué
- Les contenus (images / vidéo / sons / ...) sont diffusés sur la
plateforme Dijjer et sont récupérés en P2P quand ils sont dispo (ou
chez l'hébergeur quand ils ne le sont pas)
- L'installation est très rapide pour les webmasters (il suffit de
préfixer les liens et c'est fini) et pour les utilisateurs (un pauvre
fichier à exécuter dispo sous toutes les plateformes & open source).

Reste qu'il faut que les utilisateurs (= les visiteurs des sites)
jouent le jeu (mais quand on voit Seti@Home on peut se dire qu'un
paquet est prêt à jouer le jeu).

Yves a écrit :
> D'ailleurs, si ma mémoire est bonne, un certain nombre de pirates
> utilisait ça pour héberger des site marchands de produits divers (du
> grossisseur de "membre", aux répliques de montres) sur des PC
> d'utilisateurs infestés par des zombies (il faudrait que je retrouve une
> référence là dessus). Un bel exemple de distribution de ressources.

Comme quoi cela fonctionne très bien.

Bref il y a la un vrai système à mettre en place.

Nicolas ROSSET a écrit :
> En fait il y a déjà des outils qui font plus ou moins cela basé sur
> du P2P & ça marche très bien.
>
> Prenez par exemple le prometteur Dijjer : http://www.dijjer.org/
>
> Le principe est le suivant :
> - Il y a toujours un hébergeur classique qui héberge les pages et
> assure la qualité en cas de déperdition du réseau distribué
> - Les contenus (images / vidéo / sons / ...) sont diffusés sur la
> plateforme Dijjer et sont récupérés en P2P quand ils sont dispo (ou
> chez l'hébergeur quand ils ne le sont pas)
> - L'installation est très rapide pour les webmasters (il suffit de
> préfixer les liens et c'est fini) et pour les utilisateurs (un pauvre
> fichier à exécuter dispo sous toutes les plateformes & open source).
>
> Reste qu'il faut que les utilisateurs (= les visiteurs des sites)
> jouent le jeu (mais quand on voit Seti@Home on peut se dire qu'un
> paquet est prêt à jouer le jeu).
>

Le problème de dijjer est qu'il travaille sur des chunks de 256k ce qui
pour de l'hébergement de petit fichiers est une perte de resource
considérable.

En plus je pense que commenrcer en se disant que la communautée va
supporter le démarrage de l'outil c'est risqué je pense, surtout si on
compte faire du business avec.

>>>>> "Eriam" == Eriam Schaffter <eriamschaffter@gmail.com> writes:

Eriam> Techniquement c'est très possible et viable mais ca va déplaire
Eriam> aux habitués.

Techniquement, c'est très inadapté au WWW, car les contenus devraient
être répartis aussi. Les calculs par GRID exploitent le fait que le
ratio temps-de-calcul/données-transférées est très haut. C'est
exactement l'inverse pour un serveur WWW classique.

Sam
--
Samuel Tardieu -- sam@rfc1149.net -- http://www.rfc1149.net/sam

Le 21/09/05 20:29, dans 4331a717$0$1675$626a14ce@news.free.fr,
«Pierre-Alain Flavier» <pieralain.flavier@nospam-free.fr> a écrit:

> Bonjour,
>
> De plus en plus, pour pallier aux super-calculateurs, on utilise les
> ressources de milliers de PC volontaires pour effectuer les calculs
> consommateurs.
> Cette idée ne pourrait-elle pas être reprise au niveau de l'hébergement des
> sites ?
ça existe déjà, c'est Akamai le leader et c'est hyper chère


@+



--
Jean-Louis D
http://WWW.guide-bordeaux.com/
Le guide des bonnes adresses du centre ville de Bordeaux

http://www.moiaussi.fr
http://www.lesquartiersparticuliers.com

>> De plus en plus, pour pallier aux super-calculateurs, on utilise
>> les ressources de milliers de PC volontaires pour effectuer les
>> calculs consommateurs. Cette idée ne pourrait-elle pas être
>> reprise au niveau de l'hébergement des sites ?

Jean-Louis> ça existe déjà, c'est Akamai le leader et c'est hyper
Jean-Louis> chère

Ça n'a rien à voir, Akamai possède tous les serveurs qu'ils utilisent.

Samuel Tardieu a écrit :

> Ça n'a rien à voir, Akamai possède tous les serveurs qu'ils utilisent.

Mais encore...

>>>>> "Justin" == Justin Pinelli <just.pinelli1@jotmail.com> writes:

Justin> Samuel Tardieu a écrit :

>> Ça n'a rien à voir, Akamai possède tous les serveurs qu'ils
>> utilisent.

Justin> Mais encore...

Je pensais que c'était clair, mais visiblement il faut une explication
de texte

Quand on possède un ensemble de serveurs répartis sur plusieurs
continents, il est facile de dupliquer les données qui s'y trouvent
et de rediriger les internautes vers le serveur le plus proche de chez
eux en termes de connectivité.

Quand on veut mettre en commun un ensemble de machines qu'on ne
contrôle pas (comme le proposait le message initial), on a plusieurs
problèmes à résoudre:
- comment s'assurer que les données sont répliquées chez plusieurs
personnes ?
- comment s'assurer que les machines vers lesquelles on redirige les
internautes sont fiables ?
- comment s'assurer que les données renvoyées sont bien les bonnes ?
(on peut être en présence de machines malicieuses, problème
classique des généraux bizantins, ou de machines défectueuses)

À la différence du modèle d'Akamai, il faut alors utiliser un
protocole différent de l'HTTP classique en installant un logiciel
supplémentaire. Les logiciels de P2P vérifient tous la cohérence des
données reçues par l'utilisation de sommes de contrôle et permettent
de récupérer les données de plusieurs sources en parallèle, ce qu'HTTP
ne permet pas dans sa version actuelle.

Sam
--
Samuel Tardieu -- sam@rfc1149.net -- http://www.rfc1149.net/sam

Samuel Tardieu a écrit :
>
> Techniquement, c'est très inadapté au WWW, car les contenus devraient
> être répartis aussi. Les calculs par GRID exploitent le fait que le
> ratio temps-de-calcul/données-transférées est très haut. C'est
> exactement l'inverse pour un serveur WWW classique.
>
> Sam

Et donc on ne peux pas imaginer de repartir et compresser le contenu ?

Au risque de me répéter, techniquement c'est faisable il suffit de
trouver une bonne solution.

Samuel Tardieu a écrit :
>
> À la différence du modèle d'Akamai, il faut alors utiliser un
> protocole différent de l'HTTP classique en installant un logiciel
> supplémentaire. Les logiciels de P2P vérifient tous la cohérence des
> données reçues par l'utilisation de sommes de contrôle et permettent
> de récupérer les données de plusieurs sources en parallèle, ce qu'HTTP
> ne permet pas dans sa version actuelle.
>
> Sam

Est ce que Http-Range ne permet pas de récupérer une partie d'un fichier
depuis un serveur ? Et donc d'envisager des telechargement en parallelle ?

Je ne vois pas en quoi Http ne pourrait pas être utilisé dans ce cas, et
quand bien meme, si il faut un protocole maison ou est le soucis ?

Je vois un intérêt évident à répartir/distribuer le stockage sur un
réseau P2P, le fait est qu'il faut une passerelle entre ce P2P et le web
mais ca c'est faisable non ?

>>>>> "Eriam" == Eriam Schaffter <eriamschaffter@gmail.com> writes:

Eriam> Au risque de me répéter, techniquement c'est faisable il suffit
Eriam> de trouver une bonne solution.

Tout à fait. Le problème réside dans l'interactivité (et pas le
temps-réel contrairement à ce qui a été écrit, ce concept ayant une
définition bien précise qui ne correspond pas au web aujourd'hui). Les
systèmes P2P permettent une augmentation du débit, pas une
augmentation de l'interactivité.

Sam
--
Samuel Tardieu -- sam@rfc1149.net -- http://www.rfc1149.net/sam

Le 22 septembre à 13:07, Eriam Schaffter a écrit :

> Samuel Tardieu a écrit :
>>
>> Techniquement, c'est très inadapté au WWW, car les contenus devraient
>> être répartis aussi. Les calculs par GRID exploitent le fait que le
>> ratio temps-de-calcul/données-transférées est très haut. C'est
>> exactement l'inverse pour un serveur WWW classique.
>
> Et donc on ne peux pas imaginer de repartir et compresser le contenu ?

C'est vrai, rajoutons du temps de calcul pour rien, ça fera plaisir au
client final...

Fred
--
Ocean pulls me close And whispers in my ear The destiny I've chose all
becoming clear The currents have their say The time is drawing near
washes me away Makes me disappear And I descend from grace In arms of
undertow I will take my place In... (Nine Inch Nails, The Great Below)

F. Senault a écrit :
>
> C'est vrai, rajoutons du temps de calcul pour rien, ça fera plaisir au
> client final...

Pour rien ?

Bah

Samuel Tardieu a écrit :
> Tout à fait. Le problème réside dans l'interactivité (et pas le
> temps-réel contrairement à ce qui a été écrit, ce concept ayant une
> définition bien précise qui ne correspond pas au web aujourd'hui). Les
> systèmes P2P permettent une augmentation du débit, pas une
> augmentation de l'interactivité.
>

Oui nous sommes d'accord, pour distribuer du contenu statique pas de
soucis mais dès que cela devient dynamique c'est compliqué.

C'est pourquoi je pense que dans un premier temps c'est plus simple de
le considerer comme un medium de stockage.

D'ailleurs alléger un serveur web de sa charge de contenu statique c'est
deja beaucoup. Je pense qu'il est envisageable ensuite de servir du
contenu dynamique derriere une petite ligne adsl.

Pour ce qui est des applications il y a des hollandais qui font du
travail dans ce sens http://www.globule.org/

Cependant ils ont fait le choix de coller a apache ce qui est un peu
dommage, en meme temps c'est deja compliqué de distribuer des
applications mais alors si en plus elle doivent pouvoir se lancer sur
différentes plateformes ca devient chaud et contraignant pour les gens
qui ecrivent les applications.