Coral

Coral n’est pas à proprement parler un logiciel, il s’agit plutôt d’une technologie visant à mettre en cache de façon transparente mais temporaire des fichiers.

« Gnnn ? j’ai pas tout compris... »

Imaginons qu’aprés des mois de labeur acharné, vous venez de terminer votre premier album de musique libre (sous Licence Art Libre, ou Creative Commons de préférence by-sa).

• Lundi, Jour 0 : Tout fier de vous, vous proposez son écoute au format .ogg sur votre site, ainsi que le téléchargement d’une archive au format 7zip pesant une centaine de mégaoctets (Mo).

• Mardi, Jour 1 : vous envoyez un mail à votre famille, vos amis, votre ancien prof de musique pour qui vous avait dit et répété "vous n’arriverez jamais à rien", en les prévenant que votre nouvelle oeuvre est en ligne.

• Mercredi, Jour 2 : votre vieux copain Alfred étrenne votre compteur de téléchargement : "Album téléchargé 00001 fois" !
  (vous en profitez pour le convaincre d’abandonner Windows Media Player au profit de Zinf qui, lui, lit parfaitement le format OGG. Victoire, le libre à progressé :))

• Jeudi, Jour 3 : Alfred a fait écouter votre album à Paul, qui l’a fait écouter à Seb qui a publié un petit mot sur son Blog, encensant votre travail et votre génie. Le billet de Seb se retrouve cité sur plusieurs sites. "Album téléchargé 00007 fois"... Peut mieux faire.

• Vendredi, Jour 4 : Plusieurs sites étrangers commencent à parler de votre album, vous êtes le nouveau "frenchy" à la mode. Cependant, vous remarquez que votre site devient d’une lenteur exaspérante.
  "Album téléchargé 00028 fois". La gloire est à porté de clic !

• Samedi, Jour 5 : plus de site ! Fermé, HS, disparu ! Dans votre boite aux lettres, un email laconique de votre hébergeur web : "Vous avez dépassé les limites de bande passante et de transfert fixées à l’alinéa 32-c de votre contrat d’hébergement. Votre site est donc fermé."
  Votre compteur, avant de vous lacher, indiquait "Album téléchargé 00184 fois".

« Que s’est-il passé ? »

Votre archive, même compressée, pèse 100Mo, elle a été téléchargée 184 fois, cela représente (environ) 18Go de données transférées depuis votre site. Or, les hébergeurs imposent souvent une limite de "transfert" de données entre votre site et les internautes (on parle aussi de "traffic"). Cette limite dépend bien évidemment du prix que vous êtes prêt à mettre dans l’hébergement de votre site (de quelques dizaines à plusieurs milliers d’euros).

D’un autre côté, samedi, vous avez eu plusieurs dizaines, voire plusieurs centaines de visiteurs simultanés sur votre site. Ca c’est la bonne nouvelle. La mauvaise, c’est qu’ils essayaient tous de télécharger votre album en même temps. En admettant qu’il n’y ait eu que 20 visiteurs simultanés possédant de l’ADSL 512Kb voulant télécharger votre album, cela représente malgré tout à un instant "t" plus de 5Mb par seconde de bande passante requise pour satisfaire la demande. Or les hebergeurs ont souvent tendance à surveiller, voire limiter la taille de ce "tuyau" afin d’éviter qu’un site n’accapare toute les ressources. Cela explique probablement les lenteurs de votre site le vendredi : le surf était plus lent, car les "tuyaux" reliant votre site aux internautes n’étaient plus réservés au web, mais aux téléchargements.

Vous avez donc été victime de ce que l’on appelle communément "l’effet Slashdot" : une soudaine notoriété a mis votre site à genou, voire a entraîné sa fermeture.

« Mais j’allais enfin être une Star ! »

Peut être, mais ça ne sera pas pour cette fois, à moins que vous n’ayez les moyens de vous payer un hébergement professionel. Il existe cependant d’autres solutions, et notamment celle d’utiliser des réseaux parallèles comme Coral ou des réseaux P2P pour diffuser votre oeuvre.

« Euh, ce n’est pas trop compliqué ? »

Mais non. Vous pouvez bien entendu utiliser des solutions déjà établies comme le réseau eDonkey (eMule) ou BitTorrent, mais la première solution demande du temps avant que votre fichier soit bien diffusé du fait du système de "file d’attente" de ce réseau, la seconde nécessite une configuration parfois complexe pour monter le couple "tracker & super-seed" (c’est à dire le serveur diffusant le fichier .torrent mettant les internautes en relation, ainsi que la machine diffusant le fichier de référence 24H/24). Cependant, nous vous proposons aujourd’hui 2 technologies permettant de simplifier le partage de fichiers lourds sans être victime de "l’effet Slashdot" : Dijjer et Coral.

Coral Content Distribution Network

Coral est un réseau de distribution de contenus web ayant pour objet de réaliser dynamiquement des miroirs de ces contenus, permettant ainsi de mutualiser la bande passante des serveurs volontaires.

En clair (parce que je sens que certains sont perdus), Coral vous permet de dupliquer votre fichier sur plusieurs machines du réseau Coral (géographiquement dispersées sur la planète), permettant ainsi à vos visiteurs de télécharger depuis ces machines et non depuis votre site.

Pour cela, nul besoin d’un logiciel externe, il vous suffit d’ajouter .nyud.net:8090 au nom du domaine hébergeant le fichier.
Imaginons que votre gros fichier se trouve à l’adresse :
http://www.moi.com/album.7z
Il suffira de communiquer à vos visiteurs l’adresse de téléchargement :
http://www.moi.com.nyud.net:8090/album.7z
La première personne cliquant sur ce lien va déclencher la copie de votre fichier sur le réseau Coral (et dupliqué sur les centaines de machines composant ce réseau), puis le téléchargement du fichier entre ce réseau et votre utilisateur.
Les utilisateurs suivants, utilisant la même adresse, récupèreront donc votre fichier depuis le réseau Coral, et non depuis votre site.
Coral se charge donc de mettre en cache vos fichiers sur d’autres machines, et fait office de "super proxy" lors du téléchargement.

L’avantage principal de ce système est donc qu’il ne nécessite aucune intervention matérielle ou logicielle ni de votre part, ni de la part de vos utilisateurs : il suffit de modifier l’adresse ! Du coup, il n’y a pas de problème de compatibilité Mac, PC ou Linux, puisque tout est géré sur le réseau.
Notez au passage que le code source (pour l’instant uniquement accessible via CVS) est disponible sous licence GNU/GPL.

Cependant, ce système n’est pas parfait pour autant. D’abord, Coral est toujours en beta test public (depuis près d’un an), ce qui signifie que le système n’est pas considéré comme stable.
Ensuite le réseau Coral repose aujourd’hui sur plusieurs centaines de machines du réseau PlanetLab, un consortium d’institutions publiques et privées. L’avenir du réseau Coral dépend donc, pour l’instant, des orientations de ce consortium.
Notamment, maintenir ce réseau de machines dispersées aux quatre coins du monde a un coût important, et si le consortium venait à ne plus soutenir le projet, le réseau s’effondrerait de lui même (jusqu’à ce qu’un autre prenne éventuellement sa suite). Coral ne peut donc pas être considéré comme un réseau Peer-to-Peer, car il ne met pas en relation les téléchargeurs, mais leur propose d’utiliser des machines faisant office de "cache" ou de "tampon" entre votre fichier et eux.

D’après nos (quelques) tests, Coral semble relativement stable et efficace (avec parfois un délai particulièrement long pour accéder à une page web ou à un fichier).
Nul doute que plus le système sera utilisé et bénéficiera d’une forte notoriété, plus le réseau se verra renforcé et amélioré.

À vos liens !