La migration des données peut être un processus lent et ardu. Même sur un lien gigabit, le déplacement d'énormes ensembles de données peut prendre des mois. AWS Snowball fournit un appareil physique que vous pouvez remplir sur site et renvoyer à AWS pour l'importation dans S3.

C’est plutôt une boîte de disques durs

Il n'est pas rare de voir des ensembles de données gigantesques, car les startups performantes collectent généralement beaucoup de données. Bien que 100 To de données ne soient pas si difficiles à stocker sur vos serveurs, vous atteindrez un point où vous n’avez tout simplement pas la capacité de calcul requise pour travailler avec un ensemble de données aussi volumineux. À ce stade, le transfert vers le cloud, AWS S3 dans ce cas, présente de nombreux avantages, mais y parvenir devient un problème logistique en soi.

Internet est très lent par rapport aux vitesses réalisables sur les réseaux privés. Au mieux, vous pouvez obtenir une vitesse gigabit, mais il est peu probable que vous y parveniez dans la pratique – même AWS Direct Connect atteint 500 Mbps. Quoi qu'il en soit, vous ne voudriez pas saturer toute cette connexion pendant des mois pendant que vous déplacez votre ensemble de données. Pendant ce temps, il est courant que les connexions intranet atteignent des vitesses de 10 à 40 gigabits avec le bon matériel et des câbles modernes, et les vitesses des disques durs sont assez rapides, en particulier dans les baies RAID ou lors de la lecture en parallèle.

La solution folle d’AWS consiste donc à charger des données sur un disque dur et à envoyer ce disque par courrier électronique à AWS. Le temps nécessaire pour charger les données, les expédier à travers le pays, être reçues par Amazon, et être lues et chargées dans S3 est bien inférieur à la simple utilisation des tuyaux Internet (au moins pour d'énormes ensembles de données). AWS a en fait proposé cela en tant que service depuis 2009, où vous pouvez envoyer vos propres disques durs pour l'importation. Cependant, les problèmes logistiques impliqués étaient loin d'être idéaux.

Snowball est la prochaine itération de ce service. La boîte contient plusieurs disques durs et a des capacités de 50 To et 80 To. Sur le devant de la boîte, vous trouverez un écran Kindle e-Ink, qui sert d'étiquette d'expédition et d'interface pour l'appareil. À l’arrière, vous trouverez la fiche d’alimentation ainsi que le port RJ45 et optique pour le connecter à votre réseau. Tout cela est contenu dans un contenant en plastique robuste qui agit comme sa propre boîte d'expédition:

La Snowball peut atteindre un taux de transfert de données maximal de 250 à 400 Mbps, ce qui équivaut à une connexion de 2,5 à 3 gigabits. Vous pouvez également être limité par les vitesses de lecture de votre propre réseau, mais vous êtes en mesure d'exécuter plusieurs tâches d'importation en parallèle, vous devriez donc être en mesure de le saturer. Vous pouvez également commander plusieurs Snowballs pour transférer des ensembles de données de plus de 50 To.

La Snowball coûte 200 $ par transfert, ou 250 $ pour la version 80 To. C'est en fait vraiment bon marché; par rapport au transfert de ces données dans S3 via les tuyaux Internet (pour lesquels vous êtes taxé), cela représente environ un cinquième du coût, et comparé à l'achat et à l'envoi de vos propres disques durs, vous auriez du mal à trouver 50 To de stockage pour 200 $ (un seul disque de 8 To peut coûter autant).

Cela positionne la Snowball comme une option de transfert de données raisonnable pour les entreprises qui souhaitent passer au cloud et apporter leur ensemble de données avec elles. Gardez à l'esprit, cependant, que le coût principal ne sera pas la boule de neige elle-même, mais plutôt le coût de stockage de ces données dans le cloud en premier lieu. Une boule de neige pleine de données coûterait 1 150 USD par mois sous le niveau standard de S3, mais cela peut être ramené à environ 750 USD environ en utilisant la hiérarchisation intelligente. Si vos données ne sont pas consultées aussi souvent, vous pouvez utiliser Glacier S3, ce qui peut ramener les coûts à 200 USD par mois, ou à seulement 50 USD par mois avec Glacier Deep Archive. Dans tous les cas, le coût de la Snowball est négligeable si vous envisagez sérieusement de déplacer vos données vers le cloud.

Comment utiliser une boule de neige

En ce qui concerne l’utilisation réelle de l’objet, une fois qu’il est arrivé, il vous suffit de le brancher sur le secteur et de le connecter à un ordinateur de votre réseau avec les prises RJ45, SFP + cuivre ou SFP + optiques. Vous voudrez vous assurer que le poste de travail auquel vous le connectez est assez puissant, car c'est généralement le goulot d'étranglement. Ce sera également idéal si ce poste de travail est connecté directement à votre source de données sans que rien d'autre n'encombre le réseau.

À l'aide de l'écran en façade, vous pouvez attribuer à la Snowball une adresse IP statique:

Une fois le réseau connecté, vous pouvez commencer le transfert. Vous souhaiterez utiliser le Adaptateur Snowball S3, un progiciel qui agit comme un point de terminaison S3 et utilise la même API que vous utiliseriez pour transférer vers le cloud. Il y a aussi un client régulier, qui vous permettra de simplement glisser-déposer des fichiers sur la Snowball, mais c'est beaucoup plus lent que l'adaptateur S3.

Une fois chargé, vous le renvoyez à AWS et il est chargé dans S3 pour être utilisé avec le reste de l'écosystème AWS.

Vous pouvez également en commander un camion entier

Si vous êtes le genre de personne qui lit ceci et vous demande comment vous allez connecter des centaines de Snowballs à votre centre de données pour transférer des dizaines de pétaoctets, AWS a un service pour vous. En poussant le concept Snowball à l'extrême, un ingénieur fou a créé la motoneige AWS, et c'est exactement ce que vous pensez: un camion remorque tirant un gigantesque disque dur stocké dans un conteneur d'expédition de 45 pieds de long. Il peut déplacer 100 pétaoctets de données, soit environ 1 250 boules de neige.

Naturellement, c'est assez cher. Vous êtes facturé 0,005 USD par Go et par mois, ce qui est une bonne façon de dire que vous êtes facturé 5 000 USD par pétaoctet pour chaque mois du transfert. Mais, à cette échelle, c'est vraiment la solution la moins chère: une solution basée sur le réseau prendrait des décennies pour transférer des centaines de pétaoctets vers le cloud, ce qui la rendait pratiquement impossible, même en mettant de côté les millions de dollars d'investissement et de transfert. Un travail AWS Snowmobile coûtera au plus quelques centaines de milliers de dollars si vous le remplissez complètement, et sera terminé dans quelques semaines.