Si vous passez d'AWS à Google Cloud Platform, il se peut que de nombreuses données soient stockées dans des buckets S3. Heureusement, Google fournit un outil pour transférer automatiquement le contenu du bucket vers sa propre plate-forme Cloud Storage.

Transférer un bucket S3 vers Cloud Storage

Cloud Storage fonctionne de manière très similaire au service S3 d'AWS, et dans la plupart des cas, il devrait servir de remplacement immédiat pour S3, avec quelques ajustements mineurs aux applications clientes. Google fournit un excellent guide pour la migration des applications client basées sur S3 sur Cloud Storage.

Cependant, vous devrez également effectuer un transfert sur chaque bucket S3 vers un bucket Cloud Storage. Ce processus peut prendre un certain temps pour les grands buckets, mais il peut être automatisé assez facilement à l'aide des outils de transfert de données intégrés à GCP.

Du côté AWS, vous devrez créer un utilisateur de service pouvant accéder aux compartiments S3. Vous pouvez en utiliser un existant, mais en créer un nouveau est assez simple et peut être supprimé une fois le processus terminé. Du Console de gestion IAM (AWS one), créez un nouvel utilisateur et donnez-lui un accès par programme, ce qui créera une clé d'accès et un secret.

Tu peux le donner AmazonS3FullAccess, mais il est préférable de créer une nouvelle stratégie avec des autorisations de lecture et de liste pour les buckets que vous allez transférer:

Cliquez sur suivant pour créer l'utilisateur et laissez l'onglet avec la clé d'accès et le secret ouverts.

Maintenant, rendez-vous sur Google Cloud Platform et sélectionnez Transfert de données> Service de transfert dans la barre latérale.

Pour le bucket de destination, vous devrez probablement en créer un nouveau. Cliquez sur "Parcourir" et créez un nouveau compartiment avec les autorisations et les paramètres que vous souhaitez utiliser.

Vous avez quelques options pour le transfert que vous pouvez vérifier ici. Le premier écrasera tous les fichiers existants dans le compartiment de destination qui ont le même nom. Cela ne devrait pas avoir beaucoup d'importance avec un nouveau bucket de destination. Le second supprimera les éléments du compartiment source une fois le transfert terminé. Si vous travaillez toujours sur le transfert d'applications clientes vers la nouvelle infrastructure, vous voudrez vous assurer que cette case n'est pas cochée (et si vous avez uniquement donné l'accès en lecture / liste à l'utilisateur IAM, cela ne fonctionnera pas de toute façon). Le troisième effacera essentiellement le bucket de destination de tout ce qui ne se trouve pas dans le bucket source. Encore une fois, cela ne devrait pas avoir d’importance pour les nouveaux buckets.

Cliquez sur "Continuer", puis sur "Créer". Le transfert devrait commencer automatiquement. S'il n'y a que quelques éléments, cela ne devrait prendre que quelques minutes. Vous pouvez afficher l'état du transfert depuis la console de transfert de données:

Vous devrez répéter ce processus pour chaque compartiment S3. Si vous disposez d'un trop grand nombre de compartiments S3 pour que cela soit réalisable, vous voudrez peut-être envisager d'automatiser l'ensemble du transfert à l'aide du API de transfert de stockage.