Seaux S3 économiques

Amazon Simple Storage Service (Amazon S3) est un service de stockage d'objets qui offre une évolutivité, une disponibilité des données, une sécurité et des performances de pointe. Les meilleures caractéristiques de S3 sont qu'il offre une quantité de stockage presque illimitée à un coût très faible et que S3 est conçu pour 99,999999999% (11 9's) de durabilité, en d'autres termes, ils ne perdront pas vos données. C'est un pas assez énorme par rapport au stockage de données sur un disque dur à la maison, une seule panne de disque peut être dévastatrice !

Il y a quelques fonctionnalités intéressantes de S3 qui méritent d'être notées, et que je configure sur presque tous mes buckets.

Hiérarchisation intelligente S3

S3 Intelligent-Tiering est la seule classe de stockage cloud qui offre des économies de coûts de stockage automatiques lorsque les modèles d'accès aux données changent, sans impact sur les performances ni surcoût opérationnel. La classe de stockage Amazon S3 Intelligent-Tiering est conçue pour optimiser les coûts de stockage en déplaçant automatiquement les données vers le niveau d'accès le plus rentable lorsque les modèles d'accès changent. Pour une petite charge mensuelle de surveillance et d'automatisation des objets, S3 Intelligent-Tiering surveille les modèles d'accès et déplace automatiquement les objets qui n'ont pas été consultés vers des niveaux d'accès à moindre coût.

S3 Intelligent-Tiering est la classe de stockage idéale pour les données avec des modèles d'accès inconnus, changeants ou imprévisibles, indépendamment de la taille de l'objet ou de la période de conservation. Vous pouvez utiliser S3 Intelligent-Tiering comme classe de stockage par défaut pour pratiquement toutes les charges de travail, en particulier les lacs de données, l'analyse de données, les nouvelles applications et le contenu généré par l'utilisateur.

Super? Cependant, sachez qu'en déplaçant des données vers S3 Intelligent-Tiering, vous encourrez des frais pour chaque objet, de sorte que cela peut ne pas convenir à tous les cas d'utilisation, surtout si vous avez un grand nombre de petits fichiers.

Pour plus de détails, veuillez consulter https://aws.amazon.com/blogs/aws/new-automatic-cost-optimization-for-amazon-s3-via-intelligent-tiering/

Éviter les coûts cachés des téléchargements inachevés

Malheureusement, j'ai appris cela à la dure. AWS conservera une partie des fichiers résultant d'échecs de chargements en plusieurs parties... pour toujours. Vous ne pouvez pas facilement voir ces fichiers, mais vous serez certainement facturé pour eux.

Mais qu'est-ce qu'un téléchargement en plusieurs parties, me direz-vous, je ne peux pas l'utiliser si je ne sais même pas ce que c'est !

Eh bien... lors du téléchargement d'un fichier > 5 Mo dans un compartiment AWS S3, le SDK/CLI AWS divise automatiquement le téléchargement en plusieurs requêtes HTTP PUT. C'est plus efficace, permet des téléchargements avec reprise et, si l'une des parties échoue à télécharger, la partie est re-téléchargée sans arrêter la progression du téléchargement.

Cependant, il existe un piège potentiel avec les téléchargements en plusieurs parties. Si votre téléchargement est interrompu avant que l'objet ne soit entièrement téléchargé, ces fichiers partiels resteront dans votre compartiment S3 mais ne seront pas facilement visibles.

Afin d'éviter cette situation, je configure tous mes compartiments pour supprimer ces chargements partitionnés. Cela se fait comme une politique de cycle de vie, et il n'y a aucun coût pour configurer cette politique... alors mieux vaut prévenir que guérir !