비용 효율적인 S3 버킷

Amazon Simple Storage Service(Amazon S3)는 업계 최고의 확장성, 데이터 가용성, 보안 및 성능을 제공하는 객체 스토리지 서비스입니다. S3의 가장 큰 특징은 매우 저렴한 비용으로 거의 무제한에 가까운 저장 용량을 제공하고 S3가 99.999999999%(11 9's)의 내구성, 즉 데이터를 잃지 않도록 설계되었다는 것입니다. 이는 가정의 하드 드라이브에 데이터를 저장하는 것과 비교하면 상당히 큰 단계이므로 단일 드라이브 오류가 치명적일 수 있습니다!

주목할 가치가 있고 거의 모든 버킷에 구성한 S3의 몇 가지 흥미로운 기능이 있습니다.

S3 지능형 계층화

S3 Intelligent-Tiering은 성능 영향이나 운영 오버헤드 없이 데이터 액세스 패턴이 변경될 때 자동 스토리지 비용 절감을 제공하는 유일한 클라우드 스토리지 클래스입니다. Amazon S3 Intelligent-Tiering 스토리지 클래스는 액세스 패턴이 변경될 때 가장 비용 효율적인 액세스 계층으로 데이터를 자동으로 이동하여 스토리지 비용을 최적화하도록 설계되었습니다. 작은 월별 개체 모니터링 및 자동화 요금으로 S3 Intelligent-Tiering은 액세스 패턴을 모니터링하고 액세스되지 않은 개체를 자동으로 더 저렴한 액세스 계층으로 이동합니다.

S3 Intelligent-Tiering은 객체 크기나 보존 기간에 관계없이 알 수 없거나 변경되거나 예측할 수 없는 액세스 패턴이 있는 데이터에 이상적인 스토리지 클래스입니다. S3 Intelligent-Tiering을 거의 모든 워크로드, 특히 데이터 레이크, 데이터 분석, 새로운 애플리케이션 및 사용자 생성 콘텐츠에 대한 기본 스토리지 클래스로 사용할 수 있습니다.

잘 들리나요? 그러나 데이터를 S3 Intelligent-Tiering으로 이동하면 모든 객체에 대해 요금이 부과되므로 모든 사용 사례에 적합하지 않을 수 있습니다. 특히 작은 파일이 많은 경우에는 더욱 그렇습니다.

자세한 내용은 https://aws.amazon.com/blogs/aws/new-automatic-cost-optimization-for-amazon-s3-via-intelligent-tiering/을 참조하십시오.

완료되지 않은 업로드로 인한 숨겨진 비용 방지

불행히도 나는 이것을 어렵게 배웠습니다. AWS는 실패한 멀티파트 업로드로 인한 파일의 일부를 영원히 보관합니다. 이러한 파일을 쉽게 볼 수는 없지만 비용은 확실히 청구됩니다.

그러나 멀티파트 업로드란 무엇인지 알지 못하면 사용할 수 없다고 말할 수 있습니다.

음... >5Mb 파일을 AWS S3 버킷에 업로드할 때 AWS SDK/CLI는 업로드를 여러 HTTP PUT 요청으로 자동 분할합니다. 더 효율적이고 재개 가능한 업로드가 가능하며, 부분 중 하나가 업로드에 실패하는 경우 업로드 진행을 중단하지 않고 부분이 다시 업로드됩니다.

그러나 멀티파트 업로드에는 잠재적인 함정이 있습니다. 객체가 완전히 업로드되기 전에 업로드가 중단된 경우 해당 파일의 일부는 S3 버킷에 남아 있지만 쉽게 볼 수는 없습니다.

이러한 상황을 방지하기 위해 모든 버킷이 이러한 멀티파트 업로드를 삭제하도록 구성합니다. 이것은 수명 주기 정책으로 수행되며 해당 정책을 구성하는 데 비용이 들지 않습니다...그래서 미안한 것보다 안전합니다!