AWS - 스토리지 추가 기능

AWS Snow Family(제품군)

- 스노우 제품군은 데이터 마이그레이션을 수행하기 위해 사용하는 오프라인 장치이다.

- 보안이 뛰어나고, 휴대성이 있다.

- edge에서 데이터를 모으고 처리하기 위해 사용된다.

- 혹은 데이터를 AWS 안팎으로 마이그레이션 하기 위해 사용된다.

 

사용되는 케이스

- 연결이 불안정하거나 적을 때

- 대역폭(bandwidth)이 적을 때

- 네트워크 비용이 많이 들 때

- 대역폭을 공유하고 있을때

 

 

=> 만약 네트워크를 통한 데이터 전송이 일주일 이상 걸린다면, 스노우 family를 사용하는 것이 낫다.

 

Snowball Edge

- 물리적으로 데이터를 전송해주는 방식 - AWS 안팎으로 TB나 PB단위의 데이터를 전송해 준다.

- 데이터 전송 작업 당 비용이 든다.

- 블록 스토리지와 아마존 S3와 호환되는 객체 스토리지를 제공한다.

- 주로 대용량의 데이터 센터 마이그레이션 혹은 데이터 센터 폐쇄, 재난 후 복구시 사용된다.

- 전송 후에는 보안상의 이유로 완전히 삭제된다.

* Snowball Edge Storage Optimized

- 80TB의 하드디스크 용량

 

* Snowball Edge Compute Optimized

- 42TB의 하드디스크 용량

 

 

AWS Snowcone

- 작고 휴대 가능하며, 견고하고 보안성 있는 장치이다.

- 가벼워서 드론 위에도 둘 수 있다.

- edge computing, storage, 데이터 전송에 쓰인다.

- 8TB의 용량

- Snowball이 공간적인 제약이 있을 때 대체하여 사용된다.

- 인터넷이 없는 공간에서 데이터를 받았다가 이후에 데이터 센터에 연결되어 AWS로 데이터를 전송한다. 혹은 혹은 온라인으로 AWS Datasync를 사용해 데이터를 재전송한다.

 

 

AWS Snowmobile

- 1EB(=1000PB)까지 전송 가능하다.

- 실제 트럭

- 각각의 Snowmobile은 100PB의 용량을 갖고 있다.

- 보안성이 높다.

- 10PB 이상의 데이터를 전송해야 할 때 Snowball보다 유용하다.

 

	Snowball Edge	Snowcone	Snowmobile
저장 공간 용량	80TB	8TB	<100PB
마이그레이션 사이즈	PB까지, offline	24TB까지, offline & online	EB까지, offline
Datasync agent		사전에 설치되며, 네트워크 연결을 통해서도 전송 가능하다.
저장 공간 클러스터링	최대 15개의 노드를 묶어서 저장 공간의 크기를 늘릴 수 있다.

 

- Snow family에서 전달된 데이터는 S3 버킷에 로드된다.

 

 

 

Edge Computing

- 엣지 로케이션에서 생기는 데이터를 처리하는 것.

 

* 엣지 로케이션(Edge location)

- 인터넷이 없는 곳

- 클라우드에서 멀리 떨어진 곳

- 컴퓨팅 작업을 할 수 없는 곳

 

- 엣지 컴퓨팅을 하기 위해 Snowball Edge나 Snowcone을 설치한다.

- 데이터 전처리, 혹은 클라우드에서 보내지 않고 엣지에서 머신러닝 할 때, 혹은 media stream을 트랜스코딩할 때 사용한다.

- 데이터를 AWS로 재전송 해야할 때 이 장치들을 AWS로 보내야 한다.

Snowball Edge - Compute Optimized	Snowball Edge - Storage Optimized	Snowcone
- 인스턴스 실행 가능 - 람다 함수 가능(AWS IoT Greengrass를 이용하여) - 1~3년 이상 빌리면 할인이 가능하다.
- 52vC, 208GB - 추가적인 GPU - 42TB 저장 공간	- 최대 40vC, 80GB - 객체 스토리지 클러스터링이 가능하다	- 2C, 4GB - 유/무선 액세스 - USB-C와 보조 배터리

 

 

 

AWS OpsHub

- CLI 대신 Snow Family Device를 관리할 수 있는 소프트웨어

- 디바이스(혹은 클러스터)를 설정하고 잠금해제 할 수 있다.

- 인스턴스들을 런칭하거나 관리할 때 사용한다.

- 장치 metrics를 모니터링할 때 사용한다.

- 디바이스에 호환가능한 AWS 서비스를 런칭할때 사용한다.

 

 

SA 사례 - Snowball을 Glacier로 객체 전환 하려면?

- Snowball은 곧바로 Glacier로 전환할 수 없다.

- S3를 이용해서 Lifecycle을 설정해야 Glacier로 전환할 수 있다.

 

 

 

 

 

Amazon FSx 란?

- 타사(3rd party) 고성능 파일 시스템(Windows file Server, Lustre, NetApp ONTAP)을 AWS에서 실행시킬 때 사용한다.

- 완전 관리형 서비스

 

 

Windows File Server에서의 Amazon FSx

*cf. EFS는 리눅스 시스템에서의 공유된 POSIX 시스템이다.

- FSx for Windows는 완전 관리형 윈도우 파일 시스템 공유 드라이브이다.

- SMB 프로토콜과 Windows NTFS를 지원한다.

- Linux EC2 인스턴스에 마운트 될 수 있다.

 

- 대용량의 데이터 - 10s GB/s, 수백만 IOPS, 100s PB 까지 Scale Up 가능하다.

* 스토리지 옵션

     - SSD : 지연시간에 민감한 워크로드(DB, media, 프로세싱, 데이터 분석 등)에 적합하다.

     - HDD : 넓은 스펙트럼의 워크로드

- 온프래미스 인프라(VPN 혹은 Direct Connect)에서도 접근 가능하다.

- 여러 AZ에서 설정 가능하다. => HA(High Availability)

- 매일 S3에 데이터가 백업된다.

 

 

 

Lustre에서의 Amazon FSx

- Lustre는 병렬 분산 파일 시스템의 일종, 큰 스케일의 컴퓨팅에 사용된다.

- Linux + cluster의 합성어.

- 머신 러닝, HPC(High Performance Computing), 비디오 프로세싱, 경제적 모델링 등에 사용된다.

- 최대 100s GB/s, 수 백만 IOPS, 지연시간이 sub-ms 단위

* 스토리지 옵션

     - SSD : 지연시간이 적은, IOPS이 중요한 워크로드, 작고 random한 file operations

     - HDD : 처리량이 많은 워크로드, 크고 연속적인 file operations

* S3와의 무결절성 통합(Seamless integration)

     - FSx를 통해 S3를 file system으로써 읽을 수 있다.

     - S3로 computation의 출력값을 읽을 수 있다.

- 온프래미스 서버에서도 사용된다.(VPN or Direct Access)

 

 

 

FSx File System 배치 옵션

Scratch File System

- 일시적인 저장 공간

- 데이터가 복제되지 않기 때문에, fail -> 파일 손실

- 버스트 처리량이 높다

- 짧은 기간의 프로세싱, 비용 절약

 

Persistent File System

- 장기 저장 공간

- 같은 AZ에 파일이 복제된다.

- fail 발생 -> 레플리카로 대체된다.

- 장기간의 프로세싱, 민감한 데이터에 유용

 

 

 

 

 

 

 

스토리지를 위한 Hybrid Cloud 

- AWS가 밀고 있는 개념

- 일부분은 클라우드에, 일부분은 온프래미스에 infra를 둔다.

     -> 클라우드 마이그레이션이 길기 때문에

     -> 보안성 때문에

     -> 규정준수 때문에

     -> IT 전략 때문에

- S3는 EFS, NFS와 달리 사유(propriety) 스토리지 기술이다. 이를 어떻게 온프래미스에 노출시킬 것인가?

     => AWS Storage Gateway를 이용한다.

 

 

AWS Storage Gateway

- 온프래미스 데이터와 S3 내의 클라우드의 데이터를 연결시킨다(bridge).

- 재해 복구, 백업 및 복구, 계층화된 스토리지에 사용된다.

- File Gateway, Volume Gateway, Tape Gateway 세 가지 종류가 있다.

 

File Gateway

- NFS와 SMB 프로토콜을 이용해서 설정된 S3 버켓이  접근가능해진다.

- 버켓은 IAM role을 이용해서 각각의 File Gateway에 접근한다.

- 가장 최근에 사용된 데이터는 File Gateway에 캐싱된다.

- 많은 서버에 마운트될 수 있다.

- 사용자 인증을 위해 AD(Active Directory)와 합쳐진다.

 

Volume Gateway

-  iSCSI 프로토콜을 이용한 블록스토리지. S3에 의해 백업된다.

- 온프래미스 볼륨이 EBS 스냅샷으로 백업된다.

      - Cached volumes : 지연시간이 낮다.

      - Stored volumes : 전체 데이터셋이 온프래미스에 있으며, S3에 백업이 예약된다.

 

Tape Gateway

- 실제 물리적인 테이프를 이용해 백업한다. - 같은 방식을 클라우드에서 이용한다.

- VTL(Virtual Tape Library) - Amazon S3와 Glacier로 백업된다.

- 테이프로 기반한 프로세스(+ iSCSI 인터페이스)를 이용해 데이터를 백업한다.

- 백업 소프트웨어 업체와 협업하기도 한다

- Tape Gateway가 클라우드에 접속한다

- 게이트웨이가 기업 데이터센터에 설치되어 있으므로 기업 데이터 센터 내에서 실행되어야 한다.

 

 

Storage Gateway - Hardware appliance

- 스토리지 게이트웨이를 이용한다는 것은 온프래미스 가상화가 필요하다는 것이다. -> 하지만 가상화가 불가능할 경우, Storage GW HW Appliance를 할 수 있다.

- File GW, Volume GW, Tape GW와 함께 사용된다.

- 작은 DC에서 매일매일 NFS 백업을 할 때 유용하다.

 

 

Amazon FSx File Gateway

- Windows File Server를 위해 Amazon FSx에 네이티브 액세스 하는 것

- 자주 액세스되는 데이터에 대해 로컬 캐시를 둔다. => 지연 시간 단축

- SMB, NTFS 프로토콜을 이용한다.

- Windows 네이티브와 호환성이 있다.

- 그룹 파일 공유와 홈 디렉토리들에 유용하다.

- 데이터 센터에서 클라우드로 직접 접근하는 것 보다, 로컬 캐시를 사용하는 등의 이유로 Amazon FSx File GW를 쓰는 것이 더 효율적이다.

Amazon FSx File Gateway는 네트워크 최적화 및 캐싱을 사용하여, 여전히 온프레미스에 공유 데이터가 있는 것처럼 사용자 및 애플리케이션을 지원합니다.

https://aws.amazon.com/ko/blogs/korea/get-started-using-amazon-fsx-file-gateway-for-fast-cached-access-to-file-server-data-in-the-cloud/

Amazon FSx File Gateway – 클라우드에서 파일 서버 데이터에 대한 캐시 기반 빠른 액세스 지원 | Amazon