Designing towards a NVMe-aware distributed storage system

이성민

Speaker's bio

삼성전자에서 분산 스토리지 관련 개발 업무를 하고 있습니다.

Info

Session detail

Hyper connected 사회의 도래와, Corona-virus pandemic으로 인한 digital needs의 증가로 인해 데이터의 양이 폭발적으로 증가하면서 storage system을 운영하는 cloud provider 기업들은 데이터를 공간 효율적으로 저장하면서 운영 비용을 줄이기 위한 어려움을 겪고 있다. 이렇게 직면한 문제를 해결하기 위한 노력으로 최근 데이터 센터의 트렌드는, 첫번째로, 제한된 자원을 효율적으로 사용하기 위해 컴퓨팅, 메모리, 스토리지 등 자원을 disaggregation하는 추세이다. 두번째로는, 다양한 스토리지 디바이스의 출현은 사용자에게 워크로드의 특성이나 시스템 구조에 적합한 디바이스를 사용할 수 있는 선택의 폭을 넓혀주었다. 가장 널리 알려지고 가장 많이 사용되는 오픈 소스 Software-defined Storage 중 하나인 Ceph 또한 데이터 센터 트렌드를 따라 자원의 disaggregation과 사용자에게 다양한 디바이스를 사용할 수 있는 기회를 주기 위해 노력하고있다. 우리는 이 발표를 통해서 Ceph 기반의 빠르고 자원을 효율적으로 사용할 수 있는 분산 스토리지 시스템 구조를 제안한다. 이 발표에서는 효율적인 disaggregation architecture를 가능하게 하기위한 세 가지 기술인 1. global tiering/deduplication, 2. NVMe-OF, 그리고 3. 다양한 SSD지원에 대해서 소개한다.