이번 메타의 메모리 사용 기술

메타가 자체 개발한 CXL(Compute Express Link)이 시사하는 핵심은 '메모리 용량 한계 극복' 그리고 '폐기 비용의 획기적 절감' 입니다. 서버 교체 시 멀쩡한 구형 메모리(DDR)까지 함께 폐기해야 했던 기존 데이터센터의 구조적 낭비를 해결하고, 폐기 하려던 서버에서 회수한 구형 메모리를 신형 서버에 장착해서, 애플리케이션 간에 메모리를 자유롭게 공유/확장하여 자원 효율을 극대화 하는 기술인데... 하드웨어(메모리) 추가 구매 비용을 크게 낮추고, AI 연산 및 LLM 처리 시 발생하는 메모리 병목 현상을 해결하려는 시도로 보입니다. 이 기술은 빅테크 기업들이 AI 시대에 급증하는 컴퓨팅 자원 수요를 충족시키기 위해 기존 하드웨어 인프라를 얼마나 유연하게 재활용하고 최적화 하려고 하는지 잘 보여줍니다. 결국은 메모리 수요를 공급이 따라오지 못해 가격이 천정부지로 치솟고 물량 확보에도 어려움이 있으니 고육지책을 내놓은 셈인데... 메모리 업체들이 증산을 해서 시장에 공급이 수요를 넘어서면 곧 사라질 기술이라고 생각합니다. 구형 하드웨어 재활용 비용 > 신규 구축비용 되는 순간 딸깍! 하고 잊혀져 버린다 에 한 표를 던지겠습니다... 저거 구축하고 관리하는 비용도 무시 못할 듯...

서버 수명이 5년 정도고, 이에 반해서 메모리는 10년 이상을 쓸 수 있는데, 서버를 교체할 때마다 메모리도 함께 교체해야 하는 기존 방식과 달리, CXL은 메모리 재활용을 통해서 서버 교체 비용을 절감할 수 있음. 그런데 문제는 서로 다른 동작 속도를 어떻게 활용하느냐임, CXL 메모리는 로컬 DRAM보다 latency가 2~3배 정도 높고 Hot data와 Cold data를 어떻게 분산하는지 결정하는게 어려움.