박종세 교수팀, 2024 IISWC 다수 상 동시 석권

[자유] 박종세 교수팀, 2024 IISWC 다수 상 동시 석권

해류뭄해리 2024-10-16 17:18 조회 22 추천 3 댓글 0

https://etoland.co.kr/link.php?n=9663374 복사

(왼쪽부터) 박종세 교수, 허구슬 박사과정, 조재홍 석사과정, 김민수 박사과정, 최현민 석사과정

< (왼쪽부터) 박종세 교수, 허구슬 박사과정, 조재홍 석사과정, 김민수 박사과정, 최현민 석사과정 >

우리 대학 전산학부 박종세 교수 연구팀이 지난 9 월 15 일부터 9 월 17 일까지 캐나다 밴쿠버에서 열린 ‘2024 IEEE 국제 워크로드 특성화 심포지엄 (IEEE International Symposium on Workload Characterization, 이하 IISWC 2024)’ 에서 최우수 논문상 (Best Paper Award) 과 최우수 연구 기록물 상 (Distinguished Artifact Award)’ 을 동시에 수상했다고 26 일 밝혔다 .

박 교수 연구팀은 ‘ 초거대 언어모델 추론 서비스 제공을 위한 HW/SW 공동 시뮬레이션 인프라 ( LLMServingSim: A HW/SW Co-Simulation Infrastructure for LLM Inference Serving at Scale )’ 논문으로 두 상을 동시에 수상했다 .

그림 1. 개발한 시뮬레이션 인프라의 흐름

< 그림 1. 개발한 시뮬레이션 인프라의 흐름 >

IISWC 는 컴퓨터 시스템 워크로드 특성화 분야 에서 권위를 자랑하는 국제 학회이며 , 개최시마다 최우수 논문상과 최우수 연구 기록물 상을 하나씩 수여하는데 올해에는 박 교수팀의 논문이 두 상을 모두 단독으로 수상했다 .

이번 수상 연구는 대규모 거대언어모델 (LLM) 추론 서비스를 위한 하드웨어와 소프트웨어 통합 시뮬레이션 인프라를 최초 개발한 점 , 향후 LLM 추론 연구의 지속적인 발전을 위해 오픈소스로 공개한 코드의 완성도와 사용자 편의성 측면에서 높은 평가를 받았다 .

이번 연구에서 연구팀은 챗 GPT 와 같은 LLM 추론 서비스를 실행하는 대규모 시스템을 여러 가지 하드웨어와 소프트웨어를 추가해 시뮬레이션할 수 있는 시뮬레이션 인프라를 제안했다 .

그림 2. 개발한 시뮬레이션 인프라의 실행 시간 단축 기술

< 그림 2. 개발한 시뮬레이션 인프라의 실행 시간 단축 기술 >

이를 통해 GPU( 그래픽처리장치 ), NPU( 신경망처리장치 ) 와 PIM( 지능형메모리반도체 ) 과 같은 다양한 하드웨어뿐만 아니라 반복 수준 스케쥴링 , KV 캐시 페이징과 같은 초거대 언어모델 추론을 위한 소프트웨어적 요소를 모두 함께 시뮬레이션할 수 있었다 .

그림 3. 개발한 시뮬레이션 인프라의 이종 가속기 지원

< 그림 3. 개발한 시뮬레이션 인프라의 이종 가속기 지원 >

이번 연구는 KAIST 전산학부 박종세 교수팀의 조재홍 , 김민수 , 최현민 , 허구슬 학생들이 주도했다 .

상을 받은 KAIST 전산학부 박종세 교수는 “ 이번 연구를 통해 , LLM 클라우드 상에서 다양한 AI 반도체와 시스템 소프트웨어의 성능을 종합적으로 평가해 볼 수 있는 오픈소스 도구 (Tool) 을 공개할 수 있게 되어 기쁘고 , 앞으로도 생성형 AI 를 위한 클라우드 시스템 연구를 지속해 나갈 것이다 ” 라고 소감을 전했다 .