AI융합학부 이길호 교수 연구팀 소속 정휘수(AI융합학부 19), 이지훈, 주성진(지능형반도체학과 석사과정) 학생이 삼성전자 종합기술원(SAIT) 주관 2024 AI/CE 챌린지의 ‘On-device 시스템에서 LLM 모델의 추론 최적화’ 부문에서 장려상을 수상했다. 시상식은 11월 4일 삼성 AI포럼에서 진행됐으며, 수상자들에게는 11월 5일 삼성전자종합기술원(SAIT) 투어 및 SAIT 연구원들과의 미팅 기회가 주어졌다.

‘삼성 AI/CE 챌린지’는 2021년을 시작으로 올해 4회를 맞은 과학기술 인재 발굴과 지원을 위한 경진대회다. 올해는 AI와 CE(Computer Engineering) 분야에서 총 3개 주제로 진행됐다. CE 분야의 주요 과제는 최근 주목받는 On-device 환경에서 제한된 하드웨어 리소스를 활용해 LLM 모델의 추론 시간을 최소화하고, 동시에 정확도를 개선하기 위한 방안을 모색하는 것이었다.

숭실대 팀은 제한된 메모리 크기 내에서 최대한 많은 연산을 동시에 실행하는 기법을 개발해, 정확도를 유지하면서도 LLM 모델의 추론 속도를 크게 향상시켰다.

수상 학생들은 “시스템 분야는 초기 연구 환경 구축부터 쉽지 않지만, 연구실에서 다양한 임베디드 플랫폼과 AI 모델을 접한 것이 큰 도움이 됐다. 한 달이라는 짧은 시간에도 불구하고 팀원들과 함께 여러 접근 방식에 대해 끊임없이 논의했기에 수상이라는 좋은 결과로 이어졌던 것 같다”며 ”다른 수상팀들과의 기술 공유 시간을 통해 새로운 접근 방식에 대해 알 수 있었고, 실제 연구원들로부터 많은 조언을 받을 수 있었던 뜻깊은 시간이었다”고 소감을 전했다.

 

 

홍보팀(pr@ssu.ac.kr)