8억 파라미터 갖춘 Phi-3.5-mini

이미지 이해 강화한 Phi-3.5-vision4

20억 파라미터 구성된 Phi-3.5-MoE

다양한 언어와 강력한 성능 제공

마이크로소프트 파이 마이크로소프트가 2024년 4월에 출시된 소형언어모델 파이 3(Phi-3) 의 최신 모델인 파이3.5(Phi-3.5)시리즈를 27일 공개했다. 이번에 발표된 파이3.5 미니(Phi-3.5-mini),파이3.5 비전(Phi-3.5-vision),파이3.5(Phi-3.5-MoE) 모델이다. 마이크로소프트는 “다양한 기능과 최적화된 고성능 옵션을 제공하며,기존 모델 대비 향상된 성능을 자랑한다”고 말했다.

파이3.5 미니(Phi-3.5-mini)는 특히 38억 개의 파라미터로 긴 문서 요약 작업에 탁월한 성능을 발휘하한다. 또 12만8000개의 컨텍스트 길이를 지원한다. 특히 영어를 포함한 다양한 언어에서 우수한 성능을 보여주며,한국어,아랍어,네덜란드어,핀란드어 등에서의 성능 개선이 돋보인다는 것이 마이크로소프트의 설명이다.

파이3.5 비전(Phi-3.5-vision)은 멀티 프레임 이미지 이해 및 추론 능력을 강화해 이미지와 비디오 데이터 처리에서 뛰어난 성능을 발휘한다. 해당 모델은 슬라이드 요약,비디오 요약,이미지 스토리텔링 등 다양한 멀티미디어 벤치마크에서 높은 정확도와 효율성을 보여준다.

파이3.5 MoE(Phi-3.5-MoE)는 420억 개의 파라미터로 구성된 전문가 혼합(Mixture of Experts) 모델이다. 66억 개의 파라미터를 사용한다. 해당 모델은 긴 컨텍스트 처리와 다국어 지원에서 강력한 성능을 제공하며,사용자의 안전한 AI 구축을 돕는 강력한 안전 조치와 합성 명령어를 결합해 신뢰성을 높였다.

마이크로소프트는 “파이3.5(Phi-3.5) 시리즈를 통해 보다 효율적이고 고성능의 AI 솔루션을 제공할 계획이며,다양한 언어와 산업에 걸쳐 활용될 것으로 기대된다”고 말했다.