[경신스] 특화된 소규모 언어 모델 활용으로 가성비 99% 이상 달성 가능
< 예상 질문 >
넥슨: 엔씨소프트의 경우에는 AI 모델 개발에 힘을 쓰고 있는데, 이에 대한 전략이 있으신지
엔씨소프트: 다른 게임 기업의 경우 AI 모델에 크게 관심이 없어서 아마 첫 주자가 될 듯한데, 사용 전략이 있으신지
< 의견 >
sLLM을 활용하면 적은 비용으로 특정 용도에 특화된 AI를 구현할 수 있다. 게임계에서는 작은 규모의 AI 구현이 없다. 한국 게임의 주 컨텐츠가 오픈월드와 같은 자유로운 상호작용이 아닌, 일방향적 성장이라서 그런걸까? 엔씨소프트가 AI 산업에 뛰어든 것도 게임에 적용하기 위해서인 것은 아닌 것처럼 보인다. 기술 적용과 이에 따른 수익의 가격 비교가 현재는 비용이 높은 모양이다.
< 추가 조사 >
국내 게임사 중 자체 LLM을 구축하는 곳은 드물다. 엔씨소프트보다 R&D 인력이 더 많은 넥슨도 기존 파운데이션 모델을 파인튜닝(미세조정) 하는 방향으로 전략을 짰다. IT업계 관계자는 "초거대 AI는 규모의 경쟁"이라며 "데이터 확보 및 트레이닝에도 상당한 노하우가 필요한 데다 구축 비용도 만만치 않아 경영진의 결단이 필요한 부분"이라고 설명했다.
< 요약 >
sLLM은 파라미터가 LLM에 비해 적 어 학습·운영 비용이 덜 든다. 만능 범용은 아니지만 특정 영역에서는 높은 수준의 생성 작업을 수행할 수 있으며 활용성이 높다. 스캐터랩의 이루다는 sLLM을 활용하여 출시 6개월 만에 사용자 150만명을 빠르게 확보한 성과가 있다. 관계성에 특화한 파인튜닝도 거쳤다. 스캐터랩 대표는 AI 기술 경쟁이 모델 싸움에서 결국 독점적 데이터 경쟁으로 전환될 것이라 예측하였다. 엔씨소프트는 sLLM을 기반으로 게임 콘텐츠와 디지털 휴먼 개발에 순차적으로 활용할 계획이다. 스탠퍼드 연구진은 sLLM '알파카'를 개발하는 데 불과 600달러(약 80만원)를 지출했다. 오픈AI의 GPT-3는 학습에 약 1000만달러(약 132억원)가 투입됐다. 앞서 마이크로소프트 연구팀은 새로운 코딩 특화 언어모델 '파이-1'이 그 100배 크기인 GPT-3.5를 일부 능가했다는 연구 결과를 발표한 바 있다.
< 원문: 작지만 똑똑한 AI … sLLM 시대 온다 >
비용은 적고 특정 성능 우수해
학계서 주목하고 개발 잇달아
스캐터랩, AI플랫폼 이어
42마루·스켈터랩스도 서비스
"챗GPT의 연산 비용이 눈물 날 정도다."(샘 올트먼 오픈AI CEO)
오픈AI 'GPT-4', 구글 '팜2', 네이버 '하이퍼클로바X'와 같은 대규모언어모델(LLM) 주도권 경쟁이 벌어진 가운데, 국내 스타트업이 소형 대규모언어모델(sLLM)을 앞세워 틈새를 공략하고 있다.
23일 정보기술(IT) 업계에 따르면 인공지능(AI) 챗봇 '이루다'를 개발한 스캐터랩은 사회적인 상호작용뿐 아니라 전문 지식을 학습해 논리적 상호작용이 두루 가능한 sLLM '핑퐁1'을 개발하고 있다. sLLM은 인간 두뇌의 시냅스에 해당하는 파라미터가 LLM에 비해 적다. 그만큼 학습·운영 비용이 덜 든다. 오픈AI의 GPT-3.5와 구글 팜의 파라미터는 각각 1750억개, 5400억개에 달하는 데 반해 sLLM은 수십억 개에 그친다. sLLM은 만능 범용은 아니지만 특정 영역에서는 높은 수준의 생성 작업을 수행할 수 있으며 활용성이 높다.
스캐터랩은 자체 개발한 sLLM을 토대로 올해 하반기 다양한 기업과 창작자들이 입맛대로 AI 캐릭터를 만들 수 있는 플랫폼을 출시할 계획이다. 앞서 스캐터랩은 국내에 챗GPT 돌풍이 불기 전인 지난해 10월 '이루다 2.0'을 내놨다. 이루다 2.0은 딱딱한 어투의 챗GPT와 달리 평균 0.04초의 빠른 속도와 재치 있는 입담을 무기로 출시 6개월 만에 사용자 150만명을 빠르게 확보했다.
신속한 미세 조정인 파인튜닝에 유리하다는 점이 주효했다는 분석이다. 또 서비스를 운영하면서 모델을 추가 학습시켜 성능을 빠르게 개선할 수 있다는 것도 장점이다. 이루다 2.0은 스캐터랩이 자체 개발한 sLLM '루다 젠1'을 기반으로 작동된다. 루다 젠1은 빠르게 생겨나는 신조어나 사회적 이슈에 대응하기 위해 데이터를 꾸준히 학습했다. 관계성에 특화한 파인튜닝도 거쳤다. 친밀한 관계를 만드는 대화 원칙을 AI 모델이 학습했다. 김종윤 스캐터랩 대표는 "AI 기술 경쟁은 모델 싸움에서 결국 독점적 데이터 경쟁으로 전환되리라고 본다"며 "데이터의 원천은 독자적 기술에 있기 때문에 스캐터랩도 장기적 관점에서 감성 대화에 특화한 데이터셋을 무기로 sLLM 개발에 투자하고 있다"고 말했다.
기계 독해 기술을 자체 개발해 다양한 산업군에서 상용화한 스타트업도 기업고객을 겨냥한 sLLM 개발에 뛰어들었다. 기계 독해란 AI가 글을 읽고 질문하거나 답할 수 있는 기술이다. 포티투마루는 지난 5월 'LLM42'라는 sLLM을 선보이고 국내뿐 아니라 해외에 기술 공급을 추진하고 있다. 스켈터랩스 역시 sLLM인 '벨라(BELLA)'를 개발하고 몇몇 기업에 서비스 공급을 논의 중이다. 기업이 내부 문서나 실시간으로 업데이트되는 이벤트성 정보를 빠르게 모델에 반영할 수 있도록 지원한다.
아울러 엔씨소프트는 연내 초거대 AI 모델인 바르코 출시에 앞서 자체 sLLM을 우선 공개할 것으로 알려졌다. 자체 sLLM을 테스트 베드로 삼아 이를 사내에 적용하고, 초거대 AI 개발에도 활용한다는 구상이다. 이런 AI 모델은 엔씨소프트가 연내 선보일 상호작용이 가능한 디지털 휴먼의 기반이 될 것으로 전망된다. 엔씨소프트 관계자는 "초거대 AI 모델, 소형 AI 모델과 관련해 시점, 규모, 사용 범위 등이 아직 완전히 확정된 것은 아니지만 게임 콘텐츠와 디지털 휴먼 개발에 순차적으로 활용할 계획을 갖고 있다"고 말했다.
이에 학계에서도 주목하고 있다. 스탠퍼드대 연구진이 70억개 파라미터를 갖춘 메타의 라마를 미세 조정해 sLLM '알파카'를 개발하는 데 불과 600달러(약 80만원)를 지출했다. 반면 1750억개 파라미터를 갖춘 오픈AI의 GPT-3는 학습에 약 1000만달러(약 132억원)가 투입됐다. 앞서 마이크로소프트 연구팀은 파라미터 13억개를 가진 새로운 코딩 특화 언어모델 '파이-1'이 그 100배 크기인 GPT-3.5를 일부 능가했다는 연구 결과를 발표한 바 있다.
< 링크 >
https://n.news.naver.com/mnews/article/009/0005162569