검토 제안 모델
업스테이지의 솔라(SOLAR)
•
글로벌 생성 AI플랫폼 ‘Poe’의 메인 모델은 OpenAI ChatGPT, Google PaLM, Meta LLaMa, Anthropic Claude 등 4개사 LLM만 기존 리스트에 있었는데 국내 LLM 모델 최초로 Poe의 메인 모델로 등록되었음
•
기업 데이터를 학습해 프라이빗 LLM 지향
•
내부데이터 유출 우려와 잘못된 장보를 제공하는 환각현상을 해결할 수 있는 대안으로 주목받고 있음
•
경량화된 모델로 기업들이 정확도와 보안을 높이면서 도입와 운용 비용을 크게 절감할 수 있다고 함
•
최근 커넥트웨이브, 롯데쇼핑과 생성AI 서비스 적용 협력 등 시작
•
한화생명, 삼성생명 KB 등 금융권과 포스코, KT, LG유플러스, 롯데온, 브랜디 아모레퍼시픽 등 기업들과 협업하고 있음
•
이커머스와 유통업계에서는 솔라모델활용하여 고객 맞춤형 마케팅, AI기반 고객 상담, 수요 예측 기반 자동 발주 시스템 등 적용할 계획
•
GPT-4보다 수학분야에서 뛰어난 결과를 보여준 콴다(QANDA)의 AI Tutor Poly도 11월부터 업스테이지의 AI를 사용한다고 합니다.
◦
콴다에서는 연구의 일환으로서, 사용된 데이터는 약간의 가공을 거쳐 Huggingface에 공개 예정
IBM의 왓슨X
•
10여년 전 화제를 모았던 왓슨 브랜드를 활용해 기업용 AI플랫폼 ‘왓슨X’를 출시
•
내부 정보 유출을 막기 위한 AI모델을 쓰려는 대기업 고객의 수요를 겨냥
•
1000여명 규모의 컨설턴트를 배치하고 많은 모델이 만들어질수록 컨설팅 필요성 줄어들 것으로 전망
•
2023년 7월 부터 일반 기업을 대상으로 서비스를 확대
SK텔레콤의 에이닷
•
2023년 6월 AI모델 ‘에이닷’의 대규모 업데이트(180억 파라미터 규모의 자체 LLM을 390억 파라미터 규모로 업그레이드)
•
언어 모델 고도화의 핵심기술인 인간 피드백 기반 강화학습(RLHF)을 활용해 AI 모델을 진화시킬 계획 언급
•
‘이루다’를 만든 스캐터랩 지분 투자하여 자연스러운 감성 대화가 가능한 AI에이전트를 출시 예고
EleutherAI의 폴리글랏
•
초거대 인공지능(AI) 모델이 오픈소스로 공개되면서 이제는 사업 아이디어만 있으면 누구나 AI로 비즈니스 할 수 있게 ‘폴리글롯 한국어’를 10월 공개함
•
기존에도 네이버(하이퍼클로바), 카카오(KoGPT), LG(엑사원) 등이 이 같은 한국어 모델을 내놓았지만 상업적 용도로도 쓸 수 있는 완전한 '오픈소스'를 내놓은 것은 처음
소결론
•
지난 21일 저녁 Opensource 관련 이벤트에 갖다왔습니다. 카카오, 카카오모빌리티, 그 밖에 LG와 삼성(타이젠OS), ETRI 등에서 여러 저명한 교수님들과 오픈소스를 개발하신 이력이 있으신 분과도 얘기를 나누어 보았습니다. 카카오도 100개 이상의 오픈소스를 사용하고 있고 오픈소스를 잘 사용하기 위해서 오픈소스를 관리하는 Opensouce governance 부서가 따로 운영되고 있다고 합니다. 그리고 좋은 오픈소스인데 잘 모르는 오픈소스도 많아서 못쓰고 있기도 하다고 합니다.
•
같이 네트워킹했던 대다수가 GPT가 정확히 사람의 말을 인지하는 것이 아니라 단어를 인덱스 배열로 뿌려준다는 의견에 동의하는 것 같았습니다. 실제로 GPT-3가 화제가 된 것이 단어를 숫자 인덱스로 저장하여 처리하니 처리속도가 기하급수적으로 빨라져서 거대모델이 탄생하게 된 것일뿐, 아직 사람과 같은 원리로 대화를 통해 학습하는 것은 아니라고 생각합니다.
•
오픈소스는 전세계 수많은 사람들이 참여한 만큼 퀄리티가 보장되어있으며, 가장 많이 투자하고 기여하는 곳이 대기업들입니다.
•
개인적인 의견으로는 정신과에 특화된 목적과 스마트폰에서도 잘 돌아가고 데이터 보안에도 문제가 없는 sLLM 파인튜닝의 방향이 개인이 접근할 수 있고 리소스도 많이 줄이면서 서비스 설계에 더 집중할 수 있게 있게 할 것으로 보입니다. 대기업 규모의 리소스 없이 특화된 AI를 만든다면 업스테이지의 솔라가 좋은 시도해볼만한 방법이라고 생각합니다.
•
AI연구에 관심있는 사람들은 상업적 용도로도 오픈소스인 폴리글랏을 여러가지 용도로 사용해봐도 좋을 것 같습니다.
Reference
•
sLLM은 보통 파라미터가 60억(6B)~100억(10B)개로 저비용, 고효율 강점
•
OpenAI GPT-3 파라미터 1750억개
•
Google LaMDA 파라미터 1370억개
•
Google PaLM 파라미터 5400억개
•
2023년 7월 18일에 Meta LLaMa 2를 오픈소스로 공개
•
AI쪽에 조금 더 깊이 알고자 하면 GNN(Graph Neural Network)과 Knowlege graph에 대해서 알아두시면 좋을 것 같습니다.
•
Cloud Barista도 추천해주셨었는데 이것도 어떤 원리인지, 적합한지 살펴보아야 할 것 같습니다.