[Two Cents #67] Generative AI에 대한 오만가지 생각들
[Two Cents #67] Generative AI에 대한 오만가지 생각들
나의 투자 thesis에 많은 insight를 주는 Elad Gil이 Things I Don't Know About AI 에서 Gen AI 분야의 흐름이 어떻게 흘러 갈지, 그 과정에서 주요한 이슈들이 어떻게 펼쳐질 지에 대한 질문들을 던지고 있다. Gen AI와 같이 긴 호흡으로 엄청나게 큰 변화를 가져 올 기술의 흐름 한 가운데에서는 지속적으로 이러한 질문을 던지면서 답을 찾아 나가야 할 것으로 본다.
하여, 나도 Gen AI 분야를 깊이 지켜 보고 있는 투자자로서, 지난 몇 개월간 계속 머리 속을 맴돌던 생각과 질문들을 정리해 보았다. 주로 국내 시장 중심의 이슈, 시각이긴 하지만.
주요 키워드를 아래 5가지로 나누었다. 이 순서가 대략 현 시점에서 시장에 영향을 주는 비중 내지는, 시장에서 이슈가 도출되고 성숙되는 시간적 순서라고 보고 있다.
(MLOps/LLMOps, B2B AI 서비스 시장은 단기적으로 아주 빠르게 성장하며 중요한 큰 시장이 되겠지만, 이 시장 구조 및 흐름은 예측하기 어려운 큰 변수가 없을거라 보기 때문에 이 글에서는 특별히 다루지 않는다.)
LLM
Consumer AI App
Edge devices
AI 인프라
LLM
LLM 시장 구조
LLM 시장 구조가, 대략 SOTA 모델, 다양한 크기/형태/용도/구조의 mid-market LLM, on-device AI (SLM)의 세 카테고리로 나누어지는 것은 여전히 유효하고, 시장에서 각 segment의 구분과 역할이 이제 더 강화되고 있다는 판단이다.
결국 각 segment 내에서의 경쟁, 그리고 segment 간의 역할 구분이 핵심 질문이 될텐데 … 관심사 순서대로 이야기 하자면:
On-device AI의 비중 및 영향이 당초 생각보다 아주 커질 듯 하다.
(특히 B2C 서비스 진화 방향, AI infra 비용 측면의 영향을 포함하여)
올해들어 지난 3개월간 구글 Gemma, 마이크로소프트 Phi-3, 애플의 OpenELM/MLX 등이 연이어 발표되는 과정을 보면서, 또 이와 별도로 AI Infra의 비용 구조 및 economics에 대하여 deep dive해 보고, AI-native B2C 서비스 (소위 ‘2세대 모델’)이 어떻게 형성 되고 진화할 지에 대한 생각을 계속 하면서, 문득 이들 이슈 사이의 연결 고리로서 on-device AI의 의미, 잠재력을 느끼게 된 듯 하다.
10년 후에도 스마트폰이 소비자가 AI를 접하는 유일한 접점으로 계속 남아 있을 지는 의문이 크지만, 향후 등장 가능한 대안을 상상해 보더라도 적어도 향후 3-5년간은 스마트폰이 사용자의 주된 접점이 될 것으로 보인다. 이는 B2B, B2C 기존 서비스에 co-pilot 기능이 보강된 형태가 당분간 시장에서 큰 비중을 계속 차지할 것이라는 예상과 비견할만 한 구조이다. (적어도 [Two Cents #65]에서 예를 든 것과 같은 완전히 새로운 패러다임의 ‘AI-native B2C 서비스’ (’2세대 모델’)중심으로 시장이 완전히 전환되기 전까지는)
특히 (아직은 wild한 상상이지만) 올해 가을 아이폰16이 M1/M2급 NPU를 내장한 ‘AI 스마트폰’ 형태로 출시된다면, 향후 2-3년간 on-device AI 및 사용자 접점 AI 서비스 방식이 어떻게 전개될 지를 보는 중요한 단초가 될 수 있을 것이다. (아래 ‘Edge device’의 ‘AI PC’ 스펙에서 보듯이, 이제부터는 사용자 접점 edge device에서는 CPU-GPU에 NPU가 추가된 구조가 기본이 될 듯 하며, (이미 이 구조인 맥북에 이어) 아이폰이 그 첫 번째 대량 보급되는 device가 되는 것도 충분히 가능성이 있는 예상이다)
ChatGPT가 시장에 충격을 주며 등장하고 “chat UX 기반의 ChatGPT가 ‘AI 슈퍼앱’이 될 수도 있겠다”는 생각도 컸지만, 예상보다 chat UX가 보편화되지는 않으면서 아직 극초기 early adopter 이상의 B2C adoption이 일어 나지 않고 있고, plug-in/function call, GPTs 등의 다양한 시도도 (그 방식의 장기적 영향이 아주 클 것으로 예상되지만) 아직은 B2C 시장에서 의미있는 변화를 만들지 못하고 있다.
이는 사용자 접점에서 (웹 시대 Netscape 브라우저에 해당하는) 대중화를 위한 전환점이 아직 등장하지 않은 것으로 보이며, 이 상황에서 ‘AI 스마트폰’이 사용자 접점에서의 escape velocity 역할을 할 새로운 가능성도 있다고 본다. ‘AI 스마트폰’이 이러한 역할을 하게 되면, 자연스럽게 이 기반으로 앱스토어 혹은 아마존 Alexa skill store에 해당하는 앱스토어/포털/슈퍼앱 형태의 사용자 주된 접점이 만들어지기 시작할 것이다. (정확한 형태는 아직 추정하기 어렵지만)
어쩌면 AI 시대의 ‘Netscape moment’는 ChatGPT가 아닌 AI 스마트폰이 될 수도 있다는 생각이다.
또 다른 영향으로는, 만일 이 과정을 통해 end-user AI 니즈의 상당 부분이 on-device AI에서 해결되어 off-load될 수 있다면, B2C 서비스를 위한 클라우드 inference 비용이 상당히 줄어 들면서, 동시에 최근 몇 년 사이 성장 정체기에 들어선 스마트폰 시장 (혹은, 스마트폰을 대체할 AI device 시장)이 다시 큰 규모로 다시 성장할 기회가 될 수도 있을 것이다.
질문들:
on-device AI는 어느 플랫폼을 중심으로 시장이 만들어질까? 스마트폰, 새로운 AI device, (가능성은 낮아 보이지만) AI PC/맥북?
on-device AI가 ‘AI 내장 스마트폰’을 통해서 B2C 서비스 폭발의 기폭제가 될 수 있을까? 이렇게 되면, 아이폰/앱스토어, 안드로이드/구글플레이 같은 gatekeeping 주체는 누가 될까? 애플/구글 vs. OpenAI? 여기에 ’94년 (검색서비스 등장 이전) 디렉토리 서비스로 초기 폭발적 성장을 한 Yahoo! 같은 ‘갑툭튀’가 나올 가능성은 있을까? (대체로 부정적이긴 하지만)
on-device AI가 보편화되면 AI 인프라/클라우드 비중, 비용 부담 구조는 어떻게 변할까?
API 비용, ChatGPT subscription 등 end-user 비용의 상당 부분이 on-device AI에서 해결될 수 있다면 (기능은 당연히 클라우드 기반 LLM보다 떨어지지만), inference 비용 부담에서 자유로와 지면서 보다 자유롭고 실험적인 새로운 (장난감 같은) 시도들이 폭발적으로 등장할 수 있지 않을까? 그러다 보면 ‘세이클럽’ 같은 ‘갑툭튀’가 여기에서 등장하지는 않을까?
mid-market에서는, 아래의 2가지에 주목하고 있다.
OSS 모델의 시장 장악력:
OSS 모델 시장이 당연히 다양하게 폭발적으로 확대되고 있는데,
그중 Meta의 행보 및 향후 등장할 새로운 LLM 및 관련된 다른 무언가에 대해서 주목하고 있다.
Llama-3로 생각보다 빨리 시장에서 key player로 등장하였고, Llama-3 400B 모델 뿐 아니라 Llama-4가 어떻게 나올지에 따라 Meta이 ‘SOTA 5대장’에 낄 수 있을지가 판가름 날 듯. (고2까지 방황하며 헤매다 뒤 늦게 깨닫고 급 반성 & 빠르게 따라 잡고 있는 고3 느낌)
여기에, 이 글의 초안을 쓰는 동안 루머로 등장한 Microsoft MAI-1까지 가세하면, 이 시장도 조만간 큰 요동이 칠 듯.
질문들:
mid-market OSS 모델 시장의 경쟁 구도는 어떻게 진화할까? Meta/Microsoft + 100개의 경쟁사?
이 경우 ‘OSS 모델이 번들된 클라우드 서비스’는 commodity화 할까? 이와 함께 (API, 토큰) 가격은 지속 하락할까? (ARK Invest는 inference 비용이 연 평균 75% 하락할 거라 예상)
그렇다면 단기적으로 (TPU + GCP + Gemini가 결합된) Google이 시장에서 절대적인 경쟁 우위를 가질 가능성이 높고, Microsoft, Meta, Amazon은 각각 자체 AI chip + 클라우드 인프라 확충 + OSS/자체 LLM의 다양한 확충에 박차를 가해야 할 듯
현재 토큰 가격이 경쟁으로 지속 하락되고 있는데, 이 기반으로 건강한 생태계가 성장할 flywheel (AI app 서비스 확장 — 사용자의 적절한 인프라 비용 부담 — 인프라 확충 — 비용 하락 — 서비스 더욱 확장) 만들어질까?
이러한 flywheel이 만들어지면, 1년 후, 2-3년 후, 5년 후에는 인프라 공급 시장은 어떤 경쟁 구도가 되어 있을까? (클라우드 3대장 + 많은 value-add GPU 서비스 공급자들?)
AI Sovereignty:
각 국가, 언어권 별로 학습 데이터 확보, tokenizer 효율화등의 노력이 mid-market 중심으로 본격화되고 있고, 이는 2000년대 (구글 대비) 현지 검색 시장의 방어와 비견할 만 하다.
현재 미국에 비견할만 한 수준 및 규모로 LLM 개발이 진행되는 곳은 중국 뿐이고, 나머지는 일부 국가에서 자국/언어 시장을 위한 LLM들이 등장하고 있지만 시장 장악력 및 영향은 좀 더 지켜 보아야 할 듯 하다.
특히 최근 OpenAI의 일본 시장을 위한 모델 출시 행보를 보면, 2000년대 구글의 각 현지 시장 진출의 de javu를 보는 느낌. 돌이켜 보면 현지 검색 시장 방어에 성공한 시장은 동아시아 3국과 러시아 정도 뿐인데, 이번에도 비슷한 결과가 나올 지는 잘 판단이 되지 않는다.
질문들:
국내 플레이어에 의한 (SOTA 수준은 아니더라도) mid-market 한글 LLM 경쟁력은 어느 정도 될까?
현재 국내에서는 Naver 외 2~3곳 정도가 70B~100B 이상 규모의 모델 개발 pre-training 진행 중이고, 그 외에는 모두 OSS LLM의 fine-tuning 기반.
fine-tuning 모델은 기업용으로는 70-80% 만족도로 적용 가능할 듯 (검색, 요약은 어느 정도 충분하고, 생성은 어색한 한글을 참고 쓸 수 있는 정도) 하나, Consumer 앱/서비스에서는 부족할 것 (예: AI companion 대화 → “그래도 참고 쓸 수 있으려나?”)
(우리와 직접 비교하기는 어렵지만) ‘24년 1월 현재 중국 정부 승인 받은 LLM이 40개 정도이며, 이 중 Qwen, Yi, SenseNova 등 GPT-4의 성능을 넘어선 SOTA LLM이 다수 있고, 이 외에도 휴머노이드, Video/3D 특화된 SOTA LLM도 다수 있다.
그 외 대표적으로 알려진 Mistral (프랑스) 외에도 Aleph Alpha (독일), Sarvam (인도), AI21 (이스라엘), Falcon (UAE) 등이 있다.
중국 LLM의 한국 시장 영향 가능성? 거꾸로 우리가 다른 아시아 시장으로 진입할 가능성?
대표적으로 Qwen의 한글 능력은 GPT-4, Claude를 뛰어 넘는 것으로 보인다. CJK 문화권의 cross-lingual transfer가 어느 정도 작동하는 것으로 보이는데, 과연 이러한 특징이 동아시아권의 LLM 시장 형성에 어떤 영향을 줄까?
물론 중국 LLM은 양방향으로 다른 시장에서/으로 접근이 제한될 것이지만, 기술적으로는 중국 LLM이 준 OSS 형태로 다른 시장에서의 플레이어로 등장할 가능성도 있어 보임
OpenAI 일본 시장 진출을 계기로, 동아시아 시장에서의 SOTA, mid-market LLM 시장 경쟁 구조는 어떻게 될까? CLOVA X, Sakana AI등의 현지 플레이어가 시장 방어에 성공할까?
SOTA 모델은 예상대로 5개 이내의 key player 중심으로 시장이 형성되고 있다.
OpenAI, Google 외에는 Anthropic, 그리고 다크호스로 등장한 x.AI 정도가 현재 유효한 경쟁자들이고, Meta의 Llama-3 및 Llama-4 행보에 따라 SOTA key player가 될 가능성이 있어 보인다. (여기에 Microsoft MAI-1 추가)
또 하나, (GPT-4 대비 2-3 order of magnitude 더 큰 규모의) GPT-5가 조만간 출시될 것이라는 것에 대해서는 여전히 부정적이다. GPT-2 → GPT-3 → GPT-4로 진화하면서 매 단계 2-3 order of magnitude 규모로 성장한 과정은 이제 plateau에 도달했다는 판단이고, 이후에는 상대적으로 낮은 수준의 모델 규모 확대, (MoE, model merge와 같은) 효율화 기술을 결합한 형태의 새로운 모델 중심으로 다음 버젼들이 등장할 것으로 예상된다.
한글 LLM에 대하여
Claude 3, 한글 fine-tuning 모델 등으로 GPT-3/4 대비 한글 능력이 많이 좋아졌지만, 여전히 충분한 능력의 한글 LLM 부재가 다양한 한글 기반 서비스 확산에 가장 큰 걸림돌이 되고 있다고 본다.
(한글 특화 모델이 아닌) 일반 OSS/SOTA 모델의 한글 기능 중, 검색, 요약 등의 기능은 그래도 어느 정도 수준 이상으로서 한글 뉘앙스가 critical하지 않은 B2B app에서는 어느 정도 유용하지만, 생성 기능은 취약하여 특히 새로운 B2C 서비스가 등장하기에 충분한 한글 기능을 제공하지 못 한다.
Co-pilot 기능도 MS 365, Google Workspace co-pilot의 (기계 번역) 수준 이상의 한글/한국어 서비스가 없고, ‘이루다’ 등 niche 영역 외에는 한국어 LLM 기반의 다양한 B2C 서비스가 등장하지 못하고 있고, prompt engineering 기반 ‘GPT wrapper’ 수준 서비스, 한글 뉘앙스에 덜 민감한 기업용 앱, 아주 특화된 채팅 데이터 기반으로 fine-tuning된 채팅/Companion 서비스, (한글에 민감하지 않은) 이미지,AI 휴먼 등이 대종을 이루고 있다.
결과적으로 ‘지식 노동자 생산성의 획기적 향상이 가능해질 것’이라는 Gen AI의 가능성이 한글 영역에서는 아직 거의 발현되지 않고 있다는 판단이다. 느낌상으로는 기존 ML 기반으로 특화된 개별 서비스를 개발하던 것이 (예: OCR, form processing, 영상 인식, 번역 등) LLM 기반 환경으로 바뀌면서 (ML 모델 선택, 학습 데이터 준비 및 학습 등의 과정이 생략되기 때문에) 개발이 더 쉬워진 정도 수준의 일부 개선된 (incremental) 서비스가 주종을 이루고 있다고 본다.
더 나아가, 새로운 패러다임의 실험적 서비스 (예: 에이전트, 휴머노이드, 게임 플레이 등)에 LLM 적용하는 경우는 아직 보지 못 하였다.
질문들:
이를 극복할 수 있는 규모, 수준의 한글 LLM이 언제, 어느 플레이어에 의해 시장에서 확산, 보편화될 수 있을까? 현재 CLOVA X외 2-3곳에서 70B~100B 규모의 LLM을 개발하고 있는데, 이 들이 시장에 나오면 시장 형성이 교착된 듯한 현 상황에 대한 돌파구가 될수 있을까? 아니면, GPT-5/Gemini 2/Claude 4 정도의 차세대 SOTA LLM이 출시되면서 이 기반의 한글 기능이 현재 SOTA 모델의 영문 수준 정도 되어서야 비로소 한글 서비스 시장이 확산될 수 있을까?
이 외에도 30B~70B 규모의 OSS LLM을 fine-tuning한 모델이 B2B 중심으로 시장을 선점하고 있는데, 한글 pre-training부터 새로 구축한 LLM과의 경쟁 구도는 어떻게 펼쳐질까? B2B, B2C 각각 다른 패턴이 될 듯 한데.
이러한 적절한 규모/성능의 ‘LLM 기반 한국어/한글 서비스’ 부재가 얼마나 더 지속될지? 이러한 상황이 2-3년 더 지속되면 국내 Gen AI 시장/환경에 어떤 영향을 줄까?
B2C 기회
현 단계 글로벌 시장에서 이미 상당한 매출과 성장을 기록하는 AI 서비스들은 아래와 같다. (AI/클라우드 Infra, LLM chatbot/API 제외)
언어가 아닌 분야로서 상당한 지적 노동력을 필요로 하는 작업으로서 LLM이 native로 잘하는 작업 (이미지, 동영상, 3D, 음성, 코딩, 번역 등): Midjourney, Pika, HeyGen, Eleven Labs, Github Copilot 등
Vertical AI: 법률, 세무 등 (이 역시 상당한 지적 노동력을 필요로 하는 작업으로서 LLM이 native로 잘 하는 작업군으로 볼 수 있다)
(영어 중심의) 범용 (horizontal) co-pilot 서비스: Office 365/Google Workspace, Adobe Firefly 등
그 외 유형의 서비스 중 매출이 잘 성장하는 것은 아직 본격 등장하지 않았다.
이는 글로벌 시장에서도 아직 B2C 서비스 분야에서도 본격적 전환이 일어나지 않고 있다는 것을 의미한다고 본다. 2024년 Gen AI 시장에 대한 몇 가지 예상에서 설명하였듯이, 기존 Big Tech 중심으로 (기존 서비스에 co-pilot 형태로 추가된) ‘AI-augmented’ 서비스의 범위와 규모가 당초 예상보다 더 넓고 더 깊고 더 길게 진행될 것으로 보고 있지만, 그렇다고 이런 유형의 서비스가 5-10년 후에도 시장의 대세로 남아 있지는 않을 것이라는 판단이다.
그러면, Consumer AI App 시장은 어떻게 형성되고 성장해 나갈까?
Consumer AI App
Coatue의 AI Report에서 새로운 B2C 서비스 등장에 대하여 주목할만 한 2가지 포인트가 있다.
첫 번째 슬라이드는, “새로운 기술에 의한 완전히 새로운 패러다임의 서비스의 등장과 성장은 새 기술에 기반한 새로운 behavior 등장에 수반된다”는 점,
그리고, 두 번째 슬라이드는 “큰 기술 흐름에 의한 시장의 큰 변화는 대체로 2번의 wave에 걸쳐서 일어난다”는 점이다.
질문들:
첫 번째 wave의 Consumer AI app은 어떤 모습으로 등장할까?
기존의 (사용자 요청 — 시스템 응답 방식의) ‘reactive UX’ 방식이 유지될까?
Agent, Proactive Assistant가 결합하는 새로운 UX 방식이 등장하기는 할까? 그렇다면 어떻게 등장할까? 여기에 (Siri같은) on-device AI 기반의 AI Companion이 결합하면 또 어떻게 변할까?
Gen AI 분야의 “Netscape moment”는 언제로 보아야 할까? ChatGPT? 아니면, on-device AI가 내장된 아이폰이 나올 때? 아니면, (ChatGPT 외에) 새롭게 1억명의 사용자를 모으는 새로운 유형의 AI 앱/서비스가 등장할 떄?
“B2C 앱/서비스 방식의 완전한 변화 (end of B2C app, AI super app, 1회용 앱/서비스, end of programming), 실제 이런 변화가 일어나기는 할까? 일어난다면 언제, 어떻게? 이 경우 3-5년 후 시장은 어떤 모습이 되어 있을까?
entertainment, 게임 분야에서는, 어떤 형태의 ‘완전히 새로운 놀이 방식’이 등장할까? passive vs. active 엔터테인먼트 분야에서 각각 다른 패턴으로 나타날 듯 한데.
B2C 서비스의 등장과 진화에 대하여:
Gen AI로 비로소 가능해지는, 기존에는 가능하지 않았던 새로운 사용자 behavior는 어떤 것이 있을까? (이 것이 첫 번째 wave의 서비스들을 규정할 것)
이 첫 번째 wave의 killer app은 어디/어느 분야에서 나타날까? (웹 시대에는 community, social 에서 시작되었다고 본다) 특히, 국내 시장에서 기대하고 있는 이 분야의 “Gen AI 시대의 ‘세이클럽’, ‘한메일’”는 어느 시장에서 어떤 형태로 등장할까?
이후, 두 번째 wave에 의한 새로운 유형의 behavior는 어떤 것들이 가능해질까? (약 10년에 걸친 먼 미래의 이야기이긴 하지만, 우리가 지금 경험하는 Tik Tok같은 새로운 세대의 앱/서비스는 이 시기에 등장할 것이다)
게임을 포함하는 넓은 의미에서의 엔터테인먼트 시장, 특히 passive vs. active entertainment는 각각 어떤 형태로 등장할까?
‘게임’ / ‘엔터테인먼트’ 시장은 어떻게 모습이 바뀔까? 지금은 콘솔 게임, MMORPG, 캐주얼 게임 등으로 나누어지는데, 이 것이 특정 modality, 특정 인프라/디바이스, 기존 게임 방식을 넘어 서는 새로운 방식의 엔터테인먼트로 바뀌지는 않을까?
(Web3 게임에서는 게임/엔터테인먼트 방식 자체의 변화보다는 기존 게임/엔터테인먼트 체제 내에서 NFT 기반의 ownership에 집중한 데 반해, 이를 뛰어 넘는, 새로운 방식, modality의 엔터테인먼트가 등장해야 할 듯)
위의 상상이 앞으로 5년 후의 모습을 그리는 것이라면, 앞으로 1-3년 간은 어떤 전환 과정을 거칠까?
기존의 B2C 서비스는 앞으로 3년간 어떻게 바뀌어 갈까? 그리고, 그 서비스들이 3년 이후에도 생존할 수는 있을까?
만일 “AI 내장된 아이폰16”가 등장하여 on-device AI가 생각보다 빨리 확산된다면, 그래서 3년 내에 10억대의 ‘AI 아이폰’이 보급된다면, Consumer AI app에는 어떤 변화가 일어날까? (현재 아이폰은 연간 2.5억대 정도 팔린다)
여기에서 첫 번째 killer app은 어느 것이 될까? 챗봇 AI companion? 더 스마트한 Siri?
Siri 뒤에 plug-in, function calling 등의 형태로 연결될 다앙한 B2C 서비스들은 어떤 것들이 등장할까? (ChatGPT plug-in 데모에는 Hotels.com, Instacart가 있었다)
기타 몇 가지 B2C 질문
그 외 몇 가지의 관련 질문을 더 하자면:
Co-pilot 서비스 관련
현재는 B2C 앱에 대개 co-pilot 기능에 집중되어 있는데, 이들 co-pilot 서비스들이 3년 후 얼마나 우리의 일상 생활에 pervasive하게 보급되어 지속적으로 사용되고 있을까? 정말 서비스 및 지식노동자에게 충분히 의미있는 서비스가 될까?
Co-pilot 서비스 활용이 당분간 계속 주종을 이룬다면, (Microsoft, Google, Adobe 등의) 기존 Big Tech 영향이 당초 예상보다 깊게, 오래 간다는 의미인데, 이는 얼마나 오래, 깊게 지속될까?
지식노동자 생산성 증대는 co-pilot으로 끝나는걸까? Consumer 향 새로운 서비스 등장으로 다시 B2B 분야에서도 기존과 완전히 다른 새로운 방식, modality가 등장할까?
Inference 비용과 B2C playbook에의 영향
Inference 비용은 대규모 B2C free trial 서비스를 거의 불가능하게 함으로써, 지난 20여년간 유지되어 온 “무료 사용 기반 사용자 유입 및 서비스 확장” playbook이 더 이상 유효하지 않게 되었다. 그러면, Gen AI 시대 B2C 서비스 성장에 필요한 새로운 playbook 있을까? 있다면 어떤 형태일까? 이 playbook 기반으로도 B2C, Consumer 대상 시장이 (지난 20년과 같이) 지속 성장해 갈 수 있을까? (특히 1990년대 말 시작된 20여년에 걸친 Easy Money의 시대가 이제 막 끝나가고 있는 macro 환경에 비추어 볼 때)
이러한 변화는 B2B 서비스에는 대체로 큰 영향은 없을 듯 하지만, (self-serve 유형) B2B co-pilot 서비스에서는 초기 확산에 방해가 될 것. (MS, 구글 등의 인프라 플레이어가 큰 초기 비용을 부담하지 않는 한)
여기에 Adobe, Github Copilot 등 (비용 내고 바로 사용할 incentive가 충분한) 전문가 영역은 해당되지 않을 듯
2024년에 주목하는 변화
이 맥락에서 2024년에 등장한 새로운 것들 중 주목하는 몇 가지를 꼽자면:
Agent: Andrew Ng이 “2024년의 AI Agent의 해가 될 것”이라고 전망하였고, 실제로 Daven이 시장에 크고, 다양한 파장을 일으키고 있듯이, 2024년에 등장하는 Agent 기반의 새로운 유형의 툴, 서비스는 이후 등장할 B2B/B2C AI 서비스에 가장 큰 변화를 가져 올 방식이 될 것으로 본다. 여기에 (예상보다 빨리) Proactive Assistant 방식도 (아직 해커톤 수준이지만) 이미 등장하기 시작한 것을 보면, 에상보다 빨리 기존 UX 방식과 다른 새로운 소위 ‘2세대 모델’ 서비스가 등장할 수도 있다.
Embodied AI: 다양한 휴머노이드 로봇, 게임 플레이하는 AI 등의 embodied AI가 에상보다 빠른 속도로 개발되고 있어서, 이 분야도 향후 3년간 예상보다 빠르게 큰 변화를 가져 올 듯 하다.
Plug-in + function call + “code interpreter”: Vercel AI SDK 3.0은 ‘23년 ChatGPT 기반의 새로운 방식 3가지 (plug-in, function call, code interpreter)를 모두 활용하여 AI 앱/서비스를 개발할 수 있는 개발 환경을 제시하여, 이 기반의 새로운 형태의 B2C 서비스가 본격화하는 첫 걸음이 되었다. 이는 “B2C 앱/서비스 방식의 완전한 변화 (end of B2C app, AI super app, 1회용 앱/서비스, end of programming)이 본격화될 수 있다는 것을 의미하며, 이 것이 어떠한 새로운 서비스 형태로 나타날지 앞으로 1-2년정도 주목하고 있다. (최소한 GPTs 방식의 prompt store는 아닐 것으로 본다)
Edge Device
Edge의 AI device가 어떤 형태로 등장하고 진화할 지 상상하는 것은 아직은 가능하지 않다.
그렇지만 Microsoft의 AI PC 스펙을 보면 몇 가지 참고할만 한 게 있다.
CPU - GPU에 NPU 추가 (Macbook에서는 이미 M1/M2/M3 NPU 내장으로 보편화된 구조이긴 하다)
NPU 최소 요건은 40 TOPS로서, Microsoft co-pilot 기능이 (클라우드 연결 없이) inference 동작 가능해야 한다.
나는 이 AI PC 스펙 자체가 시장에서 어떤 영향이 있을지는 의문이 크다.
그 이유로는, (1) PC가 AI를 접근하는 주된 edge device가 될 거라는 가정인데, (Office 365) co-pilot 외의 use case에 대해서는 동의하기 어렵다, (2) AI PC referenece 디자인 스펙이 시장에서 어떤 효과가 있을지 잘 모르겠다. (맥북에는 M 시리즈 NPU가 노트북에 번들된 지 이미 몇 년이 되었다.) 기억하는 사람이 거의 없겠지만, 90년대 초반 역시 마이크로소프트 주도로 정의하였던 ‘멀티미디어 PC’ 스펙이 de javu로 떠 오른다.
하지만, AI PC 스펙이 가지는 가장 중요한 의미는 “**기본 co-pilot 서비스는 클라우드 연결 없이 edge device에서 동작하는 것을 기본 전제로 한다”**는 점일 것이다. 이에 따라 앞으로 시장에서는 edge device에서는 클라우드 연결 없는 on-device AI를 기본으로 전제하게 될 것이며, 이는 edge device 자체 뿐 아니라 AI infra, LLM 시장 구조, Consumer AI App을 포함하는 모든 layer의 구조 및 비즈니스 구조에 큰 영향을 미칠 것으로 예상된다.
이 기준에 따라 대량 확산될 첫 번째 edge device는 ‘AI 내장 스마트폰’이 될 것으로 예상된다. (위의 ‘LLM 시장 구조 - on-device AI’ 참고)
‘AI 내장된 스마트폰’이 on-device AI의 주된 플랫폼이 될까? 이때 애플, 안드로이드의 시장 장악력은 어떻게 변화할까? 만일 스마트폰이 당분간 주력 on-device AI가 되면, 앱스토어 역할을 하는 AI app store는 어떤 형태가 될까?
그러면, ‘AI 스마트폰’ 이후 의미있는 시장 규모를 가지는 다른 edge device가 과연 등장할까? 언제, 어떤 형태로? (Humane AI Pin, Rabbit 모두 너무나 동떨어진 첫 시도들이어서 이들이 시장에 잘 정착할거라 믿지는 않는다)
AI 인프라
AI 인프라에 대해서는, (1) GPU 부족, (2) 향후 예상되는 전력 부족 (마이크로소프트의 경험 상, 10만개 GPU 클러스터를 감당할 수 있는 electric grid가 미국 어디에도 없다고 한다) 등이 최근 주요 이슈로 부상하고 있고,
이와 함께 비즈니스 이슈로는, (1) 토큰/inference 가격 경쟁 및 AI 클라우드 서비스의 경제성, (2) 클라우드 3대장 (AWS, GCP, Azure) 중심으로 한 AI 클라우드 시장이 어떻게 변화할까, (3) 단기적인 GPU 부족으로 인하여 ‘GPU cloud provider’가 급부상하고 있는데, 이들이 지속가능한 경쟁력과 수익 구조를 만들 수 있을까, 등의 이슈가 있다.
한발 물러서서 시장 흐름을 보면, 현재 AI 인프라 관련 논의는 90년대 후반의 통신사 인프라 및 IDC가 클라우드로 진화한 것과 비슷한 궤적을 밟을 것으로 보인다.
90년대 통신사/IDC 시장 흐름으로 돌이켜 보면, infra 공급사 간의 기본 경쟁 시장 구도가 바뀌지는 않았다. 중간에 Akamai 등의 tech 기반 niche player가 등장하였고 아직 시장에 존재하지만, 시장의 흐름을 바꿀 정도의 주된 세력이 되지는 못 하였다. 이 과정에서 전체 value-chain에서 차지하는 비중은 90년대 중반 대비 상대적으로 아주 작아졌지만. (요즘의 CoreWeave, Together 등과 비교해 보면 비슷한 느낌이다. 하지만, 이들 GPU 클라우드가 Akamai 정도의 value prop 차별화를 만들고 있는 지에 대한 의문이 여전히 있다)
이 결과에 비추어 보면, 10년 후 쯤 AI 인프라도 보편적인 infra화 되면서 commodity화 될 것으로 예상할 수 있다.
상대적으로 AI 인프라의 value accrual은 전체의 30% 정도를 차지하면서, IDC/클라우드 인프라의 10% 대비 높은 비중을 가져 가겠지만, 장기적으로는 AI 인프라 역시 IDC 인프라와 마찬가지로 commodity화 되어서 그 차별화는 크지 않을 것으로 예상된다. 특히 on-device AI가 예상대로 클라우드 없이 동작하는 것을 기본을 한다면, 전반적인 AI 클라우드 인프라의 commodity화는 더 가속화될 것으로 예상된다.
10년 후에도 글로벌 major 3사 (+ 몇 개 upstart) 중심으로 시장이 유지될까?
(on-device AI의 장기적 영향이 어떻게 될 지에 따라 상당히 가변적일 듯 하지만) 현재까지의 예상으로는 아마 그럴 듯 하다. AI 인프라의 commodity화는 AWS, GCP, Azure 3사 공급사가 시장을 계속 주도해 갈 것으로 보이며, 국내에서는 여기에 (지금과 마찬가지로) 2-3개의 second-tier 국내 플레이어가 더해질 듯. 2000년대 중반과 같이 AWS 같은 ‘갑툭튀’가 또 등장하지 않는 한.
Web3/crypto 기반의 incentivized decentralized inference infra가 장기적으로 AI infra 시장에서 10% 이상의 의미있는 비중을 차지할 수 있을까?
현재 생각은 그럴 것 같지는 않다. 시장에서 어느 정도 자리를 잡더라도, inference 시장에서 10% 내외 점유율을 차지할 가능성은 어느 정도 있지만, pre-training시장에서는 가능성이 아주 낮다고 본다.
Inference chip 시장의 방향은 어떻게 될까? Nvidia + 인텔/애플/퀄컴/AMD 등이 NPU AP 시장을 나누어 가질까? 아니면, inference chip 시장 역시 commodity화 할까?
반도체 시장의 특성 상 복수의 경쟁사 사이에 commodity화 되지는 않을 듯 하고, 어느 정도의 시장 consolidation이 일어날 듯 하지만, 그 시장 구조가 어떻게 될 지에 대해서는 전혀 예측할 수 없다.
또 하나의 변수는, on-devive AI가 보편화 되어서, 전체 inference의 50% 이상이 edge device에서 일어난다면, inference chip 시장은?
시장 흐름에 대한 상상
이러한 생각들을 기반으로 국내 시장의 흐름에 대한 상상을 해 보자면:
(이러한 예측이 얼마나 의미없고 위험한 것인지는 잘 알지만…)
2024년
LLMOps 기반 B2B 중심: horizontal, vertical 모두 다양한 결과물들이 나오기 시작
한글/국내 LLM 시장 구도가 잡히기 시작하고, (어리버리하게) 글로벌 시장 따라 가기 버거워 하던 상태에서 좀 숨을 돌리는 상태가 될 수 있고,
이 기반으로 새로운 B2C 서비스 싹이 몇 개 보일 수도 있으나, 시장에 큰 영향을 미치기에는 아직 이를 듯
2025년
국내 LLM player 시장 구조가 가시화되기 시작할 듯 (local vs. global, SOTA vs. mid-market, 한글 능력은 어느 LLM에서부터? (비교 느낌: 네이버, Yahoo! Japan의 검색 시장 경쟁/방어))
실험적/시장에서 traction이 보이는 주목할만 하게 급성장하는 B2C 서비스가 몇 개 등장
엔터테인먼트, 소셜 분야의 ‘갑툭튀’ 등장 예상/기대: ‘세이클럽’, ‘리니지’ 같은 시장 파급 효과를 가질 수 있는 (어쩌면 ‘26년이 될 수도)
2026년
이제까지 없던 유형의 B2C 서비스가 봇물처럼 터지기 시작하지 않을까 하는 기대가 있으나,
큰 기대를 가질 수 있는 영역은, 여전히 엔터테인먼트, 소셜 분야 중심이 되지 않을까 싶고.
B2B, infra 시장은 대략 시장의 major player가 자리를 잡고, 이 구도가 장기화될 가능성 높음. 여기에는 글로벌 플레이어 (예: Google, Microsoft) 포함. 이들은 (과거의 웹 역사에서보다) 큰 비중을 차지할 가능성 높아 보임
그 외 정리 안 된 질문들
Productivity/entertainment/content creation … + AI
Not just copilot, but push tools to its max potential with new AI-enabled modalities
Not marginal improvement, but "think one-step further" in behavior, economics …
Evolution of co-pilot features (Tik Tok AI creator, "type a script, get a movie", music creators …) → new mode of social, content creation, marketing, entertainment … → Gen AI 시대의 "YouTube/Tik Tok/Instagram"?
Entirely new "things" as long-term games, based on entirely new "economics" & "behavior" not possible before
Robotics/humanoids, understanding surroundings → labor, traffic, urban planning
Game-playing AI → entertainment, social
AGI → 그럼 무엇이 가능해질까? 무엇이 어떻게 바뀔까?
Gen AI 시대에는 보다 과감한 상상력이 더 중요한 시대가 되지 않을까 한다.
Good luck & Bon Voyage!