[Two Cents #95] Consumer AI 잡 생각 — “완전히 새로운 소비자 AI Stack”
배경
B2B AI 환경에서 Token Maxxing이 한때 유행하는 meme 키워드가 되었지만, 이후 시장은 급격히 모델 라우터, 특히 스마트 라우터에 주목하기 시작했다. OpenRouter의 Fusion Router, Ramp의 사내 툴을 공개한 Ramp Router가 대표적인 예. (이제 Coinbase, Shopify 규모의 회사는 토큰 비용 절감을 위한 스마트 라우터를 내장한 자체 코딩 에이전트를 직접 만들어서 Claude Code와 병행하여 사용하는 것이 추세가 될 정도)
Ramp Router는 비용 최적화를 위한 라우팅인 반면, Fusion은 ‘최적의 결과’를 도출하기 위한 것이라는 주된 목적의 차이가 있지만, 기본적으로 (MoE 구조의 model router와 비슷한 구조로) “요청을 그 내용에 따라 ‘적절한’ 모델에게 보내고 그 처리 결과를 받아서 이를 취합/조정하여 결과를 제출”하는 역할을 한다.
B2B 환경에서는 토큰 가격 효율화 대비 AI로 인한 업무 효율화 사이의 비용 효율 분석이 필수적이라, ‘비용’이 현재까지는 가장 주목받는 ‘적절함’의 기준이 되고 있다. 전반적인 모델 성능 향상에 따라 (end-to-end 코딩등 일부 업무를 제외한) 대부분의 일상 업무는 SOTA 모델이 아니더라도 충분한 성능을 보이고, 특히 agent 기반의 harness engineering, loop engineering에 의해 모델의 성능보다 harness 성능이 더 중요하게 됨에 따라, 이제 기업들은 ‘비용 효율’적인 모델 적용에 관심을 더 기울이게 된다.
이러한 경향은 Consumer AI에서도 비슷하게 나타난다.
현재 단계에서의 소비자 use case를 보면, AI에게 (’검색’이 아닌 ‘answer machine’으로서) 답을 구하는 형태의 (구글 AI Overview 수준의) AI 검색이 대부분을 차지하고 (아마 60~70% 정도?), 개인 워크플로우의 (OpenClaw/Hermes agent 등을 통한) 자동화가 이제 막 시장에 등장하기 시작하였고 (아마 20~30% 정도?), SOTA 모델이 꼭 필요한 작업은 심층 리서치, 대량 (법률) 문서 분석, 책 저작 등 일부 케이스로 국한될 것이다 (최대 10% 정도?). (시간이 지나면서 소비자도 agent에게 개인 작업을 맡기는 것이 보편화되면, 이 비중은 점차 20~30%, 60~70%, 10% 정도로 바뀌지 않을까 예상한다.)
이러한 사용 패턴에서, AI와 대화할 때마다 혹은 일을 맡길 때마다 ‘내가 어떤 모델을 써야 적절할까?’를 매번 선택하는 UX가 앞으로도 지속될지에 대해서는 상당히 의문이 크다. (나도 ‘단순한 답을 찾기 위한 AI 검색’을 하면서 Opus 5, 심지어 default 설정된 Fable 5로 진행하고는 ‘아, 토큰 가격이 아까운데 매번 모델을 바꾸기도 번거롭고…’ 생각한 경우가 많다.)
현실적으로 보면, 기업 환경과 마찬가지로 일반 소비자 환경에서도 필요에 따라 각각 다른 수준의 모델로 트래픽을 라우팅해주는 구조가 점점 보편화될 것으로 예상된다.
소비자 inference stack
이러한 소비자 use case를 기반으로, 앞으로 소비자를 위한 inference stack이 어떻게 구성되고 진화할지 상상해 보면:
대부분의 소비자는 이미 $1,000 대 스마트폰를 하나씩 휴대하고 있고, 이는 3B 규모 SLM을 구동하는데 충분한 컴퓨팅 파워를 갖추고 있다. 이 Edge 환경에서 SLM과 모델 라우터가 동작하게 된다면,
소비자의 니즈 중 50~60% 내외를 차지할 간단한 요청은 Edge SLM이 처리 가능힐 것이고 (물론 ‘answer machine’으로서 답을 찾기 위한 실시간 웹 검색 등의 추가 작업은 필요하다),
나머지 40~50%는 클라우드 기반의 중간 규모 오픈소스 모델 및 SOTA 모델로 적절히 라우팅하여 처리될 것이며 (OpenClaw/Hermes 구조의 agent를 포함하여),
이중 실제 Opus/Fable 급 SOTA 모델 성능이 필요한 작업은 10%는 넘지 않을 것이다.
추가로, 모델 성능의 지속적인 개선 속도를 고려하면 전체 요청 중 상위 모델로 라우팅되어야 할 작업의 비중은 시간이 지나면서 지속적으로 더 작아질 수 있다. (첨언: Javons’ Paradox에 의해 소비자 계층에서도 상위 모델 성능을 필요로 하는 작업의 양도 계속 늘어날 것이며, 이에 따라 각 모델 계층별 비중이 크게 바뀌지는 않을 듯 하다.)
(첨언: 소비자를 위한 Edge AI 환경으로서, PC/랩탑은 스마트폰 보다는 컴퓨팅 성능이 더 좋은 편이지만, 대부분의 시간 동안 랩탑과 PC는 꺼져 있을 가능성이 높기 때문 오히려 스마트폰보다 적절하지 않을 수 있다. )
이러한 구조와 use case를 고려하면, ‘소비자를 위한 AI inference 구조’가 아래와 같이 만들어질 수 있다.
SLM: 소비자 소유의 edge device (스마트폰, PC) 기반. 현재 3B, 1~2년이내 10B 규모 가능. 소비자 요청의 50~60% 정도를 local로 처리. Inference 비용 필요 없음.
중간 규모 LLM: 현재 100B 이내, 1~2년이내 300B 규모 가능. 소비자 device (Mac Mini/Studio급) 혹은 클라우드 기반 server instance로 운용. (device/server instance 비용 이외의) inference 비용 필요 없음. 추가로 사용자 ‘개인 AI Agent’ 환경도 같이 운용 가능.
이 경우, 추가 inference 비용이 없다는 점을 뺴면 ChatGPT등의 챗봇을 계속 사용하는 것과 소비자가 느끼는 기능상의 차별화는 없지만, 사용자 ‘개인 AI Agent’ 운용이 가능하다는 점을 고려하면 훨씬 비용 효율적 환경이 된다.
SOTA: 100B/300B 이상 모델 접근. API 기반 usage-based?
추가로, 중간 규모 LLM 서버에서는 (OpenClaw/Hermes agent 구조의) 사용자 ‘개인 AI Agent’ 환경도 같이 운용 가능하다.
동시에 이 서버는 (현재 Google Drive, Dropbox 형태로 클라우드에 저장되어 있는) 소비자 PC/랩탑 상의 파일 저장소 역할도 같이 하면서, 사실상 PC/랩탑을 대체하는 디바이스 역할을 할 수도 있다. 실제 나의 경우, 파일의 대부분을 Dropbox에 저장해 둔 상태에서, 특정 랩탑을 써야 하는 이유는 local로 저장된 개인화 설정 및 문서 작업 외에는 특별히 없다. (Notion, Google Docs 문서 환경에서는 개인 PC가 필요한 이유가 더 없어진다.)
추가로, AI agent와 연동되어 소비자의 대부분의 행동 기록을 저장하는 personalization data layer가 이 서버에 같이 구축이 된다면 사실상 개인 PC/랩탑의 필요성은 거의 없어진다.
첨언:
게임 플레이는 좀 다른 성격의 전용 환경을 필요로 하지만, Roblox류의 플랫폼 기반 게임 플레이가 보편화된다면 게임 플레이도 마찬가지 구조가 될 수도 있다.
물론 이러한 환경을 사용하는 사용자는 전체 사용자의 많아야 5% 이내일 것이고, 아마 1% 수준에 그치겠지만, 이런 환경이 가능해진다는 것은 이러한 인스턴스를 묶어서 소비자에게 제공해 주는 플랫폼 서비스도 런칭이 가능하다는 의미가 된다. 사용자가 개별 서버를 보유하고 운영하는 형태일지는 아직 확실하지 않아도.
그럼, 소비자 환경은 어떻게 바뀔 수 있을까?
이러한 구조 변화에 따른 소비자 디바이스/환경의 변화를 좀 더 상상해 보면:
Edge Device:
가장 먼저 Edge Device 환경의 지속성에 대하여 의문이 생긴다. 사용자가 $1,000짜리 스마트폰을 지금처럼 1~2년 주기로 매번 교체해가며 계속 가지고 다녀야 할지에 대한 의문이 가장 먼저 든다. (이제 스마트폰은 매년 기변하기에는 너무 비싼 장비가 되어 버렸다.)
현재와 같이 모바일 앱을 통해 대부분의 소비자 니즈가 충족되는 구조에서는 단말기가 좋은 성능을 갖추는 것이 중요하겠지만, 점차 에이전트 기반 환경으로 변해가고, 대부분의 소비자향 서비스들이 Headless 형태로 바뀌어 눈에 보이지 않게 되고, ‘개인화된 AI Agent’가 소비자를 대행하여 이들과 comm하면서 대부분의 작업을 처리하면, 굳이 모든 사용자가 최첨단 기능의 $1,000짜리 디바이스를 휴대하고 있어야 할 필요성은 거의 없어진다. (’플렉스’ 욕구, YouTube/Instagram을 24시간 보겠다는 욕구는 당분간 계속 남아 있곘지만. 요즘 ‘걸어 가면서도 스마트폰에 몰두’하는 비율이 대략 1/3을 넘었고 계속 늘어나고 있는걸 보면)
이러한 환경이 보편화되면, 극단적으로 상상해 보면 소비자가 필요할 때 에이전트에게 요청을 하고 그 결과물만 확인할 수 있는 수준의 최소한의 디바이스만 들고 다니는 것도 가능해질 것이며, 이렇게 되면 아마 $100~200 정도 디바이스만으로도 원하는 기능은 대부분 잘 수행할 수 있다.
만일 $100~200 정도 아주 단순한 디바이스를 소비자가 들고 다닌다면, 경우에 따라 디바이스 자체를 들고 다니지 않을 수도 있다. 음성으로 요청을 하고 그 결과만 어디선가 확인받을 수 있는 다른 대안 경로만 있다면, 굳이 화면을 갖춘 디바이스를 들고 다니는 것 자체도 필요하지 않을 수 있다. (YouTube/Instagram 니즈를 제외하면)
여기에서 가장 큰 변수는 카메라와 화면이다. YouTube/Instagram을 위한 화면은 당분간 계속 필요할 것이고, ‘늘 들고 다니는 카메라’로서의 스마트폰 기능은 다른 것으로 대체하기 쉽지 않을 것이기 때문이다. 이 부분에 대해서는 아직까지 명확한 생각/대안을 가지고 있지는 않다. (참고로, iPhone 16 Pro의 BOM 원가 $500 기준 비중: 카메라 16%, 화면 16%, 프로세서/메모리 17%, 기구/조립 30-40%)
소비자가 들고 다니는 휴대형 디바이스가 이렇게까지 변형될 수 있다면, 그 폼팩터는 스마트폰이 아닐 가능성도 굉장히 커진다. 최근 많이 주목받고 있는 AI 글라스나 (개인적으로는 AI 글라스에 대하여 다소 회의적이긴 하지만), (2027년 발표될 OpenAI 디바이스 형태인) “AI와 늘 음성으로 연동되어 있는 화면 없는 아주 단순한 디바이스”가 대안이 될 수도 있다. 예를 들면 최근 주목받는 Plaud notetaker 크기의 디바이스 + AirPod Pro 번들 수준. (이 디바이스는 화면이 있을 수도 있고 없을 수도 있다.)
(이렇게 아주 경량의 edge device가 보편화되면, Edge device의 inference는 클라우드 기반 개인 PC/서버로 옮겨져야 할 것이다. 이 경우 edge SLM과 중간 크기 OSS LLM은 하나로 결합될 수도 있다.)
Consumer personal server:
개인용 Mac Mini/Studio + 서버 기능을 하는 $500 (최대 $1,000) 디바이스를 클라우드에 두고, 소비자가 개인용 AI Agent 환경, 중간 규모 LLM inference, 그리고 개인 파일 저장용 서버 용도로 이를 사용하면 어떻게 될까?
이런 환경에서는, Edge AI, 오픈소스 LLM을 포함해서 소비자 inference 수요의 80~90% serving 하는 것이 가능할 것이다.
추가로 이 디바이스는 사용자의 파일 저장 환경 (기존 PC/랩탑의 역할), (OpenClaw/Hermes 구조의) 개인화된 AI Agent 운용 환경 역할도 한다. 물론 AI Agent 환경의 일부로서 personalization data layer도 같이 관리하는.
OpenClaw 등장 이후, 같은 구조의 개인화된 AI Agent를 클라우드 서비스 형태, 혹은 개인용 server instance 기반으로 제공하는 곳이 많이 등장하였는데, 어쩌면 이러한 $500 전용 벽돌 디바이스 + 오픈소스 LLM이 번들된 형태 + 개인용 AI Agent 번들 형태로 서비스를 제공하는 것이 어쩌면 소비자들에게 더 접근하기 쉬운 방식이 될 수도 있지 않을까?
제공되는 형태:
이러한 하드웨어 + LLM + AI Agent 번들이 소비자에게 제공되는 형태/방식도 다양해질 수 있다.
(개인에 특화된) AI Agent + 개인용 서버 (기존의 PC 역할 포함) + (별도 ChatGPT 비용이 발생하지 않는) SLM/OSS LLM inference를 묶어서 월 $20~30에 제공 (”별도 챗GPT 비용이 필요 없는 나만의 개인화 AI Agent”)
SOTA 모델은 추가 옵션으로: subscription-based (기본) 혹은 usage-based (API 포함하는 경우)
결국 소비자가 익숙해져 있는 행동 패턴(behavior), 즉 AI를 통한 구글/AI 검색, 여기에 더해서 내가 원하는 업무 (쇼핑, 예약 등) 처리, 필요한 파일/자료 정리등이 기본으로 포함됨으로써 기존의 PC 환경 (+ 스마트폰 환경)에서 실행하던 작업의 대부분을 실행할 수 있고, 여기에 추가로 (SOTA 수준의) AI에 의한 고급 기능 (예: 글쓰기, 계약서 분석 등)까지 포함하는 전체 스펙트럼의 서비스를 제공할 수 있다면, 기존의 PC + 스마트폰 환경에서의 소비자 니즈 대부분을 이 새로운 구조에서도 충분히 수용할 수 있을 것이라고 본다.
소비자의 행동 양식의 변화에 대하여
이 전환에서의 핵심은, 소비자의 니즈를 기존 behavior를 근본적으로 완전히 바꾸지 않아도 되는 과정을 통해서 충족시키면서, 추가로 기존에 가능하지 않았던 AI로 인해 새롭게 가능해진 가치 (예: 개인화)를 소비자가 느낄 수 있다면, 이 방향으로의 전환도 충분히 가능할 것이다. (iPad가 처음 등장하였을 때, 미디어는 iPad의 성공 가능성에 대하여 대체로 부정적이었지만, 실제 소비자는 이에 열광하였던 것을 기억해 보자.) 이 전환을 가능하게 하는 핵심으로서, 복잡한 설치나 모델 선택의 난이도 없이, 그리고 별도의 학습 없이, 내가 원할 때 원하는 방식으로 제공받을 수 있도록 구성되고 제공되는 서비스가 된다면.
과거의 역사를 보면 모든 개인에게 하나의 디바이스, 즉 PC가 보급되기 시작한 지 이제 약 50년이 되었고, 스마트폰 형태로 모든 사람에게 하나의 휴대용 스마트 디바이스가 보급되기 시작한 것도 이제 15년 정도 되었다. 그리고, 이 15년 정도 된, 모든 사람이 들고 다니는 스마트폰 기반의 소비자 행태가 쉽게 바뀌기도 어렵겠지만, 이것을 더 긴 타임라인에서 본다면 10년 이후에도 반드시 유지되어야 할 form factor일까에 대해서도 사실 의문이 크다.
초기에는 이러한 환경을 사용하는 사용자는 당분간 전체 사용자의 5% 이내에 그치겠지만, 이런 환경이 가능해진다는 것은 이러한 인스턴스를 묶어서 소비자에게 제공해 주는 새로운 유형의 플랫폼 서비스도 가능하다는 의미가 된다. 즉 완전히 새로운 “개인용 AI 플랫폼” 카테고리가 새로 열릴 수도 있다는 의미이다. 개인이 개별 서버를 보유하고 운영하는 형태일지, 아니면 이 전체를 ‘소비자의 언어’로 잘 포장한 새로운 소비자 플랫폼 형태가 될지 (이 쪽이 좀 더 가능성이 높다고 본다), 두고 보아야겠지만.
물론, 이러한 완전히 새로운 방식으로 소비자의 접점을 확보하는 것이, (현재 중국에서 다양한 실험 형태로 등장하고 있는) 기존 스마트폰 기반에서 시작하는 다양한 전환 시도 (예: WeChat, Doubao의 AI Super App)보다 더 빠르게 소비자를 확보할 수 있을지에 대해서는 의문이 있긴 하다.
하지만 과거 모든 tech shift에서 소비자의 전환 과정을 보면, 초기에는 “어떻게 그런 이상한 방식을 사용할 수가 있지?”라고 생각하던 새로운 사용 패턴으로 오랜 시간에 걸쳐 수렴해 가는 과정을 여러번 목격하였듯이 (예: 구글 검색 창, 유튜브로 비디오 보기, 넷플릭스 OTT 등), 10년 후 AI가 소비자의 행동 양식에서 어떤 형태로 남아 있을지는 지금 그 모습을 예상/추정하기는 아주 어렵다.
좀 더 긴 시간의 window에서 보면, 이제 소비자가 원하는 바를 얻을 수 있는 방식, 모달리티, 그리고 접점 모든 측면에서, AI라는 (모바일보다 훨씬 크고 근원적인) Tech Wave가 완전히 새로운 빈 공간을 열었다고 볼 수 있다. 그리고, 이러한 큰 Tech Wave가 새롭게 등장할 때는, 늘 새로운 빈 공간에서 완전히 새로운 기회가 만들어지는 일이 반복되어 왔다. 우리가 경험했던 범위 내에서는, 웹 브라우저, 스마트폰이 그랬듯이.
이번에도 우리가 (스마트폰과 같은) 기존의 틀에 얽매여서 생각하는 것보다, 좀 더 자유로운 형태의 새로운 소비자 접점이 만들어질 가능성을 다양하게 살펴 보는 것이 필요하지 않을까 한다.
그래서, “어떠한 구조적 변화가 가능하고 그 경우 소비자의 행동 양식은 어떻게 바뀔까”의 시각에서 그 변화 양태를 예측해 보는 것이 더 가까운 결론을 내릴 수 있다고 보며, 이 글도 그러한 과정의 하나이다. 이 글은 그런 가능성에 대한 좀 더 와일드한 상상을 하며 그 상상을 정리한 것이고, 새로운 기회를 찾는 시작점이 되면 좋겠다.
90년대 후반 받은 질문 중 아직도 기억에 남는 것은 “인터넷 사용이 모든 사용자에게 보편화된다면 어떤 모습이 될까요?”라는 질문이었고, 나의 답은 “아마 가장 눈에 띄는 것은 ‘인터넷 한다’라는 용어가 사라질겁니다. 요즘 우리가 ‘전기 쓰고 있다’라는 표현을 사용하지 않듯이”였고, 실제로 그렇게 바뀌었다. AI에 대해서도 같은 변화가 일어날 것이다. “AI (혹은, ChatGPT, Agent) 하고/쓰고 있어”라는 표현을 더 이상 사용하지 않는 시기가 되면, 우리는 “AI로 온통 둘러 싸인” AI-native 환경에서 살고 있을테니.
P.S.: 이 글은 [Two Cents #93]에서 짧게 언급한 Edge AI에 대한 생각의 확장 버전이다.