(이동근 필자의 Zoom 세션 참여 링크)
이동근
오호츠크 뉴스레터 '동동의 테크타운' 코너 필자
이 글에서는 2024년~2025년 AI 산업의 전체 상황을 먼저 살펴보고, 그런 다음 세부적인 산업 분석과 전망을 좀 더 구체적으로 다뤄보도록 하겠습니다. 또 AI 시대에 마주할 기회와 도전과제들을 간략하게 하나씩 살펴보겠습니다.
“AI” 라는 단어가 나왔을 때 우리가 막연한 두려움을 느끼지 않기 위해, 정보의 홍수에 휘말리지 않기 위해 이 글이 도움이 되셨으면 합니다. PPT 요약본을 함께 보시면 좋습니다.
서론: 2024년, AI 의 현재위치
- AI 시대의 대전환, 2025년이 변곡점
빌 게이츠는 2023년 노트에서 “내 삶에서 가장 혁신적이었던 기술 두 가지는 GUI와 ChatGPT”라고 적었습니다. AI에 대한 놀라움을 표현했던 것이죠. 그런데 2024년 초에는 OpenAI 창립자인 샘 알트먼이 “특이점 근방, 이쪽 편인지 저쪽 편인지는 아직 잘 모르겠음”이라고 SNS에 남겼습니다. 이것이 바로 2024년 AI 산업을 요약하는 한 문장입니다.
샘 알트먼의 이 발언은 OpenAI가 ChatGPT를 넘어서는 다음 모델을 만들기 위해 어떤 고민을 하고 있는지 함축적으로 보여줍니다. 즉, AI 기술이 어느 정도 한계에 도달했고 이제 그다음을 고민해야 하는 시점이라는 것이죠. 2024년은 학술 연구를 통해 AI 모델의 발전이 어느 정도 이루어졌고, 텍스트 기반의 LLM(ChatGPT, Claude) 성능도 최고 한계에 가까워진 해였습니다. 이제 AGI(Artificial general intelligence, 일반 인공지능)나 그 이상 단계로의 여정이 본격적으로 시작되었다고 할 수 있습니다.
전 AI가 단순한 기술 혁신을 넘어 우리 세상을 근본적으로 변화시킬 것이라고 생각합니다. 변화하는 과정 속에서 벌어질 일들 하나하나가 각 산업에 큰 영향을 미칠 것입니다. 특히 2025~2026년은 AI 시대의 중요한 변곡점이 될 것으로 보입니다. 이 시기에 AI가 여러분이 속한 산업의 일부가 되도록 밀어붙이지 못한다면, 이후엔 훨씬 더 많은 시간과 노력이 필요할 것으로 예상됩니다.
AI 시대의 시작점, 2024년
<출처: COATUE 캐피털>
인터넷 발전 과정을 살펴보면 AI 산업의 현재 위치를 가늠해볼 수 있습니다. 1994~1995년에는 웹과 PC의 결합으로 구글과 아마존이 탄생했고, 2000년대 중반에는 유튜브, 페이스북, 링크드인이 뒤를 이었습니다. 2010년에는 모바일 하드웨어인 아이폰과 통신망(4G 시대) 발전이 맞물리며 인스타그램, 우버, 카카오톡 같은 수억 명의 사용자를 확보한 서비스들이 등장했죠. 이와 함께 막대한 자본이 유입되며 빅테크 시대가 이어졌습니다.
2024년 AI 시대의 관점에서 보자면, ChatGPT와 Claude 같은 AI 모델들이 수많은 데이터센터(Nvidia 반도체 + 클라우드 업체)와 함께 인프라를 구축하고 있는 중입니다. 과거 PC와 스마트폰이 막 태동하고 보급되던 시점과 비슷하다고 볼 수 있죠. 하지만 아직 AI를 기반으로 한 획기적인 서비스 성공 사례는 나오지 않았습니다. AI 시대가 이제 막 시작되었다고 평가받는 이유입니다.
2025~2026년, AI 산업의 운명이 걸린 시기
우선, 돈의 규모가 달라졌습니다. 2024년의 주가 상승은 빅테크 기업들의 투자와 맞물려 있었습니다. 아마존, 알파벳, 마이크로소프트, 메타는 2024년에만 1500억 달러(약 200조 원)를 AI에 투자했습니다. 스타트업 투자 시장도 뜨겁습니다. OpenAI의 창업자이자 천재 과학자인 일리야 수츠케버와 스탠퍼드의 페이페이 리 교수는 각각 창업과 동시에 1조 원이 넘는 투자금을 유치했죠.
미국 스타트업 VC의 대부인 세쿼이아 캐피털은 '6000억 달러짜리 질문'이라는 글에서, 이제 AI 회사들이 실제 수익을 만들어내야 한다고 말했습니다. 과거 구글이 웹+PC 인프라 위에서, 카카오톡과 인스타그램이 스마트폰+통신망 인프라 위에서 수익을 창출했듯, AI 모델도 수익을 창출해야 할 시점에 왔다는 겁니다. 1조 원을 투자받았던 회사는 그 다음번엔 2조 원을 투자받아야 합니다. 만일 5000억 원 투자로 내려간다면 '거품이었다'는 이야기가 나올 것입니다.
AI는 인프라 관점에서 엄청난 발전을 이뤘지만, 이를 통해 수익을 창출하는 것은 아직 멀게 느껴집니다. 개인 생산성을 일부 향상시켰다는 연구는 있지만, 기업 수익성이나 생산성을 획기적으로 개선한 사례는 없습니다. 카카오톡이나 인스타그램처럼 만인의 일상에 완전히 스며든 AI 서비스가 나오지도 못했습니다. 아직 시작도 못한 거죠.
시간이 필요한 상황입니다. 그러나 AI 기술에 막대한 자본이 투자된만큼 시장이 너그럽게 기다려줄 수 있는지가 중요합니다. 시장의 기대를 충족하며 시간을 벌기 위해서는 새로운 성과를 보여줘야 합니다. 2025년이 바로 그 변곡점이 될 가능성이 큽니다.
본론: AI 산업의 5계층
AI 산업을 이해하려면 먼저 산업 분야를 명확히 구분해볼 필요가 있습니다. 제가 생각하는 AI 산업의 핵심 계층을 다섯 가지로 나눠 소개하겠습니다. (참고로 애플리케이션 시장과 엔터프라이즈 시장을 함께 묶어 ‘AI 서비스 시장’으로 보는 시각도 있지만, 대상과 시장 규모가 너무 다르기 때문에 저는 분리해서 소개하려 합니다.)
모델 계층
ChatGPT, Claude, Gemini처럼 우리에게 익숙한 AI 서비스의 핵심 엔진에 해당합니다. 이는 컴퓨터나 스마트폰의 운영체제(iOS, Windows)와 비슷한 역할을 합니다. 특정 작업에 특화된 모델(영상 생성, 이미지 편집 등)도 여기에 포함됩니다.
애플리케이션 계층
1번에서 개발된 AI 모델을 활용해 실제 서비스를 제공하는 B2C 영역입니다. 개인 사용자와 직접 접촉하며 우리가 일상적으로 사용하는 AI 기반 앱이나 서비스가 이 범주에 속합니다.
엔터프라이즈 AI 계층
B2B 시장을 겨냥한 기업용 AI 솔루션입니다. AI 기반 CRM 시스템, 기업 데이터 관리, AI 모델 학습을 돕는 각종 기업용 서비스가 여기에 포함됩니다.
AI 인프라 계층
AI 모델을 돌리기 위해 필요한 자원들로, 칩 제조사(Nvidia, 삼성전자, SK하이닉스), 클라우드 업체(AWS, GCP, Microsoft Azure) 등 하드웨어와 관련된 제조사 및 서비스 제공업체가 속합니다.
기타 산업
소형 원자로(SMR), 로봇, 국방산업, 양자컴퓨터, AI 반도체(NPU) 등 현재는 AI 핵심 산업이라고 부르기 어렵지만, 향후 엄청난 가능성을 가진 분야들입니다.
1. 모델계층: AI 혁신의 엔진
AI 모델은, ChatGPT와 Claude처럼 우리에게 친숙한 이름들도 있지만, 본질적으로는 연구를 통해 개발된 기술적 엔진입니다. 지금까지 대부분의 AI 성과가 이 모델 계층에 초점이 맞춰져 있습니다. 이 모델들을 이해하려면 크게 두 가지가 중요합니다.
(1) 모델의 학습(Training)
- 모델에게 사전에 방대한 데이터를 학습시켜 새로운 AI 모델을 만드는 과정입니다.
- ChatGPT와 같은 모델들은 인류의 지식 대부분을 학습한 상태라고 볼 수 있습니다. 이런 학습에는 엄청난 시간과 비용이 필요합니다. GPU 수만 대와 수천억 원의 비용과 몇 개월의 시간이 들어가며, 실패했을 경우 리스크도 크죠.
- 학습에 필요한 데이터와 자원이 방대하기 때문에 현재로서는 거대 기업만이 할 수 있는 영역입니다.
- 특히 Nvidia가 만드는 반도체칩(GPU)의 독점적 역할이 큽니다. AI 반도체(NPU)와 같은 대체 기술이 등장했음에도 아직 Nvidia를 대체하기 어렵습니다.
(2) 모델의 추론(Inference)
- 학습된 모델을 실제로 실행해 결과를 출력하는 작업입니다.
- 예를 들어, ChatGPT에 질문을 입력하고 결과를 출력하는 과정이 추론 과정에 해당합니다.
- 학습에 비해 컴퓨팅 자원이 적게 소모되지만, 사용자가 많아질수록 서버 비용이 급격히 증가합니다. 몇 만 명이 동시에 사용한다면 GPU 몇 만 대가 필요할 수 있습니다.
AI 모델은 현재 API 비즈니스를 통해 수익화되고 있습니다. 비공개 모델(ChatGPT, Claude, Gemini)과 오픈소스 모델(Llama, Qwen 등)로 나뉘어 운영됩니다. 이는 스마트폰 시장의 iOS(애플, 비공개)와 안드로이드(구글, 공개)의 구도에 비유할 수 있습니다.
2024년은 AI 모델의 질적·양적 성장이 폭발적이었던 해였습니다. GPT-4.0과 Claude Sonnet 같은 범용 모델이 높은 성능을 보여줬고, Gemini-mini와 GPT-4.0 mini 같은 경량 모델도 주목받았습니다. 특히 경량 모델은 저렴한 비용으로 뛰어난 성능을 낼 수 있다는 점에서 중요한 의미를 갖습니다.스마트폰에 비유하자면 삼성의 갤럭시 보급형 시리즈와 같습니다.
그리고 이제는 단순히 텍스트를 생성하는 AI 모델만 발전하고 있는 것이 아닙니다. 2024년에는 OpenAI의 Sora, Google의 Veo2, Bytedance의 영상 생성 AI 등 영상과 이미지를 만들어내는 분야에서도 혁신적인 성과가 나왔습니다. 특히 주목할 만한 점은 대부분의 오픈소스 모델들이 비공개 모델의 성능에 근접했다는 것입니다.
오픈소스 모델은 AI 모델의 핵심 구성 요소(가중치)를 전부 공개하여, 사용자가 직접 수정하거나 커스터마이징할 수 있는 장점이 있습니다. AI에 대한 기본적인 지식만 있다면, 데이터를 추가로 학습시키거나 모델을 수정해 기업에 적합한 서비스를 구축할 수도 있습니다. 또한 보안이 중요한 환경에서는 오픈소스 모델이 더 적합한 선택지가 될 수 있습니다.
현재까지는 공개 모델들이 비공개 모델인 ChatGPT나 Claude Sonnet에 비하면 성능이 다소 떨어지지만, 3~4개월 간격으로 성능 격차를 빠르게 좁히고 있는 중입니다. 미국에서는 메타(Meta)가, 중국에서는 알리바바(Alibaba)가 이 분야에서 빠른 속도로 뛰어난 모델들을 개발하고 있습니다.
2025년 AI 모델 개발의 과제
AI 모델 개발은 지금 중대한 기로에 서 있습니다. 기존의 Scaling Law(스케일링 법칙), 즉 모델 크기를 키우고 데이터를 단순히 늘리는 방식으로는 더 이상의 획기적인 발전을 기대하기 어려워졌습니다. 지금까지 모델 발전은 대부분 스케일링 법칙에 의존했지만, 이제는 새로운 질문에 직면해 있습니다. "무엇으로 AI 모델을 더 똑똑하게 만들 것인가?" 라는 것이죠.
모델 개선을 위한 두 가지 주요 접근법이 현재 시도되고 있습니다. 첫 번째 방법은 '더 똑똑한 모델'을 만드는 것입니다. 두 번째 방법은 '다양한 데이터를 학습'시키는 것입니다.
1) 더 똑똑하게 만드는 모델 (추론형 모델)
추론형 모델은 학습된 지식과 데이터를 바탕으로 최상의 답변을 도출하기 위해 복잡한 과정을 거칩니다. 대표적으로는 GPT-o1이 있습니다. 이 모델은 논문이나 각종 지식을 학습하는 단계를 반복하며, 결과를 생성하기 전 수백 번의 추론 과정을 거쳐 사용자가 요청한 최적의 답을 내놓습니다. 이를 Chain of Thoughts(COT) 방법론이라고 부릅니다. 이 방식은 AI 모델 학습의 현재 주요 화두 중 하나입니다.
2) 멀티모달 학습과 다양한 데이터 활용
두 번째 방식은 텍스트 외에도 이미지, 영상, 소리 파일 등 다양한 형태의 데이터를 학습하는 멀티모달(multimodal) 학습입니다. 또한 AI 스스로 합성하거나 생성한 데이터를 활용해 학습을 진행하면, 모델이 더욱 고도화될 수 있습니다. 이러한 접근은 AI 모델의 지적 능력을 더욱 넓히고 심화시키는 데 중요한 역할을 합니다.
그럼 이런 AI 모델로 무엇을 할 수 있을까요? 현재 가장 주목받는 것은 2024년 하반기부터 급부상한 ‘AI 에이전트’ 개념입니다. OpenAI, Google, Claude 등 주요 기업들은 이 에이전트를 개발하기 위해 노력하고 있습니다. 이들이 2025년 상반기 출시할 서비스 대부분이 에이전트와 관련될 것으로 보입니다.( 여기에 대해서는 '2. 애플리케이션/서비스 계층'에서 더 자세히 설명하겠습니다.)
AI 모델을 실제로 적용하고 사용하는 데에는 여전히 많은 기술적 과제도 남아 있습니다. 현재로서는 RAG 지식 데이터베이스와 같은 자체 데이터베이스를 구축하는 것 외에는 AI가 잘못된 정보를 생성하는 것('할루시네이션')을 효과적으로 제어할 방법이 많지 않습니다. 기업에서 기존의 비즈니스 데이터와 AI 시스템을 통합하는 작업 역시 쉽지 않은 상황입니다.
또한, 현재 AI가 한 번에 처리할 수 있는 단어의 양에도 한계가 있습니다. 지금은 일반적으로 A4 용지 10장 이내의 텍스트만 처리할 수 있습니다. 시간도 오래 걸립니다. 무언가를 구글에서 검색하면 1초도 안 걸려서 결과를 도출하지만, AI 모델로 검색하면 이보다 훨씬 더 긴 시간이 소요될 수 있습니다.
이처럼 AI 모델이 가진 기억력에도 분명한 한계가 있습니다. 여기에 더해, AI를 활용하기 위한 API 비용과 서버 비용 역시 상당히 높은 편입니다. 심지어 ChatGPT 같은 비공개 모델 대신 오픈소스 모델을 사용하더라도, 수천만 원에서 수억 원에 이르는 고가의 그래픽카드(GPU)를 구입해야 합니다. 그뿐만 아니라, 이 모델을 제대로 커스터마이징하려면 높은 연봉을 요구하는 숙련된 AI 연구자와 엔지니어가 필요합니다. 이처럼 현재로서는 AI 모델을 활용하려는 시도 자체가 상당한 리스크를 동반한다고 볼 수 있습니다.
정리하자면, 지금까지의 AI 모델 발전은 AI 산업 전체의 발전과 밀접하게 연결되어 있었다고 할 수 있습니다. 여기에 더해, 중국과 미국 간의 기술 경쟁이 이 분야의 열기를 더욱 뜨겁게 만들고 있습니다. 비공개 모델과 오픈소스 모델 진영 간의 경쟁 역시 치열하게 전개되고 있는 상황입니다.
2025년에는 이러한 기술적 과제들을 해결하며, 더욱 실용적이고 효율적인 모델들이 등장할 것으로 기대됩니다. 다만, 이 새로운 모델로 무엇을 할 수 있을지는 여전히 중요한 질문으로 남아 있습니다. AI 모델이 지금까지 훌륭하게 발전해 왔다고는 하지만, 그 모델이 실제로 어떤 유용한 가치를 창출할 수 있을지가 앞으로의 관건이 될 것입니다.
2. 애플리케이션/서비스 계층: AI의 실전 무대
모델을 잘 만들었다면, 그 다음 단계에서는 이 모델을 통해 의미 있는 고객층을 확보하고 수익을 창출해야 합니다. 이 과정에서 중요한 역할을 하는 것이 애플리케이션/서비스 계층입니다. 이는 우리가 잘 알고 있는 B2B 영역, 즉 수천만 명의 사용자가 일상적으로 사용하는 인스타그램, 우버, 카카오톡과 같은 서비스를 만들어내는 것입니다.
2025년 1월 현재, AI 애플리케이션은 크게 두 가지 방향으로 발전하고 있습니다.
- AI 에이전트
- 버티컬 AI
2025년에 가장 주목받는 트렌드는 바로 ‘AI 에이전트’ 시장입니다. AI 에이전트란 사용자를 대신해 특정 목표를 달성하기 위해 작업을 수행하는 AI 시스템을 의미합니다. 예를 들어, Google의 Gemini 모델을 활용한 Astra는 다양한 서비스에 AI 에이전트를 적용하려는 대표적인 사례입니다. 또한, Anthropic은 Claude 모델을 활용해 컴퓨터를 제어하고, AI가 알아서 웹 브라우저를 조작하도록 설계한 서비스를 출시했습니다. 현재까지는 이 두 회사가 AI 에이전트 시장을 선도하고 있으며, 곧 OpenAI에서도 관련 제품을 출시할 예정이라고 합니다.
AI 에이전트의 가장 큰 강점은 기존 스타트업 시장에서 중심이 되었던 특정 업무를 단순히 ‘잘’ 수행하는 것을 넘어, 여러 업무를 하나로 묶어 ‘과정’ 전체를 대체할 수 있다는 점입니다. 이를 통해 단순히 개별 작업이 아니라, 더 큰 목표를 달성할 수 있도록 돕는 것이죠.
영화 Her를 기억하시나요? 영화 속에서 주인공 테오도르는 핸드폰과 연결된 인공지능과 상호작용하며 도시를 탐방하고 대화를 나눕니다. AI는 도시의 건물이나 도로를 파악하며, 단순한 정보 제공을 넘어 테오도르가 여행의 “과정” 자체를 즐길 수 있도록 돕습니다. 이는 단순히 특정 업무를 처리하는 것이 아닌, 인간과의 상호작용을 통해 전체적인 경험을 완성하는 AI 에이전트의 핵심 개념을 보여줍니다.
이러한 상호작용 중심의 AI 에이전트 개발에 있어서는 특히 구글이 선도적인 역할을 하고 있습니다.
또 다른 예를 들어보겠습니다. 보통 항공권을 구매하려면 여러 최저가 항공권 사이트를 검색하고, 가격을 비교한 뒤, 카드 할인 혜택까지 고려해야 하는 복잡한 과정을 거쳐야 합니다. 그러나 이제는 AI에게 "항공권을 구매해줘"라고 요청하면, 이 모든 과정을 AI가 대신 처리합니다. AI는 최저가를 찾아 구매를 완료하고, 최종적으로 항공권만 사용자에게 전달합니다.
AI 에이전트의 핵심은 사람이 하던 복잡한 ‘일련의 과정’을 모두 대체하는 것에 있습니다. 따라서 이러한 AI 시스템에 대한 신뢰가 무엇보다 중요합니다. 더불어, 서비스를 제공하는 기업은 AI 에이전트가 이 과정에서 문제없이 작동하도록 보장할 책임이 있습니다.
며칠 전(1월 24일), OpenAI에서도 Operator라는 AI 에이전트를 출시했습니다. 이 에이전트는 사용자가 직접 핸드폰을 조작하지 않아도, AI가 스스로 웹 브라우저를 조작해 원하는 요리 재료를 구매하는 기능을 수행합니다. 이는 AI 에이전트가 실생활에서 어떤 방식으로 활용될 수 있는지를 보여주는 좋은 사례입니다.
AI 에이전트를 제외하면, ‘버티컬 AI’ 시장도 또 하나의 큰 시장으로 떠오르고 있습니다. 버티컬 AI는 특정 분야에 집중한 서비스를 의미합니다.
기존에도 한 가지 분야만 잘 파고들어 성공하는 ‘버티컬 시장’ 사례는 많았습니다.
AI 분야에서는 코딩(GitHub Copilot), 마케팅, 고객 지원, 전문직(법률 - Harvey.ai, 바이오 - Woebot), 실버 산업(케어콜) 등에서 AI가 개별 인간의 생산성을 높이거나, 인턴급 업무를 대체하는 수준까지 발전했습니다.
특히 이러한 버티컬 AI는 기존에 자신들만의 데이터를 잘 모아온 회사들이 유리합니다. 이들은 축적된 데이터를 AI 모델과 결합해 더 뛰어난 성능을 발휘할 수 있으며, 사용자 경험(UX) 또한 크게 개선할 수 있습니다. 전문성을 갖춘 데이터를 꾸준히 모아왔던 기업들은 원인과 결과가 분명한 작업들부터 하나씩 적용하며 성공적인 사례를 만들어가고 있습니다
<출처: weights.gg>
소비자 시장(consumer market)에서는 아직 큰 변화는 없지만, 점차 새로운 사례들이 나타나고 있습니다. 예를 들어, weights.gg와 같은 플랫폼에서는 다양한 유형의 콘텐츠를 생성할 수 있습니다. AI는 캐릭터를 바탕으로 동영상부터 소설까지 각양각색의 이야기를 만들어내고, 사용자는 이 이야기의 주인공과 대화를 나누며 더욱 몰입감 있는 경험을 즐길 수 있습니다. 이렇게 나만의 독창적인 이야기를 생성할 수 있는 것이죠.
또한, 미국에서는 character.ai처럼 다양한 성격을 가진 가상 캐릭터를 생성하고, 이들과 채팅할 수 있는 서비스도 주목받고 있습니다. 이러한 AI 기반 서비스들은 범용적으로 인기 있는 시장보다는 서브컬처 시장에서 먼저 확산되는 경향을 보이고 있습니다.
AI B2C 시장의 핵심은, 우리가 알고 있는 기존의 성공 전략이 아직 적용되지 않는다는 점입니다. 이 시장은 이제 막 시작 단계에 있기 때문에, 기존의 성공 전략이 유효하다고 볼 수 없습니다. 과거에는 유저를 대거 확보해 네트워크 효과를 통해 수익을 창출하는 방식이 주된 성공 전략이었습니다. 그러나 AI 시장에서는 개개인의 특수성에 맞춘 맞춤형 경험이 성공의 가능성을 높이는 핵심 요소가 되고 있습니다.
그렇다면, 제품을 단순히 ‘잘’ 만드는 것이 성공을 보장할까요? 이 질문에 대한 답도 AI 시장에서는 조금 다르게 접근해야 합니다. AI는 사용자가 하던 복잡한 과정을 자동으로 처리해주는 역할을 하므로, 소비자가 직접 접하게 되는 제품의 ‘디자인’이 기존과는 다른 관점에서 설계되어야 하기 때문입니다.
우리가 알고 있는 모바일 앱 혁명을 이끌었던 UX 디자인 또한 완전히 새로운 방식으로 변화할 것입니다. 일반 사용자는 더 이상 검색하고, 선택하고, 정보를 정리할 필요조차 없게 됩니다. 따라서 AI 모델을 활용한 UX 디자인의 성공 사례를 찾아내는 것이 향후 주목해야 할 부분이 될 것입니다.
2025년에 가장 큰 도전과제이자, 새롭게 일어날 가능성이 높은 요소는 독창적인 ‘킬러 앱’의 성공입니다. 이전과는 완전히 다른 서비스가 등장하거나, 기존과는 전혀 다른 방식으로 유명해진 서비스를 목격하게 될 가능성이 큽니다.
예를 들면, 코딩 능력이 전혀 없는 사람이 만든 AI 기반 앱 서비스가 앱스토어 상위 30위 안에 진입하거나, 소셜 미디어에서 AI 캐릭터가 사용자를 대신해 활동하는 등 완전히 새로운 형태의 서비스가 탄생할 가능성이 있습니다. 이러한 변화는 기존 성공 전략의 패러다임을 바꾸고, AI B2C 시장의 새로운 전환점을 만들어낼 것입니다.
3. 엔터프라이즈 AI: 디지털 혁신의 핵심 동력
잘 알려지진 않았지만, 2020년부터 2024년까지 이어진 스타트업 열풍의 중심에는B2B 기반의 SaaS 시장이 있었습니다. 기업용 AI 시장은 현재 가장 주목받는 전장 중 하나이며, 성공 가능성이 매우 높은 시장으로 평가받고 있습니다. 이는 골드러시 당시 가장 많은 돈을 번 사업이 금광 채굴이 아닌 청바지 판매였다는 이야기에 비유할 수 있습니다. 하나하나의 기업용 서비스가 시장 자체를 엄청나게 키우고 있는 것입니다.
예를 들어, HR 시장만 해도 200조 원 규모로 추산되며, 세일즈 및 마케팅 영역은 무려 1,500조 원 규모에 이를 것으로 보고 있습니다.
엔터프라이즈 시장은 크게 두 가지로 나눌 수 있습니다. 첫 번째는 대기업의 기존 업무를 AI로 대체하거나 CRM을 개선하는 디지털 트랜스포메이션이고, 두 번째는 MLOps 시장으로, 일반 기업이 AI 모델을 효과적으로 만들고 관리하며 성능을 높이고 복잡한 AI 서비스를 제공할 수 있도록 돕는 기술적 지원입니다. 이 두 시장 모두 각각 수백조 원 규모로 성장하고 있습니다.
Foundation Capital 등 여러 유수한 VC(벤처캐피털)의 분석에 따르면, 디지털 트랜스포메이션 영역에서 AI의 역할은 다음과 같은 3단계로 진화하고 있다고 평가됩니다.
- 1단계: 개인이 사용하는 생산성 도구 대체
(예: 문서 작업 - Office → Canva, Slack / 검색 작업 - Google → Perplexity) - 2단계: AI와의 협업을 통해 팀의 인력 일부를 대체
(30~100% 생산성 향상) - 3단계: 기존 소프트웨어와 인건비를 완전히 대체하고, 외주 서비스까지 AI로 전환
현재 AI 기술은 이제야 1단계를 막 진입한 상황이며, 앞으로 이 시장에서 가장 많은 변화가 일어날 것으로 보입니다.
간단한 사례로 Glean이 있습니다. 현재 미국에서 가장 주목받는 AI 서비스 기업 중 하나입니다. 이 회사는 기업 내부를 위한 맞춤형 AI 도구를 개발하여 문서 작성 작업을 효율화하는 생산성 도구를 제공합니다.
또 다른 예로, 2024년 12월에는 미국 CRM 시장의 가장 큰 회사인 세일즈포스(Salesforce)가 AgentForce라는 AI 서비스를 발표했습니다. 이 서비스는 기존의 CRM 플로우와 마케팅 프로세스 전반을 AI가 도와주는 툴로, 기업의 업무를 크게 혁신할 가능성을 보여주고 있습니다.
다소 복잡한 분야이지만, MLOps(Machine Learning Operations) 시장 또한 주목할 만합니다. 이 시장은 엄청난 양의 데이터를 다루며, AI를 효과적으로 운영하기 위해 데이터를 조작하고 정리할 수 있는 다양한 도구와 솔루션을 제공합니다. 예를 들면:
- Data Lake: 대규모 데이터를 저장하고 관리하는 솔루션 (예: Snowflake, Databricks)
- RAG (Retrieval-Augmented Generation): AI의 할루시네이션(잘못된 정보 생성)을 줄이고, 개별 회사의 데이터베이스와 결합하는 기술 (예: Pinecone, Supabase)
- 데이터 품질 관리: AI 모델 학습을 위한 고품질 데이터를 제공하는 도구 (예: Scale AI)
이처럼 MLOps는 AI 모델 개발과 운영을 위한 필수적인 지원을 제공하며, 관련 기업들은 빠르게 성장하고 있습니다. 많은 회사가 이미 유니콘 기업으로 자리 잡았으며, 이 분야는 앞으로도 계속 확장될 것으로 보입니다.
하지만 B2B 시장에서 성공하기 위해서는 몇 가지 중요한 과제를 해결해야 합니다. 단순히 기업의 기존 CRM 툴을 10~20% 개선하는 수준으로는 부족합니다. 2~10명의 인력을 대체할 수 있을 정도로 획기적인 생산성 향상을 이루어야 기업들이 AI CRM 툴을 적극적으로 도입할 것입니다.
또한, 다음과 같은 과제들도 해결되어야 합니다.
- 기존 기업 데이터와 AI 시스템을 어떻게 효과적으로 통합할 것인가?
- MLOps 기업의 수익성을 어떻게 확보할 것인가?
- 단기적인 ROI(Return on Investment, 투자 수익률)를 창출할 방법은 무엇인가?
이러한 문제들을 해결하는 기업들만이 B2B AI 시장에서 성공할 수 있을 것입니다.
4. AI 인프라 계층: 하드웨어
<ChatGPT 출시후 Nvidia의 주가 모습>
AI 인프라 시장은 단연 Nvidia가 주도하고 있습니다. 현재 상황은 Nvidia로 시작해서 Nvidia로 끝난다고 표현해도 과언이 아닙니다. ChatGPT 출시 이후 Nvidia의 주가가 폭발적으로 상승한 것이 이를 잘 보여줍니다. AI 관련 제품을 개발하거나 운영하기 위해서는, 모델의 학습이나 추론 과정 어디에서나 Nvidia의 그래픽카드가 필수적입니다.
2022년에 출시된 Nvidia의 H100 GPU는 효율적이고 뛰어난 AI 모델 학습과 추론에 필수적인 요소로 자리 잡았습니다. 참고로 한국에서는 H100을 아직 구할 수도 없는 상황입니다. 2024년에는 Nvidia가 블랙웰(Blackwell) 칩을 출시하기 시작했는데, 이는 기존의 하드웨어 아키텍처를 뛰어넘어 데이터센터의 구조 자체에 변화를 일으키며 더 큰 시장을 목표로 하고 있습니다.
한국의 SK하이닉스와 같은 회사들의 폭발적인 성장도 Nvidia와 밀접한 관련이 있습니다. HBM(High Bandwidth Memory)이라는 부품은 Nvidia GPU의 성능을 최대로 끌어올리기 위해 필수적이며, 이로 인해 관련 부품을 생산하는 기업들 또한 성장의 혜택을 받고 있습니다.
하지만 이 시장에는 몇 가지 한계와 문제가 존재합니다. 첫째, Nvidia의 H100 GPU는 가격이 매우 비싸며, 구하기조차 어렵습니다. H100의 가격은 5000~6000만 원 정도에 이르며, 한국에서는 제품을 직접 구경하는 것조차 쉽지 않은 상황입니다. 둘째, 정치적 요인도 문제를 더 복잡하게 만듭니다. 미국과 중국 간의 분쟁으로 인해, 중국과 사우디아라비아 같은 일부 국가에서는 앞으로 Nvidia GPU를 구하기가 더욱 어려워질 전망입니다. AI가 본격적으로 확산되기도 전에, 이처럼 GPU 부족 문제가 커진다면 미래에는 얼마나 많은 GPU가 필요할지 상상하기조차 어렵습니다. Nvidia의 주가가 지난 몇 년간 폭등한 것도 바로 이러한 맥락에서 이해할 수 있습니다.
Nvidia의 독점적 지위로 인해 AMD, Broadcom과 같은 기업들도 AI 반도체 시장에서 조금이라도 입지를 확보하기 위해 분투하고 있습니다. 탈 Nvidia 진영을 구축하려는 시도들이 점차 이루어지고 있으며, GPU를 대체할 수 있는 AI 전용 반도체가 점차 떠오르고 있습니다. 이러한 대안칩들은 AI 모델을 구동하거나 학습시키는 데 사용될 가능성이 큽니다.
또한, Nvidia 의존도를 낮추기 위해 GPU 사용량을 상대적으로 줄일 수 있는 새로운 기술들도 개발되고 있습니다. 하지만 여전히 Nvidia의 경쟁자가 부족하다는 점이 큰 문제입니다. 단기간 내에 Nvidia를 넘볼 만한 기업은 거의 없으며, 지금까지 구축해온 소프트웨어와 하드웨어 생태계 덕분에 최소 몇 년간은 Nvidia가 시장을 선점할 가능성이 높습니다. AMD는 가장 유력한 도전자 중 하나로 꼽히지만, 현업에서 듣는 이야기로는 여전히 큰 격차가 있다고 평가받고 있습니다.
AI 인프라와 관련해서는 클라우드 시장도 주목할 필요가 있습니다. AWS, GCP(Google Cloud Platform), Microsoft Azure와 같은 대형 클라우드 서비스 제공업체들은 Nvidia의 장비를 대량으로 구매하여 AI 인프라를 확장하고 있습니다. 이들은 이전에는 존재하지 않았던 초대형 데이터센터를 구축하며, AI 모델 운영에 필요한 엄청난 컴퓨팅 파워를 제공합니다.
초기에 언급한 빅테크 기업들의 200조 원 투자비용 중 상당 부분은 바로 이러한 장비 구매에 쓰였습니다. 현재까지 AI 열풍으로 생긴 돈은 대부분 AI 인프라 확장으로 흘러갔다고 해도 과언이 아닙니다.
5. AI 관련 기타 산업
위에서 이야기했던 AI 산업 외에도 앞으로 떠오를 가능성이 큰 여러 산업이 존재합니다.
소형 모듈형 원자로(SMR)
그래픽카드를 가지고 있다 해도 데이터센터를 가동할 전력이 없다면 아무 소용이 없습니다. AI 모델 하나를 학습하는 데만 대도시 전체 전력에 준하는 막대한 에너지가 소요됩니다. 이러한 전력 부족 문제를 해결하기 위해 소형 모듈형 원자로(SMR)가 주목받고 있습니다. SMR은 데이터센터의 전력 수요를 충족하기 위한 핵심 기술로 평가됩니다.
빌 게이츠가 투자한 미국의 테라파워(TerraPower)와 중국의 CNNC(China National Nuclear Corporation)는 SMR 기술 개발을 두고 치열하게 경쟁 중입니다. 이는 AI 모델 운영에 필요한 막대한 전력 수요를 해결할 잠재력을 가진 혁신적 대안으로 자리 잡고 있습니다.
로봇공학
유니트리(Unitree)의 G1 같은 AI 기반 휴머노이드 로봇들이 등장하면서 로봇공학 분야 역시 급격히 성장하고 있습니다. Nvidia는 2025년 CES에서 새로운 로봇 플랫폼을 발표하며 이 분야의 주도권을 확보하려는 움직임을 보였습니다.
유니트리의 휴머노이드 제품은 약 2000만 원 수준으로, 동급의 미국 및 한국 제품들(2억 원 이상)보다 훨씬 저렴합니다. 앞으로 물리적 세계와 AI 기술의 결합이 어떻게 진화할지 주목해 볼 필요가 있습니다.
AI 전용 반도체(NPU)
AI 전용 반도체(NPU, Neural Processing Unit)도 중요한 성장 영역입니다. 미국의 Groq, Cerebras, 한국의 Rebellions 등 여러 기업이 AI 전용 칩을 개발 중이며, 이 시장은 2032년까지 약 2274억 달러 규모로 성장할 전망이라 합니다.
NPU는 기존 GPU를 대체할 효율적인 AI 연산 솔루션을 목표로 하고 있습니다. 다만, 현재까지는 AI 모델 학습을 완전히 지원할 수 있는 칩은 아직 개발되지 않았습니다. 하지만 이 분야의 발전 속도를 감안할 때, NPU가 미래의 AI 인프라 핵심 기술로 자리 잡을 가능성이 큽니다.
양자컴퓨팅
양자컴퓨팅은 AI 연산 능력의 한계를 뛰어넘을 수 있는 혁신적인 기술로 평가받고 있습니다. 그러나 아직 초기 단계에 머물러 있으며, 실용화되기까지는 갈 길이 멉니다. 그럼에도 불구하고, AI와 양자컴퓨팅의 결합이 향후 기술 혁신에 어떤 영향을 미칠지 기대를 모으고 있습니다.
마치며
지금까지 AI 산업 전반과 그와 관련된 주요 영역들을 살펴보았습니다.
2025년은 AI 산업에 있어 매우 중요한 변곡점이 될 것으로 예상됩니다. AI 모델은 이제 기술적 성숙기에 접어들었다고 평가되며, ChatGPT, Claude, Gemini와 같은 혁신적 성과는 이제 실질적인 비즈니스 가치 창출로 이어져야 할 시점에 도달했습니다.
지금까지의 투자와 기술 발전이 실제 비즈니스 성과로 이어지지 않는다면, AI 산업은 또 다른 거품으로 전락할 가능성도 있습니다. 그러나 이 시기를 잘 활용한다면, 인터넷과 모바일 이상의 새로운 혁신 시대를 열 수 있을 것입니다.
AI라는 거대한 변화의 중심에서, 올바른 방향으로 발전이 이루어지기를 바랍니다. 그리고 저도 오호츠크를 통해 앞으로도 더 다양하고 깊이 있는 내용과 신속한 정보를 독자들에게 전달할 수 있도록 최선을 다하겠습니다.
(이동근 필자의 Zoom 세션 참여 링크)
(이동근 필자의 Zoom 세션 참여 링크)
이동근
오호츠크 뉴스레터 '동동의 테크타운' 코너 필자
이 글에서는 2024년~2025년 AI 산업의 전체 상황을 먼저 살펴보고, 그런 다음 세부적인 산업 분석과 전망을 좀 더 구체적으로 다뤄보도록 하겠습니다. 또 AI 시대에 마주할 기회와 도전과제들을 간략하게 하나씩 살펴보겠습니다.
“AI” 라는 단어가 나왔을 때 우리가 막연한 두려움을 느끼지 않기 위해, 정보의 홍수에 휘말리지 않기 위해 이 글이 도움이 되셨으면 합니다. PPT 요약본을 함께 보시면 좋습니다.
서론: 2024년, AI 의 현재위치
- AI 시대의 대전환, 2025년이 변곡점
빌 게이츠는 2023년 노트에서 “내 삶에서 가장 혁신적이었던 기술 두 가지는 GUI와 ChatGPT”라고 적었습니다. AI에 대한 놀라움을 표현했던 것이죠. 그런데 2024년 초에는 OpenAI 창립자인 샘 알트먼이 “특이점 근방, 이쪽 편인지 저쪽 편인지는 아직 잘 모르겠음”이라고 SNS에 남겼습니다. 이것이 바로 2024년 AI 산업을 요약하는 한 문장입니다.
샘 알트먼의 이 발언은 OpenAI가 ChatGPT를 넘어서는 다음 모델을 만들기 위해 어떤 고민을 하고 있는지 함축적으로 보여줍니다. 즉, AI 기술이 어느 정도 한계에 도달했고 이제 그다음을 고민해야 하는 시점이라는 것이죠. 2024년은 학술 연구를 통해 AI 모델의 발전이 어느 정도 이루어졌고, 텍스트 기반의 LLM(ChatGPT, Claude) 성능도 최고 한계에 가까워진 해였습니다. 이제 AGI(Artificial general intelligence, 일반 인공지능)나 그 이상 단계로의 여정이 본격적으로 시작되었다고 할 수 있습니다.
전 AI가 단순한 기술 혁신을 넘어 우리 세상을 근본적으로 변화시킬 것이라고 생각합니다. 변화하는 과정 속에서 벌어질 일들 하나하나가 각 산업에 큰 영향을 미칠 것입니다. 특히 2025~2026년은 AI 시대의 중요한 변곡점이 될 것으로 보입니다. 이 시기에 AI가 여러분이 속한 산업의 일부가 되도록 밀어붙이지 못한다면, 이후엔 훨씬 더 많은 시간과 노력이 필요할 것으로 예상됩니다.
AI 시대의 시작점, 2024년
<출처: COATUE 캐피털>
인터넷 발전 과정을 살펴보면 AI 산업의 현재 위치를 가늠해볼 수 있습니다. 1994~1995년에는 웹과 PC의 결합으로 구글과 아마존이 탄생했고, 2000년대 중반에는 유튜브, 페이스북, 링크드인이 뒤를 이었습니다. 2010년에는 모바일 하드웨어인 아이폰과 통신망(4G 시대) 발전이 맞물리며 인스타그램, 우버, 카카오톡 같은 수억 명의 사용자를 확보한 서비스들이 등장했죠. 이와 함께 막대한 자본이 유입되며 빅테크 시대가 이어졌습니다.
2024년 AI 시대의 관점에서 보자면, ChatGPT와 Claude 같은 AI 모델들이 수많은 데이터센터(Nvidia 반도체 + 클라우드 업체)와 함께 인프라를 구축하고 있는 중입니다. 과거 PC와 스마트폰이 막 태동하고 보급되던 시점과 비슷하다고 볼 수 있죠. 하지만 아직 AI를 기반으로 한 획기적인 서비스 성공 사례는 나오지 않았습니다. AI 시대가 이제 막 시작되었다고 평가받는 이유입니다.
2025~2026년, AI 산업의 운명이 걸린 시기
우선, 돈의 규모가 달라졌습니다. 2024년의 주가 상승은 빅테크 기업들의 투자와 맞물려 있었습니다. 아마존, 알파벳, 마이크로소프트, 메타는 2024년에만 1500억 달러(약 200조 원)를 AI에 투자했습니다. 스타트업 투자 시장도 뜨겁습니다. OpenAI의 창업자이자 천재 과학자인 일리야 수츠케버와 스탠퍼드의 페이페이 리 교수는 각각 창업과 동시에 1조 원이 넘는 투자금을 유치했죠.
미국 스타트업 VC의 대부인 세쿼이아 캐피털은 '6000억 달러짜리 질문'이라는 글에서, 이제 AI 회사들이 실제 수익을 만들어내야 한다고 말했습니다. 과거 구글이 웹+PC 인프라 위에서, 카카오톡과 인스타그램이 스마트폰+통신망 인프라 위에서 수익을 창출했듯, AI 모델도 수익을 창출해야 할 시점에 왔다는 겁니다. 1조 원을 투자받았던 회사는 그 다음번엔 2조 원을 투자받아야 합니다. 만일 5000억 원 투자로 내려간다면 '거품이었다'는 이야기가 나올 것입니다.
AI는 인프라 관점에서 엄청난 발전을 이뤘지만, 이를 통해 수익을 창출하는 것은 아직 멀게 느껴집니다. 개인 생산성을 일부 향상시켰다는 연구는 있지만, 기업 수익성이나 생산성을 획기적으로 개선한 사례는 없습니다. 카카오톡이나 인스타그램처럼 만인의 일상에 완전히 스며든 AI 서비스가 나오지도 못했습니다. 아직 시작도 못한 거죠.
시간이 필요한 상황입니다. 그러나 AI 기술에 막대한 자본이 투자된만큼 시장이 너그럽게 기다려줄 수 있는지가 중요합니다. 시장의 기대를 충족하며 시간을 벌기 위해서는 새로운 성과를 보여줘야 합니다. 2025년이 바로 그 변곡점이 될 가능성이 큽니다.
본론: AI 산업의 5계층
AI 산업을 이해하려면 먼저 산업 분야를 명확히 구분해볼 필요가 있습니다. 제가 생각하는 AI 산업의 핵심 계층을 다섯 가지로 나눠 소개하겠습니다. (참고로 애플리케이션 시장과 엔터프라이즈 시장을 함께 묶어 ‘AI 서비스 시장’으로 보는 시각도 있지만, 대상과 시장 규모가 너무 다르기 때문에 저는 분리해서 소개하려 합니다.)
모델 계층
ChatGPT, Claude, Gemini처럼 우리에게 익숙한 AI 서비스의 핵심 엔진에 해당합니다. 이는 컴퓨터나 스마트폰의 운영체제(iOS, Windows)와 비슷한 역할을 합니다. 특정 작업에 특화된 모델(영상 생성, 이미지 편집 등)도 여기에 포함됩니다.
애플리케이션 계층
1번에서 개발된 AI 모델을 활용해 실제 서비스를 제공하는 B2C 영역입니다. 개인 사용자와 직접 접촉하며 우리가 일상적으로 사용하는 AI 기반 앱이나 서비스가 이 범주에 속합니다.
엔터프라이즈 AI 계층
B2B 시장을 겨냥한 기업용 AI 솔루션입니다. AI 기반 CRM 시스템, 기업 데이터 관리, AI 모델 학습을 돕는 각종 기업용 서비스가 여기에 포함됩니다.
AI 인프라 계층
AI 모델을 돌리기 위해 필요한 자원들로, 칩 제조사(Nvidia, 삼성전자, SK하이닉스), 클라우드 업체(AWS, GCP, Microsoft Azure) 등 하드웨어와 관련된 제조사 및 서비스 제공업체가 속합니다.
기타 산업
소형 원자로(SMR), 로봇, 국방산업, 양자컴퓨터, AI 반도체(NPU) 등 현재는 AI 핵심 산업이라고 부르기 어렵지만, 향후 엄청난 가능성을 가진 분야들입니다.
1. 모델계층: AI 혁신의 엔진
AI 모델은, ChatGPT와 Claude처럼 우리에게 친숙한 이름들도 있지만, 본질적으로는 연구를 통해 개발된 기술적 엔진입니다. 지금까지 대부분의 AI 성과가 이 모델 계층에 초점이 맞춰져 있습니다. 이 모델들을 이해하려면 크게 두 가지가 중요합니다.
(1) 모델의 학습(Training)
(2) 모델의 추론(Inference)
AI 모델은 현재 API 비즈니스를 통해 수익화되고 있습니다. 비공개 모델(ChatGPT, Claude, Gemini)과 오픈소스 모델(Llama, Qwen 등)로 나뉘어 운영됩니다. 이는 스마트폰 시장의 iOS(애플, 비공개)와 안드로이드(구글, 공개)의 구도에 비유할 수 있습니다.
2024년은 AI 모델의 질적·양적 성장이 폭발적이었던 해였습니다. GPT-4.0과 Claude Sonnet 같은 범용 모델이 높은 성능을 보여줬고, Gemini-mini와 GPT-4.0 mini 같은 경량 모델도 주목받았습니다. 특히 경량 모델은 저렴한 비용으로 뛰어난 성능을 낼 수 있다는 점에서 중요한 의미를 갖습니다.스마트폰에 비유하자면 삼성의 갤럭시 보급형 시리즈와 같습니다.
그리고 이제는 단순히 텍스트를 생성하는 AI 모델만 발전하고 있는 것이 아닙니다. 2024년에는 OpenAI의 Sora, Google의 Veo2, Bytedance의 영상 생성 AI 등 영상과 이미지를 만들어내는 분야에서도 혁신적인 성과가 나왔습니다. 특히 주목할 만한 점은 대부분의 오픈소스 모델들이 비공개 모델의 성능에 근접했다는 것입니다.
오픈소스 모델은 AI 모델의 핵심 구성 요소(가중치)를 전부 공개하여, 사용자가 직접 수정하거나 커스터마이징할 수 있는 장점이 있습니다. AI에 대한 기본적인 지식만 있다면, 데이터를 추가로 학습시키거나 모델을 수정해 기업에 적합한 서비스를 구축할 수도 있습니다. 또한 보안이 중요한 환경에서는 오픈소스 모델이 더 적합한 선택지가 될 수 있습니다.
현재까지는 공개 모델들이 비공개 모델인 ChatGPT나 Claude Sonnet에 비하면 성능이 다소 떨어지지만, 3~4개월 간격으로 성능 격차를 빠르게 좁히고 있는 중입니다. 미국에서는 메타(Meta)가, 중국에서는 알리바바(Alibaba)가 이 분야에서 빠른 속도로 뛰어난 모델들을 개발하고 있습니다.
2025년 AI 모델 개발의 과제
AI 모델 개발은 지금 중대한 기로에 서 있습니다. 기존의 Scaling Law(스케일링 법칙), 즉 모델 크기를 키우고 데이터를 단순히 늘리는 방식으로는 더 이상의 획기적인 발전을 기대하기 어려워졌습니다. 지금까지 모델 발전은 대부분 스케일링 법칙에 의존했지만, 이제는 새로운 질문에 직면해 있습니다. "무엇으로 AI 모델을 더 똑똑하게 만들 것인가?" 라는 것이죠.
모델 개선을 위한 두 가지 주요 접근법이 현재 시도되고 있습니다. 첫 번째 방법은 '더 똑똑한 모델'을 만드는 것입니다. 두 번째 방법은 '다양한 데이터를 학습'시키는 것입니다.
1) 더 똑똑하게 만드는 모델 (추론형 모델)
추론형 모델은 학습된 지식과 데이터를 바탕으로 최상의 답변을 도출하기 위해 복잡한 과정을 거칩니다. 대표적으로는 GPT-o1이 있습니다. 이 모델은 논문이나 각종 지식을 학습하는 단계를 반복하며, 결과를 생성하기 전 수백 번의 추론 과정을 거쳐 사용자가 요청한 최적의 답을 내놓습니다. 이를 Chain of Thoughts(COT) 방법론이라고 부릅니다. 이 방식은 AI 모델 학습의 현재 주요 화두 중 하나입니다.
2) 멀티모달 학습과 다양한 데이터 활용
두 번째 방식은 텍스트 외에도 이미지, 영상, 소리 파일 등 다양한 형태의 데이터를 학습하는 멀티모달(multimodal) 학습입니다. 또한 AI 스스로 합성하거나 생성한 데이터를 활용해 학습을 진행하면, 모델이 더욱 고도화될 수 있습니다. 이러한 접근은 AI 모델의 지적 능력을 더욱 넓히고 심화시키는 데 중요한 역할을 합니다.
그럼 이런 AI 모델로 무엇을 할 수 있을까요? 현재 가장 주목받는 것은 2024년 하반기부터 급부상한 ‘AI 에이전트’ 개념입니다. OpenAI, Google, Claude 등 주요 기업들은 이 에이전트를 개발하기 위해 노력하고 있습니다. 이들이 2025년 상반기 출시할 서비스 대부분이 에이전트와 관련될 것으로 보입니다.( 여기에 대해서는 '2. 애플리케이션/서비스 계층'에서 더 자세히 설명하겠습니다.)
AI 모델을 실제로 적용하고 사용하는 데에는 여전히 많은 기술적 과제도 남아 있습니다. 현재로서는 RAG 지식 데이터베이스와 같은 자체 데이터베이스를 구축하는 것 외에는 AI가 잘못된 정보를 생성하는 것('할루시네이션')을 효과적으로 제어할 방법이 많지 않습니다. 기업에서 기존의 비즈니스 데이터와 AI 시스템을 통합하는 작업 역시 쉽지 않은 상황입니다.
또한, 현재 AI가 한 번에 처리할 수 있는 단어의 양에도 한계가 있습니다. 지금은 일반적으로 A4 용지 10장 이내의 텍스트만 처리할 수 있습니다. 시간도 오래 걸립니다. 무언가를 구글에서 검색하면 1초도 안 걸려서 결과를 도출하지만, AI 모델로 검색하면 이보다 훨씬 더 긴 시간이 소요될 수 있습니다.
이처럼 AI 모델이 가진 기억력에도 분명한 한계가 있습니다. 여기에 더해, AI를 활용하기 위한 API 비용과 서버 비용 역시 상당히 높은 편입니다. 심지어 ChatGPT 같은 비공개 모델 대신 오픈소스 모델을 사용하더라도, 수천만 원에서 수억 원에 이르는 고가의 그래픽카드(GPU)를 구입해야 합니다. 그뿐만 아니라, 이 모델을 제대로 커스터마이징하려면 높은 연봉을 요구하는 숙련된 AI 연구자와 엔지니어가 필요합니다. 이처럼 현재로서는 AI 모델을 활용하려는 시도 자체가 상당한 리스크를 동반한다고 볼 수 있습니다.
정리하자면, 지금까지의 AI 모델 발전은 AI 산업 전체의 발전과 밀접하게 연결되어 있었다고 할 수 있습니다. 여기에 더해, 중국과 미국 간의 기술 경쟁이 이 분야의 열기를 더욱 뜨겁게 만들고 있습니다. 비공개 모델과 오픈소스 모델 진영 간의 경쟁 역시 치열하게 전개되고 있는 상황입니다.
2025년에는 이러한 기술적 과제들을 해결하며, 더욱 실용적이고 효율적인 모델들이 등장할 것으로 기대됩니다. 다만, 이 새로운 모델로 무엇을 할 수 있을지는 여전히 중요한 질문으로 남아 있습니다. AI 모델이 지금까지 훌륭하게 발전해 왔다고는 하지만, 그 모델이 실제로 어떤 유용한 가치를 창출할 수 있을지가 앞으로의 관건이 될 것입니다.
2. 애플리케이션/서비스 계층: AI의 실전 무대
모델을 잘 만들었다면, 그 다음 단계에서는 이 모델을 통해 의미 있는 고객층을 확보하고 수익을 창출해야 합니다. 이 과정에서 중요한 역할을 하는 것이 애플리케이션/서비스 계층입니다. 이는 우리가 잘 알고 있는 B2B 영역, 즉 수천만 명의 사용자가 일상적으로 사용하는 인스타그램, 우버, 카카오톡과 같은 서비스를 만들어내는 것입니다.
2025년 1월 현재, AI 애플리케이션은 크게 두 가지 방향으로 발전하고 있습니다.
2025년에 가장 주목받는 트렌드는 바로 ‘AI 에이전트’ 시장입니다. AI 에이전트란 사용자를 대신해 특정 목표를 달성하기 위해 작업을 수행하는 AI 시스템을 의미합니다. 예를 들어, Google의 Gemini 모델을 활용한 Astra는 다양한 서비스에 AI 에이전트를 적용하려는 대표적인 사례입니다. 또한, Anthropic은 Claude 모델을 활용해 컴퓨터를 제어하고, AI가 알아서 웹 브라우저를 조작하도록 설계한 서비스를 출시했습니다. 현재까지는 이 두 회사가 AI 에이전트 시장을 선도하고 있으며, 곧 OpenAI에서도 관련 제품을 출시할 예정이라고 합니다.
AI 에이전트의 가장 큰 강점은 기존 스타트업 시장에서 중심이 되었던 특정 업무를 단순히 ‘잘’ 수행하는 것을 넘어, 여러 업무를 하나로 묶어 ‘과정’ 전체를 대체할 수 있다는 점입니다. 이를 통해 단순히 개별 작업이 아니라, 더 큰 목표를 달성할 수 있도록 돕는 것이죠.
영화 Her를 기억하시나요? 영화 속에서 주인공 테오도르는 핸드폰과 연결된 인공지능과 상호작용하며 도시를 탐방하고 대화를 나눕니다. AI는 도시의 건물이나 도로를 파악하며, 단순한 정보 제공을 넘어 테오도르가 여행의 “과정” 자체를 즐길 수 있도록 돕습니다. 이는 단순히 특정 업무를 처리하는 것이 아닌, 인간과의 상호작용을 통해 전체적인 경험을 완성하는 AI 에이전트의 핵심 개념을 보여줍니다.
이러한 상호작용 중심의 AI 에이전트 개발에 있어서는 특히 구글이 선도적인 역할을 하고 있습니다.
또 다른 예를 들어보겠습니다. 보통 항공권을 구매하려면 여러 최저가 항공권 사이트를 검색하고, 가격을 비교한 뒤, 카드 할인 혜택까지 고려해야 하는 복잡한 과정을 거쳐야 합니다. 그러나 이제는 AI에게 "항공권을 구매해줘"라고 요청하면, 이 모든 과정을 AI가 대신 처리합니다. AI는 최저가를 찾아 구매를 완료하고, 최종적으로 항공권만 사용자에게 전달합니다.
AI 에이전트의 핵심은 사람이 하던 복잡한 ‘일련의 과정’을 모두 대체하는 것에 있습니다. 따라서 이러한 AI 시스템에 대한 신뢰가 무엇보다 중요합니다. 더불어, 서비스를 제공하는 기업은 AI 에이전트가 이 과정에서 문제없이 작동하도록 보장할 책임이 있습니다.
며칠 전(1월 24일), OpenAI에서도 Operator라는 AI 에이전트를 출시했습니다. 이 에이전트는 사용자가 직접 핸드폰을 조작하지 않아도, AI가 스스로 웹 브라우저를 조작해 원하는 요리 재료를 구매하는 기능을 수행합니다. 이는 AI 에이전트가 실생활에서 어떤 방식으로 활용될 수 있는지를 보여주는 좋은 사례입니다.
AI 에이전트를 제외하면, ‘버티컬 AI’ 시장도 또 하나의 큰 시장으로 떠오르고 있습니다. 버티컬 AI는 특정 분야에 집중한 서비스를 의미합니다.
기존에도 한 가지 분야만 잘 파고들어 성공하는 ‘버티컬 시장’ 사례는 많았습니다.
AI 분야에서는 코딩(GitHub Copilot), 마케팅, 고객 지원, 전문직(법률 - Harvey.ai, 바이오 - Woebot), 실버 산업(케어콜) 등에서 AI가 개별 인간의 생산성을 높이거나, 인턴급 업무를 대체하는 수준까지 발전했습니다.
특히 이러한 버티컬 AI는 기존에 자신들만의 데이터를 잘 모아온 회사들이 유리합니다. 이들은 축적된 데이터를 AI 모델과 결합해 더 뛰어난 성능을 발휘할 수 있으며, 사용자 경험(UX) 또한 크게 개선할 수 있습니다. 전문성을 갖춘 데이터를 꾸준히 모아왔던 기업들은 원인과 결과가 분명한 작업들부터 하나씩 적용하며 성공적인 사례를 만들어가고 있습니다
<출처: weights.gg>
소비자 시장(consumer market)에서는 아직 큰 변화는 없지만, 점차 새로운 사례들이 나타나고 있습니다. 예를 들어, weights.gg와 같은 플랫폼에서는 다양한 유형의 콘텐츠를 생성할 수 있습니다. AI는 캐릭터를 바탕으로 동영상부터 소설까지 각양각색의 이야기를 만들어내고, 사용자는 이 이야기의 주인공과 대화를 나누며 더욱 몰입감 있는 경험을 즐길 수 있습니다. 이렇게 나만의 독창적인 이야기를 생성할 수 있는 것이죠.
또한, 미국에서는 character.ai처럼 다양한 성격을 가진 가상 캐릭터를 생성하고, 이들과 채팅할 수 있는 서비스도 주목받고 있습니다. 이러한 AI 기반 서비스들은 범용적으로 인기 있는 시장보다는 서브컬처 시장에서 먼저 확산되는 경향을 보이고 있습니다.
AI B2C 시장의 핵심은, 우리가 알고 있는 기존의 성공 전략이 아직 적용되지 않는다는 점입니다. 이 시장은 이제 막 시작 단계에 있기 때문에, 기존의 성공 전략이 유효하다고 볼 수 없습니다. 과거에는 유저를 대거 확보해 네트워크 효과를 통해 수익을 창출하는 방식이 주된 성공 전략이었습니다. 그러나 AI 시장에서는 개개인의 특수성에 맞춘 맞춤형 경험이 성공의 가능성을 높이는 핵심 요소가 되고 있습니다.
그렇다면, 제품을 단순히 ‘잘’ 만드는 것이 성공을 보장할까요? 이 질문에 대한 답도 AI 시장에서는 조금 다르게 접근해야 합니다. AI는 사용자가 하던 복잡한 과정을 자동으로 처리해주는 역할을 하므로, 소비자가 직접 접하게 되는 제품의 ‘디자인’이 기존과는 다른 관점에서 설계되어야 하기 때문입니다.
우리가 알고 있는 모바일 앱 혁명을 이끌었던 UX 디자인 또한 완전히 새로운 방식으로 변화할 것입니다. 일반 사용자는 더 이상 검색하고, 선택하고, 정보를 정리할 필요조차 없게 됩니다. 따라서 AI 모델을 활용한 UX 디자인의 성공 사례를 찾아내는 것이 향후 주목해야 할 부분이 될 것입니다.
2025년에 가장 큰 도전과제이자, 새롭게 일어날 가능성이 높은 요소는 독창적인 ‘킬러 앱’의 성공입니다. 이전과는 완전히 다른 서비스가 등장하거나, 기존과는 전혀 다른 방식으로 유명해진 서비스를 목격하게 될 가능성이 큽니다.
예를 들면, 코딩 능력이 전혀 없는 사람이 만든 AI 기반 앱 서비스가 앱스토어 상위 30위 안에 진입하거나, 소셜 미디어에서 AI 캐릭터가 사용자를 대신해 활동하는 등 완전히 새로운 형태의 서비스가 탄생할 가능성이 있습니다. 이러한 변화는 기존 성공 전략의 패러다임을 바꾸고, AI B2C 시장의 새로운 전환점을 만들어낼 것입니다.
3. 엔터프라이즈 AI: 디지털 혁신의 핵심 동력
잘 알려지진 않았지만, 2020년부터 2024년까지 이어진 스타트업 열풍의 중심에는B2B 기반의 SaaS 시장이 있었습니다. 기업용 AI 시장은 현재 가장 주목받는 전장 중 하나이며, 성공 가능성이 매우 높은 시장으로 평가받고 있습니다. 이는 골드러시 당시 가장 많은 돈을 번 사업이 금광 채굴이 아닌 청바지 판매였다는 이야기에 비유할 수 있습니다. 하나하나의 기업용 서비스가 시장 자체를 엄청나게 키우고 있는 것입니다.
예를 들어, HR 시장만 해도 200조 원 규모로 추산되며, 세일즈 및 마케팅 영역은 무려 1,500조 원 규모에 이를 것으로 보고 있습니다.
엔터프라이즈 시장은 크게 두 가지로 나눌 수 있습니다. 첫 번째는 대기업의 기존 업무를 AI로 대체하거나 CRM을 개선하는 디지털 트랜스포메이션이고, 두 번째는 MLOps 시장으로, 일반 기업이 AI 모델을 효과적으로 만들고 관리하며 성능을 높이고 복잡한 AI 서비스를 제공할 수 있도록 돕는 기술적 지원입니다. 이 두 시장 모두 각각 수백조 원 규모로 성장하고 있습니다.
Foundation Capital 등 여러 유수한 VC(벤처캐피털)의 분석에 따르면, 디지털 트랜스포메이션 영역에서 AI의 역할은 다음과 같은 3단계로 진화하고 있다고 평가됩니다.
(예: 문서 작업 - Office → Canva, Slack / 검색 작업 - Google → Perplexity)
(30~100% 생산성 향상)
현재 AI 기술은 이제야 1단계를 막 진입한 상황이며, 앞으로 이 시장에서 가장 많은 변화가 일어날 것으로 보입니다.
간단한 사례로 Glean이 있습니다. 현재 미국에서 가장 주목받는 AI 서비스 기업 중 하나입니다. 이 회사는 기업 내부를 위한 맞춤형 AI 도구를 개발하여 문서 작성 작업을 효율화하는 생산성 도구를 제공합니다.
또 다른 예로, 2024년 12월에는 미국 CRM 시장의 가장 큰 회사인 세일즈포스(Salesforce)가 AgentForce라는 AI 서비스를 발표했습니다. 이 서비스는 기존의 CRM 플로우와 마케팅 프로세스 전반을 AI가 도와주는 툴로, 기업의 업무를 크게 혁신할 가능성을 보여주고 있습니다.
다소 복잡한 분야이지만, MLOps(Machine Learning Operations) 시장 또한 주목할 만합니다. 이 시장은 엄청난 양의 데이터를 다루며, AI를 효과적으로 운영하기 위해 데이터를 조작하고 정리할 수 있는 다양한 도구와 솔루션을 제공합니다. 예를 들면:
이처럼 MLOps는 AI 모델 개발과 운영을 위한 필수적인 지원을 제공하며, 관련 기업들은 빠르게 성장하고 있습니다. 많은 회사가 이미 유니콘 기업으로 자리 잡았으며, 이 분야는 앞으로도 계속 확장될 것으로 보입니다.
하지만 B2B 시장에서 성공하기 위해서는 몇 가지 중요한 과제를 해결해야 합니다. 단순히 기업의 기존 CRM 툴을 10~20% 개선하는 수준으로는 부족합니다. 2~10명의 인력을 대체할 수 있을 정도로 획기적인 생산성 향상을 이루어야 기업들이 AI CRM 툴을 적극적으로 도입할 것입니다.
또한, 다음과 같은 과제들도 해결되어야 합니다.
이러한 문제들을 해결하는 기업들만이 B2B AI 시장에서 성공할 수 있을 것입니다.
4. AI 인프라 계층: 하드웨어
<ChatGPT 출시후 Nvidia의 주가 모습>
AI 인프라 시장은 단연 Nvidia가 주도하고 있습니다. 현재 상황은 Nvidia로 시작해서 Nvidia로 끝난다고 표현해도 과언이 아닙니다. ChatGPT 출시 이후 Nvidia의 주가가 폭발적으로 상승한 것이 이를 잘 보여줍니다. AI 관련 제품을 개발하거나 운영하기 위해서는, 모델의 학습이나 추론 과정 어디에서나 Nvidia의 그래픽카드가 필수적입니다.
2022년에 출시된 Nvidia의 H100 GPU는 효율적이고 뛰어난 AI 모델 학습과 추론에 필수적인 요소로 자리 잡았습니다. 참고로 한국에서는 H100을 아직 구할 수도 없는 상황입니다. 2024년에는 Nvidia가 블랙웰(Blackwell) 칩을 출시하기 시작했는데, 이는 기존의 하드웨어 아키텍처를 뛰어넘어 데이터센터의 구조 자체에 변화를 일으키며 더 큰 시장을 목표로 하고 있습니다.
한국의 SK하이닉스와 같은 회사들의 폭발적인 성장도 Nvidia와 밀접한 관련이 있습니다. HBM(High Bandwidth Memory)이라는 부품은 Nvidia GPU의 성능을 최대로 끌어올리기 위해 필수적이며, 이로 인해 관련 부품을 생산하는 기업들 또한 성장의 혜택을 받고 있습니다.
하지만 이 시장에는 몇 가지 한계와 문제가 존재합니다. 첫째, Nvidia의 H100 GPU는 가격이 매우 비싸며, 구하기조차 어렵습니다. H100의 가격은 5000~6000만 원 정도에 이르며, 한국에서는 제품을 직접 구경하는 것조차 쉽지 않은 상황입니다. 둘째, 정치적 요인도 문제를 더 복잡하게 만듭니다. 미국과 중국 간의 분쟁으로 인해, 중국과 사우디아라비아 같은 일부 국가에서는 앞으로 Nvidia GPU를 구하기가 더욱 어려워질 전망입니다. AI가 본격적으로 확산되기도 전에, 이처럼 GPU 부족 문제가 커진다면 미래에는 얼마나 많은 GPU가 필요할지 상상하기조차 어렵습니다. Nvidia의 주가가 지난 몇 년간 폭등한 것도 바로 이러한 맥락에서 이해할 수 있습니다.
Nvidia의 독점적 지위로 인해 AMD, Broadcom과 같은 기업들도 AI 반도체 시장에서 조금이라도 입지를 확보하기 위해 분투하고 있습니다. 탈 Nvidia 진영을 구축하려는 시도들이 점차 이루어지고 있으며, GPU를 대체할 수 있는 AI 전용 반도체가 점차 떠오르고 있습니다. 이러한 대안칩들은 AI 모델을 구동하거나 학습시키는 데 사용될 가능성이 큽니다.
또한, Nvidia 의존도를 낮추기 위해 GPU 사용량을 상대적으로 줄일 수 있는 새로운 기술들도 개발되고 있습니다. 하지만 여전히 Nvidia의 경쟁자가 부족하다는 점이 큰 문제입니다. 단기간 내에 Nvidia를 넘볼 만한 기업은 거의 없으며, 지금까지 구축해온 소프트웨어와 하드웨어 생태계 덕분에 최소 몇 년간은 Nvidia가 시장을 선점할 가능성이 높습니다. AMD는 가장 유력한 도전자 중 하나로 꼽히지만, 현업에서 듣는 이야기로는 여전히 큰 격차가 있다고 평가받고 있습니다.
AI 인프라와 관련해서는 클라우드 시장도 주목할 필요가 있습니다. AWS, GCP(Google Cloud Platform), Microsoft Azure와 같은 대형 클라우드 서비스 제공업체들은 Nvidia의 장비를 대량으로 구매하여 AI 인프라를 확장하고 있습니다. 이들은 이전에는 존재하지 않았던 초대형 데이터센터를 구축하며, AI 모델 운영에 필요한 엄청난 컴퓨팅 파워를 제공합니다.
초기에 언급한 빅테크 기업들의 200조 원 투자비용 중 상당 부분은 바로 이러한 장비 구매에 쓰였습니다. 현재까지 AI 열풍으로 생긴 돈은 대부분 AI 인프라 확장으로 흘러갔다고 해도 과언이 아닙니다.
5. AI 관련 기타 산업
위에서 이야기했던 AI 산업 외에도 앞으로 떠오를 가능성이 큰 여러 산업이 존재합니다.
소형 모듈형 원자로(SMR)
그래픽카드를 가지고 있다 해도 데이터센터를 가동할 전력이 없다면 아무 소용이 없습니다. AI 모델 하나를 학습하는 데만 대도시 전체 전력에 준하는 막대한 에너지가 소요됩니다. 이러한 전력 부족 문제를 해결하기 위해 소형 모듈형 원자로(SMR)가 주목받고 있습니다. SMR은 데이터센터의 전력 수요를 충족하기 위한 핵심 기술로 평가됩니다.
빌 게이츠가 투자한 미국의 테라파워(TerraPower)와 중국의 CNNC(China National Nuclear Corporation)는 SMR 기술 개발을 두고 치열하게 경쟁 중입니다. 이는 AI 모델 운영에 필요한 막대한 전력 수요를 해결할 잠재력을 가진 혁신적 대안으로 자리 잡고 있습니다.
로봇공학
유니트리(Unitree)의 G1 같은 AI 기반 휴머노이드 로봇들이 등장하면서 로봇공학 분야 역시 급격히 성장하고 있습니다. Nvidia는 2025년 CES에서 새로운 로봇 플랫폼을 발표하며 이 분야의 주도권을 확보하려는 움직임을 보였습니다.
유니트리의 휴머노이드 제품은 약 2000만 원 수준으로, 동급의 미국 및 한국 제품들(2억 원 이상)보다 훨씬 저렴합니다. 앞으로 물리적 세계와 AI 기술의 결합이 어떻게 진화할지 주목해 볼 필요가 있습니다.
AI 전용 반도체(NPU)
AI 전용 반도체(NPU, Neural Processing Unit)도 중요한 성장 영역입니다. 미국의 Groq, Cerebras, 한국의 Rebellions 등 여러 기업이 AI 전용 칩을 개발 중이며, 이 시장은 2032년까지 약 2274억 달러 규모로 성장할 전망이라 합니다.
NPU는 기존 GPU를 대체할 효율적인 AI 연산 솔루션을 목표로 하고 있습니다. 다만, 현재까지는 AI 모델 학습을 완전히 지원할 수 있는 칩은 아직 개발되지 않았습니다. 하지만 이 분야의 발전 속도를 감안할 때, NPU가 미래의 AI 인프라 핵심 기술로 자리 잡을 가능성이 큽니다.
양자컴퓨팅
양자컴퓨팅은 AI 연산 능력의 한계를 뛰어넘을 수 있는 혁신적인 기술로 평가받고 있습니다. 그러나 아직 초기 단계에 머물러 있으며, 실용화되기까지는 갈 길이 멉니다. 그럼에도 불구하고, AI와 양자컴퓨팅의 결합이 향후 기술 혁신에 어떤 영향을 미칠지 기대를 모으고 있습니다.
마치며
지금까지 AI 산업 전반과 그와 관련된 주요 영역들을 살펴보았습니다.
2025년은 AI 산업에 있어 매우 중요한 변곡점이 될 것으로 예상됩니다. AI 모델은 이제 기술적 성숙기에 접어들었다고 평가되며, ChatGPT, Claude, Gemini와 같은 혁신적 성과는 이제 실질적인 비즈니스 가치 창출로 이어져야 할 시점에 도달했습니다.
지금까지의 투자와 기술 발전이 실제 비즈니스 성과로 이어지지 않는다면, AI 산업은 또 다른 거품으로 전락할 가능성도 있습니다. 그러나 이 시기를 잘 활용한다면, 인터넷과 모바일 이상의 새로운 혁신 시대를 열 수 있을 것입니다.
AI라는 거대한 변화의 중심에서, 올바른 방향으로 발전이 이루어지기를 바랍니다. 그리고 저도 오호츠크를 통해 앞으로도 더 다양하고 깊이 있는 내용과 신속한 정보를 독자들에게 전달할 수 있도록 최선을 다하겠습니다.
(이동근 필자의 Zoom 세션 참여 링크)