AI 추론 시장, 엔비디아 CPX vs ASIC: 왜 승부의 판은 아직도 엔비디아 손에 있는가 (ft. Nebius & CoreWeave)

버블이 아닌, 숫자가 증명하는 AI 판도

한동안 나도 “AI가 버블 아니냐”라는 얘기를 꽤 진지하게 들여다봤다.

주가가 너무 빠르게 오르고, 기대감만 반영되는 것 같았으니까,,

2025.08.23 - [[투자Note] 주식 리서치] - AI 버블 터지나..? 투자 심리 식어가는 9월 증시

 

그런데, 최근 들어서는 단순한 기대가 아니라 실적과 계약이라는 구체적인 숫자가 이 논리를 반박하고 있다.

9월 9일 마이크로소프트의 26조원 규모의 Nebius 클라우드 계약, 오라클의 Stargate 프로젝트 기반 수주잔고 급증, 이로 인한 주가 상승,, 이런 호재들이 실제로 3분기 실적에 반영되며 기업들의 AI 투자가 단순한 스토리가 아니라 현실이 되어가고 있다.

네비우스가 마이크로소프트와 체결한 174억 달러 규모 계약

네비우스 계약 발표 당일 주가상승률

 

덕분에 하이닉스 같은 국내 반도체 기업들도 연초 대비 주가가 크게 뛰었고, 최근 한 달간 약 40%까지 상승하며, 삼성전자와 같이 코스피를 이끄는 주역이 됐다.

즉, AI가 '허상'이라고 하기엔, 이제 너무 많은 숫자가 뒷받침되고 있다는 거다.

 

 

학습에서 추론으로, 새로운 시장이 열린다

지금까지 AI 인프라 시장은 학습 중심이었다.

GPT-4 같은 모델을 훈련하려면 엄청난 양의 GPU가 필요했고, Hyperscaler들이 데이터센터를 확장하며 이 수요를 독식했다.

하지만 앞으로는 이야기가 조금 달라진다.

 

모델을 한 번 학습시키는 데는 엄청난 자원이 들어가지만, 그건 일회성 작업에 가깝다.

반면 서비스에 올라가고 나면 얘기가 달라진다.

우리가 챗GPT에 질문을 던질 때마다, 이미지를 뽑을 때마다, 음성을 글자로 변환할 때마다 매번 추론이 실행된다.

즉, 한 번 만든 모델이 실제 서비스로 들어가면 이용자가 늘어날수록 추론 요청은 끝도 없이 불어나고,

그 부담은 학습 때보다 훨씬 커진다. 그래서 지금 시장이 주목하는 무대는 점점 추론 인프라로 옮겨가고 있다.

 

 

왜 추론은 (Bare-metal이 아닌) Full-stack이 중요한지

학습은 거대한 GPU 팜만 있으면 Hyperscaler들이 내부 툴체인으로 알아서 돌리지만, 추론은 다르다.
추론은 곧 서비스이기 때문이다.

 

비유하자면, 학습은 자동차를 조립하는 공장이고, 추론은 택시 서비스다.
공장은 로봇팔만 있으면 숙련공들이 설계도대로 차를 찍어낼 수 있다. 그래서 학습 단계에서는 CoreWeave 같은 베어메탈 GPU 업체가 잘 통한다. GPU 서버만 제공하면 Hyperscaler가 자체 툴체인으로 모델을 조립할 수 있기 때문이다.

(Hyperscaler의 자체 툴체인이라 하면 PyTorch, TensorFlow, Megatron 등)

 

하지만 택시 서비스는 다르다. 차만 있다고 굴러가지 않는다. 배차 시스템, 네비게이션, 요금 정산, 고객 앱까지 모두 있어야 실제 서비스가 굴러간다. 추론도 마찬가지다. 단순히 GPU 서버만 있다고 되는 게 아니다.

 

실제 서비스 단계에서는 응답 속도(latency)가 고객 경험을 갈라놓고, 동시 접속자가 수만 명 늘어날 때 자동으로 서버를 늘릴 수 있는 스케일링(autoscaling), 그리고 한 쿼리마다 얼마나 전기를 먹고 비용이 드는지를 실시간으로 관리하는 비용 최적화(cost minimization)까지 필요하다. 이런 이유로 추론 시장에서는 풀스택 오케스트레이션이 필수다.

Lambda나 Nebius 같은 업체들이 GPU만 빌려주는 게 아니라, 이런 소프트웨어 레이어까지 함께 제공하면서 “바로 API로 붙여 쓰는” 경험을 만들어주는 이유가 바로 여기에 있다.

 

즉, 학습 = 베어메탈 중심, 추론 = 풀스택 중심이라는 말은, 학습은 하드웨어만 있으면 Hyperscaler가 알아서 다 할 수 있지만, 추론은 서비스 운영 자체가 목표라서 하드웨어 + 소프트웨어를 통합한 풀스택이 훨씬 유리하다는 뜻이다.

 

 

엔비디아 CPX의 등장, 그리고 ASIC과의 경계

이런 맥락에서 엔비디아가 9월 10일에 새로 공개한 Rubin CPX(추론 특화 GPU)는 굉장히 상징적이라고 본다.

엔비디아 루빈CPX

 

CPX는 효율성을 높이기 위해 설계된 GPU지만, 여전히 CUDA 생태계와 호환된다.

즉, 기업 입장에서는 새로운 칩으로 옮겨갈 때 추가 비용이 거의 없다. 

 

반대로, ASIC 추론 칩은 특정 워크로드에선 엔비디아보다 훨씬 효율적이다. (적어도 그렇다고 한다..)

예를 들어 Transformer 블록, LLM 디코딩, Attention 연산 같은 데서는 GPU보다 와트당 성능(Perf/Watt)이 월등히 높다.

 

브로드컴처럼 Hyperscaler 전용 커스텀 칩을 만드는 경우도 있고, 국내에선 리벨리온 같은 업체가 바로 이 영역을 노린다.

그래서 CPX와 ASIC은 서로 겹치는 듯 다른 시장을 겨냥한다. 추론 시장 안에서도 CPX는 범용성, 생태계, 빠른 적용성에서 압도적으로 유리하고, ASIC은 전력·비용 최적화가 절대적인 데이터센터, 단일 LLM API 제공 같은 환경에서 빛을 발한다.

 

 

네오클라우드 - CoreWeave, Nebius 와 비슷한 GPU 클라우드 사업자의 의미

그렇다면 왜 CoreWeave, Lambda 같은 2차 GPU 클라우드가 존재하는 걸까?

 

사실 엔비디아 입장에서는 Hyperscaler만 상대해도 장사가 된다.

하지만 게임의 판을 더 키우려면 네오클라우드의 도움이 필요하다. 

엔비디아가 이들을 키우는 이유는 크게 세 가지라고 생각한다.

 

첫째, 롱테일 수요다.

Hyperscaler만 상대하면 소수의 거대 고객으로 시장이 너무 집중된다. 반면 CoreWeave 같은 업체는 스타트업, SaaS, 연구기관 같은 롱테일 수요를 흡수해 CUDA 사용 저변을 넓혀준다. (즉, 엔비디아 생태계에 롱테일 고객들을 전부 Lock-in 시켜버릴 수 있다.)

 

둘째는 협상력이다.

만약 엔비디아가 칩을 MS, 구글, 아마존 같은 몇몇 Hyperscaler에만 집중적으로 공급한다면, 고객이 소수라서 오히려 이들이 협상력을 쥐게 된다. “우리만큼 GPU를 사줄 곳이 또 있냐? 그럼 가격을 좀 깎아라!” 라는 식으로 나올 수 있는 거다.

 

하지만 CoreWeave나 Lambda 같은 2차 공급자가 시장에서 의미 있는 존재로 커지면 얘기는 달라진다. 엔비디아는 이제 Hyperscaler만 바라보는 게 아니라는 걸, GPU를 공급할 다른 창구가 충분히 있다는 걸 은연중에 보여줄 수 있다. 단순히 GPU를 파는 게 아니라, 고객 포트폴리오를 다변화하면서 협상 테이블에서의 힘을 분산시키는 셈이다.

 

셋째, 시장 확장성이다. 
CoreWeave는 Hyperscaler가 굳이 신경 쓰지 않는 영역에서 새로운 수요를 개척한다. VFX, 게임, 생명과학 같은 워크로드를 최적화해 CUDA 생태계를 산업 전반으로 확산시키는 테스트베드 역할을 하는 것이다. 엔비디아 입장에서는 이 시장이 덩치가 작더라도, CUDA를 더 많은 산업군에 심고, GPU 활용 사례를 늘리는 전략적 발판이 될 수 있다. 

네오클라우드 대표주자 코어위브 - '25년 클라우드 시장점유율(%)

 

 

하지만, 네오클라우드 업체들은 엔비디아의 체스말일 뿐이다

장밋빛만 있는 건 아니다. 리스크도 분명하다.

(첫번째, 두번째는 시장 판도의 변화, 세번째는 기업 펀다멘탈적인 리스크다.)

 

첫번째는 ASIC 칩의 Function 고도화다. 
특정 추론 워크로드에서는 ASIC이 GPU를 압도할 수 있다. 하지만 NVLink, InfiniBand 같은 네트워킹 인프라를 Hyperscaler가 자체적으로 구축하기엔 현실적으로 무리가 있다고 생각한다. 10년 넘게 쌓아온 엔비디아의 통합 생태계를 단기간에 대체하기 어렵다는 얘기다. 아직은 잠재 가능성 정도라고 생각하고, 당장 위협은 아니다.

빅테크 ASIC 칩 - 알파벳 TPU(좌), 아마존 Trainium2(우)

 

두번째는 투자 사이클 리스크다.
AI 인프라 투자가 지금은 공격적으로 이어지고 있지만, 한 번 꺾이기 시작하면 충격이 클 수 있다. 기업이 쓸 수 있는 자금과 리소스는 분명히 제한적이기 때문이다. 메타 같은 빅테크도 시장에서 자금을 조달하며 투자를 이어가고 있는데, 현금창출이 늦어지면 결국 투자 여력에도 한계가 올거다.

빅테크 설비투자 증가 추이

 

골드만삭스 애널리스트 Ryan Hammond는 최근 리포트에서, AI 지출 둔화가 올 경우 S&P 500 전체가 20% 가까이 빠질 수 있다고 경고했다. 그만큼 지금 시장 랠리는 AI 인프라 지출에 크게 의존하고 있다.
https://kr.benzinga.com/news/usa/stocks/%EA%B3%A8%EB%93%9C%EB%A7%8C%EC%82%AD%EC%8A%A4-ai-%EB%91%94%ED%99%94%EA%B0%80-%EC%A3%BC%EC%8B%9D%EC%8B%9C%EC%9E%A5%EC%9D%84-20-%ED%8F%AD%EB%9D%BD%EC%8B%9C%ED%82%AC-%EC%88%98-%EC%9E%88%EB%8B%A4/

 

세 번째는 2차 공급자 리스크다.
CoreWeave·Lambda 같은 업체들이 커지면, 엔비디아가 공급을 줄이거나 가격을 조정할 수 있다. (현 네오클라우드 업체들은 거의 모두 엔비디아의 지분투자를 받은 상태로 협력관계를 유지 중에 있다. 아니, 협력이라기보다 일방적인 도움을 받고 있는 관계라고 볼 수 있겠다.) 생태계 락인 구조상 이들은 결국 엔비디아 칩을 사와야 한다.

네오클라우드 GPU 가격경쟁력

 

다만, 엔비디아 입장에서도 아직까지는 이들이 필요하다. 스타트업·연구기관 수요를 흡수하고 Hyperscaler를 견제하는 역할을 하기 때문이다. 당장은 '키워주되 통제한다' 는 전략이 맞아 보인다. 하지만 장기적으로 균형이 깨질 경우 리스크로 부각될 수 있다.

 

 

AI 시장 현황에 대한 내 생각

다시 말하지만, 전반적인 AI 시장 자체는 이미 많이 올랐다.

 

아직은 초입이지만, 밸류에이션은 생각보다 훨씬 앞서가 있는 것 같다.

다만 매출 성장성과 시장 추정치를 계속해서 넘겨왔기 때문에, 시장은 이를 선반영하며 달려온 것이다.

그런데 만약 앞으로 시장 기대치를 못 넘기거나 성장세가 주춤한다면, 낙관적 시각이 비관적으로 기울면서 단기적 하락은 충분히 나올 수 있다고 본다. (즉, AI 버블은 아니지만 너무 긍정론만 펼쳐지고 있는 시장은 맞다고 생각한다.)

 

결국 장기적으로 AI 붐 안에서도, 기대감이 아닌 실제 숫자를 지속적으로 증명할 수 있는 기업들은 계속 주목을 받을 것이고, 반대로 기대감에 비해 실적 증명이 더딘 기업들은 더 깊은 조정을 받을 수 있는 날이 올 거라고 생각한다.

 

오히려 지금처럼 강세장이 이어지는 구간에서는 한 차례 가벼운 조정이 오고, 그 뒤 다시 상승하는 흐름이 차라리 더 건강한 시나리오라고 본다.