엔비디아 의존도 80%, 구글 TPU 확산이 실제로 바꿀 수 있는 것과 없는 것

AI 반도체를 둘러싼 뉴스가 쏟아지는데, 내 포트폴리오와 어떻게 연결해야 할지 막막했던 적 있으신가요.


엔비디아 주가가 오를 때마다 뒤늦게 산다 싶고,
내려갈 때마다 팔았다가 다시 오르는 경험, 한 번쯤은 있을 겁니다.


구글이 지난 2025년 4월 8세대 텐서처리장치(TPU)를 공개하면서,
그 흐름이 조금씩 달라지고 있다는 신호가 나오고 있습니다.


이 글에서는 구글 TPU 공개가 실제로 AI 반도체 시장 구조를 어떻게 바꾸려 하는지,
그리고 한국 투자자 입장에서 어떤 변수를 봐야 하는지 그 구조를 살펴보겠습니다.

AI 반도체의 역사는 생각보다 짧습니다.


2012년 딥러닝 연구자들이 게임용 그래픽카드(GPU)를 연산에 활용하기 시작했고,
엔비디아는 그 흐름을 제품화해 AI 가속기 시장을 사실상 창조했습니다.


GPU는 원래 3D 게임 렌더링을 위해 수천 개의 연산을 병렬로 처리하도록 설계된 칩입니다.
이 구조가 딥러닝 행렬 연산에 마침 잘 맞아떨어지면서 AI 인프라의 표준이 됐습니다.


구글은 2016년부터 다른 길을 걷기 시작했습니다.
딥러닝 연산만을 위해 처음부터 설계된 주문형 반도체(ASIC)인 TPU를 자체 개발한 것입니다.


초기에는 내부 서비스에만 쓰였지만,
이번 8세대에서는 학습용과 추론용을 아예 분리해 별도로 개발하는 전략을 공식화했습니다.


이 분리가 중요한 이유가 있습니다.
AI 시장의 무게중심이 "모델을 얼마나 잘 훈련시키느냐"에서 "실제 서비스에서 얼마나 빠르고 싸게 응답하느냐"로 이동하고 있기 때문입니다.




시장 참여자들이 기대하는 그림은 이렇습니다.


TPU가 추론 시장에서 GPU를 일부 대체하면, 빅테크의 AI 인프라 비용이 크게 줄어들고,
그 절감분이 서비스 확장과 새로운 투자로 이어진다는 논리입니다.


실제로 특정 워크로드에서 TPU는 GPU 대비 가격 대비 성능이 최대 4배에 달하는 것으로 알려져 있고,
추론 비용은 최대 80%까지 절감 가능하다는 업계 추정치도 나옵니다.


이 변화에서 주목받는 쪽 중 하나가 인텔입니다.
인텔은 올해 1분기 실적 발표에서 AI 데이터센터의 GPU 대 CPU 사용 비중이 과거 1:8에서 최근 1:4로 좁혀졌다고 밝혔습니다.


AI 에이전트가 수십 개 동시에 작동하는 환경에서는 작업 스케줄링과 데이터 흐름 관리를 담당할
범용 프로세서(CPU)의 역할이 다시 커진다는 논리입니다.


한국 메모리 업계에도 수혜 기대가 나옵니다.
1,152개 TPU 칩을 광회로 스위치(OCS)로 연결해 시스템 전체 메모리를 7배 확장하는 설계는
고대역폭메모리(HBM) 채용량 증가로 이어질 수 있다는 관측입니다.


다만 삼성전자와 SK하이닉스 모두 HBM 공급 확대를 위한 설비 투자를 지속 중이라
실제 수혜 규모는 공급 경쟁 강도에 따라 달라질 수 있습니다.




이번 8세대 TPU에서 가장 주목할 설계 변화는 칩 내부 초고속 메모리(SRAM) 용량을 전작 대비 3배 늘린 점입니다.


공식 발표만 보면 단순한 성능 업그레이드처럼 보입니다.
그런데 이 수치가 실제로 의미하는 바를 이해하려면 메모리 구조를 조금 알아야 합니다.


AI 연산에서 가장 큰 병목은 데이터를 외부 메모리(HBM)에서 연산기로 가져오는 시간입니다.
SRAM은 연산기 바로 옆에 붙어 있는 초고속 임시 저장소로, 이 이동 시간을 극단적으로 줄여줍니다.


문제는 SRAM이 매우 비싸고 면적을 많이 차지한다는 점입니다.
구글은 TSMC의 최신 미세공정을 한계까지 활용해 이 비용을 감수하고 SRAM을 3배 늘리는 선택을 했습니다.


이것은 엔비디아가 블랙웰 아키텍처에서 캐시 메모리를 대폭 늘린 전략과 같은 방향입니다.
즉, AI 반도체의 승부처가 "연산 속도"에서 "메모리 효율"로 이동했다는 신호입니다.


다만 이 SRAM 내재화가 심화될수록 외부 HBM에 대한 의존도는 일부 낮아질 수 있습니다.
한국 메모리 업계 입장에서는 HBM 수량 증가와 SRAM 내재화 심화라는 두 방향이 동시에 작용하는 셈입니다.




낙관론의 전제를 흔드는 변수도 분명히 있습니다.


첫 번째는 TPU의 생태계 한계입니다.
엔비디아 GPU는 쿠다(CUDA)라는 소프트웨어 플랫폼 위에 수천 개의 라이브러리와 개발자 커뮤니티가 구축돼 있습니다.
TPU는 성능이 우수해도 기존 코드베이스를 그대로 쓸 수 없어, 전환 비용이 상당합니다.


두 번째는 외부 판매 부재입니다.
구글 TPU는 현재 구글 클라우드 서비스 내부에서만 운용됩니다.
엔비디아처럼 외부에 칩을 판매하는 구조가 아니므로, TPU의 확산이 엔비디아 매출에 미치는 영향은 생각보다 느리게 나타날 수 있습니다.


세 번째는 엔비디아의 대응력입니다.
현재 AI 가속기 시장에서 엔비디아의 점유율은 80~90%입니다.
블랙웰 이후 차세대 플랫폼 준비가 진행 중이며, 소프트웨어 생태계 강화도 지속되고 있습니다.


업계에서는 TPU 확산과 기타 빅테크의 자체 AI 반도체 전략이 본격화할 경우
엔비디아 매출의 최대 10%까지 잠식할 수 있다는 추정이 나오지만, 이는 수년에 걸친 중장기 시나리오입니다.




두 시나리오를 모두 열어두고 대응 전략을 세운다면 이렇게 접근할 수 있습니다.


첫째, 엔비디아 중심 포지션을 단기에 전면 교체하는 판단은 이릅니다.
생태계 락인과 시장 점유율 관성이 워낙 강하기 때문에, 추론 시장 재편이 실제 매출에 영향을 주기까지는 시간이 필요합니다.


둘째, 주목할 지표는 세 가지입니다.
구글·아마존·메타 등 빅테크의 자체 AI 칩 개발 발표 빈도,
AI 추론 서비스 매출 비중의 변화,
그리고 HBM과 커스텀 메모리 수요 데이터입니다.


셋째, 한국 메모리 관련주는 HBM 수요 증가 기대와 공급 경쟁 심화 리스크를 동시에 안고 있습니다.
커스텀 HBM 기술 개발 투자를 확대하는 기업에 분할 접근하는 방식이 단순 선택보다 안전합니다.


넷째, CPU 회복 기대를 받는 인텔은 자체 수익성 개선 속도와 AI 데이터센터 납품 현황을
실제 분기 실적으로 확인한 뒤 판단하는 것이 적절합니다.


어느 한 방향으로 베팅하기보다 핵심 지표의 변화 속도를 보면서 비중을 조절하는 접근이
이 주제에서는 가장 현실적인 전략입니다.




한 줄로 정리하면, 구글 TPU 공개는 엔비디아 독점 구조의 끝이 아니라 다층형 AI 인프라 시대의 시작을 알리는 신호이며, 생태계 전환 속도와 빅테크 자체 칩 확산 비율 두 가지가 앞으로 이 시장의 방향을 결정할 것입니다.




#AI반도체 #구글TPU #엔비디아 #HBM #삼성전자 #SK하이닉스 #인텔 #AI인프라 #2025투자전략 #반도체주