인공지능(AI) 열풍이 불기 시작한 이후,
시장의 스포트라이트는 온통 그래픽처리장치(GPU)로 쏠렸다.
엔비디아의 시가총액이 폭등하고, GPU 품귀 현상이 뉴스 헤드라인을 장식하면서
"이제 AI 데이터센터에는 GPU만 있으면 되는 것 아니냐"는 오해가 널리 퍼졌다.
CPU(중앙처리장치)는 마치 구시대의 유물이나 보조 부품쯤으로 취급받기도 했다.
그러나 실제 거대 AI 시스템을 구축하고 운영하는 빅테크와 데이터센터 엔지니어들의 생각은 전혀 다르다.
AI 인프라가 고도화될수록, 오히려 보이지 않는 곳에서 전체 시스템을 통제하고 조율하는 '서버용 CPU'의 몸값이 치솟고 있다.
아무리 성능이 뛰어난 GPU와 TPU가 넘쳐나도, 이를 받쳐줄 강력한 CPU가 없다면
억 단위의 초고성능 가속기들이 그저 놀고 있을 뿐이기 때문이다.
구글 클라우드가 차세대 AI 하이퍼컴퓨터 인프라인 'TPU 8tx'의 동반자로
AMD의 5세대 에픽(EPYC) 서버 프로세서를 전격 탑재한 사례가 이를 방증한다.
왜 거대 AI의 시대에 서버용 CPU가 다시금 핵심 경쟁력으로 떠올랐는지, 지루하지 않게 4가지 핵심 포인트를 짚어보려고 한다.
1. AI 가속기의 지휘관 - 데이터 오케스트레이션과 병목현상 해결
AI 학습과 추론은 엄청난 양의 연산을 필요로 한다.
그러나 아무리 연산 속도가 빠른 GPU나 TPU가 있어도, 그 연산 칩에 '먹여줄 데이터'가 제때 공급되지 않는다면 아무 소용이 없다. 가속기는 스스로 데이터를 찾아오거나 네트워크를 관리하지 못한다.
이 모든 준비 작업과 지휘를 맡는 것이 바로 호스트(Host) CPU다.
1)데이터 전처리(Pre-processing)의 한계: 인공지능이 학습하고 추론할 데이터는 날것(Raw) 상태로 들어온다. 이를 AI 가속기가 이해할 수 있는 규격으로 잘라내고, 정제하고, 메모리에 배치하는 무거운 작업은 온전히 CPU의 몫이다.
2)오케스트레이션(Orchestration): 수천 대의 GPU가 서로 데이터를 주고받으며 협업할 때, "너는 이 데이터를 처리하고, 너는 저기로 보내라"고 동선을 짜주고 통제하는 관제탑 역할을 CPU가 수행한다.
3)병목현상(Bottleneck) 해소: CPU의 데이터 처리 속도나 I/O(입출력) 대역폭이 가속기 성능을 따라가지 못하면, 가속기가 일거리를 기다리며 놀게 되는 '스타베이션(Starvation)' 현상이 발생한다. CPU가 강해야 가속기의 본전을 뽑을 수 있다.
4)글로벌 빅테크의 선택: 구글이 TPU 8tx에 5세대 AMD 에픽 CPU를 붙인 이유도 바로 이 때문이다. 방대한 연산 흐름을 막힘없이 조율할 수 있는 강력한 CPU 기반이 없으면, AI 가속기는 무용지물이나 다름없다.
2. '사용 중인 데이터'의 절대 장막 - 기밀 컴퓨팅(Confidential Computing)
AI가 기업의 핵심 시스템으로 들어올 때 가장 두려운 시나리오는 무엇일까? 바로 '기밀 유출'이다.
영업비밀이나 소스코드, 고객 데이터가 메모리 연산 중 해킹당할 수 있다는 불안감은
기업의 AI 도입을 주저하게 만드는 1순위 요인이다.
이 보안 문제를 해결하는 유일한 열쇠가 바로 하드웨어 기반의 CPU 보안 기술이다.
1) '연산 중 데이터'의 취약점: 데이터는 저장되어 있거나 네트워크로 이동할 때는 암호화하기 쉽다. 하지만 실제 칩이 계산을 하려면 결국 암호를 풀어서 메모리에 올려야 한다. 이 "연산 중인 찰나"가 해커들의 주 표적이다.
2)실리콘 레벨의 철벽 방어: 소프트웨어 방화벽이나 패치로는 한계가 있다. 아예 물리적인 반도체 칩셋(실리콘) 자체에 암호화된 안전 구역(TEE)을 만들어, 외부의 그 누구도 연산 중인 메모리를 들여다보지 못하게 원천 격리해야 한다.
3)가상 머신(VM)과 프로세스의 완벽 격리: AMD 에픽의 핵심 무기인 '보안 암호화 가상화(SEV)' 기술은 가상 환경과 CPU, 가속기를 오가는 모든 프롬프트, 모델 가중치, 중간 데이터를 실시간으로 잠근다.
4)'아무도 믿지 않는' 제로 트러스트: 이 하드웨어 수준의 기밀 컴퓨팅 덕분에, 클라우드를 제공하는 글로벌 빅테크(구글 등)나 시스템 최고 관리자조차 고객이 돌리고 있는 AI 데이터에 손을 대거나 훔쳐볼 수 없다.
3. 철통 방어막의 기제: AMD SEV의 프롬프트와 모델 가중치 암호화
그렇다면 이 하드웨어 기반 기밀 컴퓨팅은 구체적으로 어떻게 데이터를 수호할까?
구글의 TPU 8tx 시스템에 장착된 AMD 5세대 에픽 프로세서는 '보안 암호화 가상화(SEV)' 기술을 통해
데이터의 생명주기 전반을 물리적으로 격리하고 암호화한다.
1) 독립된 보안 두뇌: AMD 에픽 CPU 칩 내부에는 메인 연산 코어들과 철저히 격리된 '전용 보안 코프로세서'가 내장되어 있다. 이 전용 칩이 프로세스마다 별도의 고유 암호화 키를 무작위로 생성하고 관리한다.
2) 이동 통로의 전면 암호화: 사용자가 AI에 집어넣는 프롬프트(질문)는 물론, 기업의 수천억 원 가치를 지닌 모델 가중치(Weights), 그리고 중간 연산 값들이 CPU와 가속기(TPU)를 오갈 때 단 한 순간도 평문으로 노출되지 않도록 전 통로를 암호화 상태로 유지한다.
3) 가속기 접근 전 신원 인증: TPU나 외부 연산 칩이 메모리에 접근하기 전, "너 진짜 인가된 칩 맞냐?", "네 운영체제 펌웨어 변조 안 됐냐?"를 하드웨어 레벨에서 사전 검증(Attestation)한다. 위조나 가로채기 시도는 입구 컷이다.
4) 글로벌 보안 동맹의 열매: 구글과 AMD가 수년간 컴퓨트 엔진 인스턴스(C4D, N4D 등)에서 다져온 보안 펌웨어 공동 검증 역량이 이번 TPU 8tx에서 꽃을 피웠다.
4. 인프라의 가치 방정식: 총소유비용(TCO) 절감과 고성능의 시너지
결국 비즈니스는 돈과 효율의 싸움이다. 무작정 고가의 GPU만 꽂는다고 AI 데이터센터가 기적처럼 굴러가지 않는다.
제한된 전력, 상면(공간), 비용 내에서 최대의 성능을 뽑아내려면 서버 CPU의 가성비와 효율성이 든든하게 받쳐주어야 한다.
1)전력 및 상면(공간) 절감: 데이터센터의 가장 큰 적은 전력 소비와 발열이다. AMD 5세대 에픽처럼 전력 대 효율비(성능/W)가 압도적인 CPU를 사용해야, 가속기를 더 꽂을 전력 여유와 상면을 확보할 수 있다.
2)소프트웨어 생태계 호환성: 대부분의 기업용 소프트웨어와 AI 라이브러리(PyTorch, TensorFlow 등)는 표준 x86 CPU 환경에서 가장 안정적으로 구동된다. x86의 강력한 호환성이 보장되어야만 복잡한 멀티 가속기 환경을 오류 없이 조율할 수 있다.
3)가속기 시너지 극대화: AMD는 자사 인스팅트 GPU뿐 아니라 엔비디아 GPU, 구글 TPU 등 세상의 거의 모든 맞춤형 가속기 환경에서 데이터를 빈틈없이 중재해 왔다. 가속기 제조사에 종속되지 않는 개방형 인프라를 제공하는 일등 공신이 바로 CPU다.
4)글로벌 스탠다드로서의 입지: 이미 10여 개 이상의 주요 하이퍼스케일러 및 AI 연구소들이 AMD CPU를 기본 호스트로 채택하고 있다. 이는 서버용 CPU의 전력 효율과 성능이 인프라의 경쟁력을 판가름하는 필수 전제 조건임을 보여준다.
.
.
.
나의 생각 :
인프라의 균형을 보며.. 우리가 나아갈 AI 하드웨어의 방향성
구글 TPU 8tx와 AMD 5세대 에픽의 결합을 지켜보며, 그동안 시장을 지배했던 'GPU 만능주의'의 한계를 실감했다.
지난 수년간 인공지능 시장은 더 빠른 연산 칩과 거대 모델의 매개변수 숫자에만 매몰되어 있었다.
그러나 화려한 축제가 끝나고 실제 비즈니스 현장에서 비용과 효율, 보안을 따져야 하는 시점에 이르자
인프라의 기본기인 '서버용 CPU'의 중요성이 다시 수면 위로 떠올랐다.
아무리 빠른 경주마(가속기)가 있어도, 마차를 안정적으로 조율하고 방향을 잡는 기수(호스트 CPU)가 부실하다면
목적지에 도달할 수 없다는 지극히 당연한 진리를 확인한 셈이다.
이러한 흐름은 향후 AI 인프라 시장이 나아갈 명확한 방향성을 제시한다.
첫째, 단순 연산 성능보다 전체 시스템의 '전력 대 성능비(TCO)'와 'I/O 병목 해소'가 투자의 최우선 기준이 될 것이다. 가속기 단품의 가격 경쟁을 넘어, 수천 개의 노드가 지연 없이 데이터를 주고받도록 제어하는 랙 스케일(Rack-scale) 통합 능력이 데이터센터의 성패를 가를 것이다.
둘째, '하드웨어 기반 기밀 컴퓨팅'은 이제 선택이 아닌 엔터프라이즈 AI의 필수 표준으로 굳어질 것이다. 기업들이 자체 개발한 고유 알고리즘과 민감 데이터를 클라우드에 안심하고 올릴 수 있으려면, 소프트웨어 방화벽을 넘어 반도체 칩 자체에서 데이터를 격리하는 제로 트러스트 보안이 전제되어야 한다.
결국 앞으로의 AI 반도체 시장은 특정 벤더의 독점 가속기 생태계에서 벗어나, 개방형 x86 표준 CPU와 다양한 맞춤형 ASIC(TPU 등)이 유기적으로 결합하는 '하이브리드 협력 구도'로 진화할 것이다.
투자자와 기업 모두 이제는 GPU라는 단편적인 나무만 볼 것이 아니라,
시스템 전체의 데이터 흐름과 보안을 관제하는 호스트 CPU를 포함한 '인프라 전체의 숲'을 바라보아야 할 시점이다.