구글이 8세대 TPU에 신규 시스템 TPU 8tx와 TPU 8i Max를 추가했어요. 8tx는 AMD EPYC와 짝지은 기밀 연산 칩, 8i Max는 두 칩을 한 패키지에 담았어요. 한 해 4종 TPU는 처음이라, 엔비디아 대안 경쟁이 더 빨라질 것 같아요.
요 며칠 AI 칩 뉴스는 거의 엔비디아 얘기뿐이었죠. 젠슨 황 개인 이슈, 이사회 조사, 주주 소송까지요. 근데 그 사이 구글이 조용히 칩 두 개를 더 내놨습니다. 11월 9~10일 블룸버그와 테크크런치 보도로 알려진 TPU 8tx와 TPU 8i Max예요 🚀
둘 다 올해 4월 클라우드 넥스트에서 공개한 8세대 TPU의 파생형입니다. 4월에는 학습용 TPU 8t와 추론용 TPU 8i 두 가지가 나왔었는데, 이번에 두 개가 더 붙으면서 8세대 라인업이 네 개가 됐어요. 구글 말로는 한 해에 TPU 시스템을 네 종이나 낸 건 이번이 처음이라고 합니다.
8tx, 데이터를 안 보여주고 학습한다
먼저 8tx. 학습용 8t와 같은 실리콘을 쓰는데, AMD 5세대 EPYC 프로세서와 짝을 이뤄 돌아가요. 핵심은 하드웨어 단계에서 보안을 박아 넣었다는 점입니다. 연산 중에도 데이터와 모델 가중치가 격리된 상태로 유지된다는 거죠. 구글 표현으로는 "비공개 파인튜닝과 안전한 에이전트 실행을 위한 하드웨어 수준의 기밀 컴퓨팅"이에요.
타깃은 분명합니다. 정부, 금융, 의료처럼 데이터를 클러스터 밖으로 옮기는 것 자체가 부담인 곳들이요 🔒 자체 추론 네트워크가 있어서 학습하면서 추론도 돌리고, 작은 모델을 즉석에서 증류·학습하는 것도 된다고 합니다. 네트워크 지연은 8t 대비 최대 50% 줄었다고 하고요.
솔직히 이 대목이 제일 흥미로웠어요. 구글과 AMD가 손을 잡았다는 것 자체가요. AMD는 GPU 시장에서 엔비디아를 쫓는 입장인데, 구글 TPU 옆자리에 CPU로 들어간 셈이니까요. 엔비디아 입장에선 경쟁자 둘이 붙은 모양새입니다.
8i Max는 '두 배' 전략
8i Max는 훨씬 직관적이에요. TPU 8i 칩 두 개를 한 패키지에 합쳤습니다. 그래서 일반 8i 대비 연산 성능, 온칩 메모리, 메모리 대역폭이 전부 2배예요 📈 같은 랙 공간에 실리콘이 두 배 들어가니 면적당·전력당 연산량도 올라가고요.
어디에 쓰냐면, 메모리가 병목인 작업이에요. 코드베이스 전체를 훑는 AI 에이전트나 몇 시간짜리 영상을 분석하는 시스템