zHBM은 기존 HBM과 무엇이 다른가

이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.

삼성전자 zHBM, AI 응답 초당 100→1000토큰 목표…10배 속도의 핵심은 수직 적층# 삼성전자 zHBM, AI 응답 초당 100→1000토큰 목표…10배 속도의 핵심은 수직 적층

삼성전자는 2026년 9월 16일(현지시간) AI 시스템의 응답 속도를 이용자당 초당 100토큰 수준에서 1,000토큰 수준으로 높이겠다는 목표를 제시했다. 핵심 기술로 꼽은 zHBM은 HBM을 AI 가속기 옆이 아니라 바로 위에 수직으로 쌓아 데이터 이동 거리를 줄이는 차세대 3D 메모리 구조다. 다만 초당 1,000토큰은 현재 상용 제품에서 확인된 속도가 아니라 삼성전자가 제시한 목표다.

zHBM은 기존 HBM과 무엇이 다른가

가장 큰 차이는 HBM과 AI 가속기의 배치다. 기존 구조에서는 HBM이 AI 가속기 옆에 놓이지만, zHBM은 HBM을 AI 가속기 상단에 직접 적층한다. 삼성전자는 두 장치 사이의 물리적 거리를 줄여 데이터 이동 과정에서 생기는 병목을 완화하는 방향으로 zHBM을 설계했다.

AI 가속기가 빠르게 계산할 수 있더라도 필요한 데이터가 제때 전달되지 않으면 시스템 전체 성능에는 제약이 생긴다. 대규모 AI 모델에서는 프로세서와 메모리 사이를 이동하는 데이터가 늘어나기 때문에 연산 성능뿐 아니라 데이터를 얼마나 빠르게 공급할 수 있는지도 중요해진다. 삼성전자가 zHBM에서 메모리 자체의 속도뿐 아니라 메모리와 가속기의 배치 구조까지 바꾼 이유다.

초당 1,000토큰과 HBM5 대비 최대 8배는 같은 수치가 아니다

이번 발표에서 함께 등장한 ‘10배’와 ‘최대 8배’는 비교 대상이 다르다.

삼성전자가 제시한 초당 100토큰에서 1,000토큰으로의 변화는 AI 시스템 응답 속도에 대한 목표다. 계산하면 1,000÷100=10으로, 목표치는 현재 제시된 수준의 10배다. 반면 ‘최대 8배’는 zHBM을 적용한 차세대 인터페이스 시스템을 HBM5와 비교한 성능 수치다. 서로 다른 지표이므로 ‘zHBM 자체가 모든 AI의 응답을 8배 또는 10배 빠르게 만든다’고 동일한 의미로 해석해서는 안 된다.

삼성전자가 FMS 2026에서 공개한 공식 자료에서는 zHBM 적용 차세대 인터페이스 시스템의 성능을 HBM5 대비 최대 8배, 전력 대비 성능을 최대 3배로 제시했다. 열 저항은 절반 이상 낮추는 것을 제시했다.

AI 가속기 위에 메모리를 올리면 왜 달라지나

zHBM의 설계 방향은 데이터가 지나가야 하는 물리적 경로를 짧게 만드는 데 있다. 삼성전자는 하이브리드 구리 본딩과 멀티 웨이퍼 본딩 기술을 적용해 신호 전달 속도를 높이고 열 저항을 낮추는 구조를 제시했다.

이는 단순히 HBM을 더 높게 쌓는다는 의미와도 다르다. HBM 내부의 메모리 적층을 넘어, HBM과 AI 가속기의 상대적인 위치 자체를 옆에서 위로 바꾸는 3D 아키텍처라는 점이 zHBM의 핵심이다.

삼성전자는 메모리와 AI 가속기 사이의 인터레이어에 고객 맞춤형 IP를 넣을 수 있도록 설계해 메모리 용량이나 가속기 특성을 고객별로 최적화할 수 있는 방향도 제시했다.

그렇다면 AI 답변이 곧바로 10배 빨라지는 것인가

현재 확인된 발표만으로는 그렇게 단정할 수 없다. 초당 1,000토큰은 삼성전자가 에이전트형 AI를 위해 제시한 시스템 응답 속도 목표이며, zHBM은 아직 미래 AI 시스템을 겨냥한 차세대 아키텍처다. 삼성전자가 2026년 8월 FMS에서 공개한 것도 zHBM의 목업과 기술 비전이었다.

따라서 ‘초당 1,000토큰’과 ‘현재 이용자가 사용하는 생성형 AI 서비스가 곧 10배 빨라진다’는 말은 구분해야 한다. 실제 AI 서비스의 최종 응답 속도는 이번 발표에서 상용 서비스 결과로 제시된 것이 아니다.

현재 확인할 수 있는 단계는 삼성전자가 AI 가속기와 HBM 사이의 데이터 이동 병목을 줄이는 zHBM 구조를 제시했고, 이를 AI 시스템의 학습·추론 성능과 응답성을 높이는 기술 방향으로 개발하고 있다는 데까지다.

zHBM에서 함께 봐야 할 과제는 발열이다

AI 가속기 바로 위에 HBM을 올리는 구조에서는 열 관리도 중요한 설계 요소가 된다. 9월 16일 발표에서 삼성전자 측은 가속기에서 발생한 열이 메모리에 전달되는 문제와 관련해 AI 가속기 고객사와 초기 설계 단계부터 협력하는 공동 설계 방식을 제시했다.

삼성전자가 앞서 공개한 zHBM 기술 자료에는 HBM5 대비 열 저항을 절반 이상 낮춘다는 목표도 포함돼 있다. 즉 zHBM의 실제 경쟁력을 볼 때는 최대 성능 수치뿐 아니라 수직 적층 구조에서 성능과 전력 효율, 열 관리가 함께 구현되는지를 살펴볼 필요가 있다.

앞으로 확인해야 할 것은 ‘목표’가 실제 제품에서 어떻게 구현되는가다

2026년 9월 17일 기준으로 삼성전자가 제시한 방향은 분명하다. HBM을 AI 가속기 옆에 두는 기존 구조에서 벗어나 두 반도체를 수직으로 연결하고, 데이터가 이동하는 거리를 줄여 AI 시스템의 성능과 전력 효율을 높이겠다는 것이다.

숫자는 각각의 기준을 나눠 볼 필요가 있다. AI 시스템 응답 속도 목표는 이용자당 초당 100토큰 수준에서 1,000토큰 수준으로 10배, zHBM 적용 차세대 인터페이스 시스템의 성능은 HBM5 대비 최대 8배, 전력 대비 성능은 최대 3배다.

따라서 zHBM의 다음 단계에서 중요한 것은 이 수치들이 실제 고객용 AI 가속기와 메모리를 결합한 시스템에서 언제, 어떤 조건으로 구현되는지다. 현재 단계에서는 ‘AI 응답 속도 10배 달성’이 아니라 ‘초당 1,000토큰을 겨냥한 기술 목표’로 이해하는 것이 발표 내용에 가장 가깝다.

함께 보면 좋은 글

뉴욕증시 3대 지수 사흘째 하락, 브렌트유 100달러 돌파 뒤 달라진 시장 흐름

삼성전자 스마트폰 HDI 조달 부담, 부품값 상승 속 주기판 확보가 변수로 떠올랐다

주식 오늘 장, 코스피 6995.39에서 7000까지 4.61포인트…반도체 다음에 볼 변수

전국삼성전자노동조합, 성과급 노동쟁의 지침 철회 요구…교섭 범위는 어디까지인가

이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.