고대역폭 메모리(HBM) [IT조선 백과사전]

HBM은 인공지능(AI) 산업에서 필수적이다. AI 연산은 높은 용량과 데이터 처리 속도를 필요로 하기 때문에 효과적인 AI 반도체를 만들려면 HBM을 사용해야 한다. 시장조사업체 트렌드포스는 올해 HBM 시장 규모가 지난해보다 4배 늘어난 24조원으로, 2030년에는 50조원으로 확대될 것으로 예측했다.

HBM(High Bandwidth Memory)은 문자 그대로 하면 고대역폭 메모리, 즉 대역폭이 높은 메모리다. 대역폭은 초당 네트워크가 전달할 수 있는 정보량을 의미한다. 대역폭이 높다는 것은 정보가 D램(컴퓨터 내 정보 저장장치)에 출입하는 정보의 속도가 빠르다는 의미다. HBM이 SK하이닉스에 의해 처음 소개됐던 2014년 당시에는 ‘초고속 메모리’라는 이름으로 불렸다.

반도체 내 중앙처리장치(CPU)나 그래픽처리장치(GPU)의 연산 능력이 아무리 빨라도 메모리가 이를 빠르게 저장할 수 없다면, 데이터의 병목 현상이 생긴다. 때문에 반도체의 성능을 높이는데에는 메모리의 정보처리 속도와 저장할 수 있는 정보량을 높이는 것이 중요하다.

HBM은 기존 메모리인 D램을 여러 개 수직으로 이어 붙여 공간적 제약을 극복하고 용량과 대역폭을 높인 것이 핵심이다. GPU의 연산을 돕기 위해 2020년 말 개발된 D램인 ‘GDDR6’ 한 개는 2기가바이트(GB)의 용량을 지닌다. 통상 GPU 주변에 12개의 D램이 위치하니, 해당 반도체는 모두 24GB의 용량을 지닌다. 반면 2021년 SK 하이닉스가 개발한 HBM3는 GDDR6를 수직으로 12개 붙였다. 단 한 개의 메모리만으로 이미 24GB이며, 통상 GPU 주변에 4개의 HBM3가 위치하니 기존보다 용량이 4배인 셈이다.

용량만 높다고 데이터 전송 속도가 빠른 것은 아니다. 데이터는 램의 데이터 통로인 ‘핀’을 통해 램과 GPU 사이를 오간다. 많은 데이터를 단시간에 처리하려면 핀에 출입하는 정보량도 많아야 하고, 핀의 개수도 많아야 한다. 하나의 메모리 내에서 데이터 이동 속도가 빨라봐야 외부로 향하는 전송 채널이 적으면 데이터 병목 현상이 일어난다.

HBM은 D램을 수직으로 쌓은 후, 여기에 수많은 핀을 뚫음으로써 이를 해결했다. 한 개의 HBM3에 뚫려 있는 핀은 1024개에 이른다. 반면 GDDR6 한 개의 핀은 32개에 불과하다. GDDR6 기반 반도체는 384개(32*12)의 핀을 갖지만 HBM3 기반 반도체 내 핀은 4096개(1024*4)에 달한다.

놀랍게도, 핀 당 데이터 전송 속도는 GDDR이 더 빠르다. GDDR6의 핀 당 데이터 전송 속도는 16Gb(기가비트)지만, HBM3는 6.4Gb에 불과하다. 그러나 아무리 데이터 전송 속도가 빨라도 그 통로 개수가 적다면 데이터가 적체되기 마련이다. 때문에 성능을 따질 때는 전체 핀에서 이지는 데이터 전송 속도인 대역폭을 계산한다. 최종적으로 각 대역폭을 계산한다면, GDDR6 제품은 6144Gb/s(16Gb*32*12), HBM3 제품은 2만6214.4Gb/s(6.4Gb*1024*4)로 산출된다. 이를 GB(기가바이트) 단위로 바꾸면, 각각 768GB/s와 3276.8GB/s로, HBM3가 4배 이상의 대역폭을 지닌다.

HBM은 그 개발 속도가 빠르다. 기존 D램의 단층적 구조의 한계를 벗어나, 메모리 다이만 형태 왜곡 없이 쌓으면 대역폭과 용량이 배로 증가하기 때문이다. 실제로 2013년 등장한 HBM부터 2023년 HBM3E 제품까지 평균 2년 간격으로 개발됐다.

김홍찬 기자 hongchan@chosunbiz.com

• “경기 침체에도 스타트업 열기는 후끈”
• 온 가족이 함께하는 영어 공부, ‘뇌새김 주니어’ 써보니[방과후 AI] 
• AMD 라데온 그래픽카드 번들 게임 제공 외 [PC마켓]
• “6월 말까지 모든 캐피탈 신용대출 1% 금리 우대” [이주의 대출]
• “선택한 K리그팀 우승 시 최고 연 7% 금리” [이주의 예적금]