GPU에 사용되는 HBM과 TSV 알아보기

 
 고대역폭메모리(HBM)는 3차원 실리콘 관통 전극(TSV) 기술을 사용하여 DRAM을 수직으로 여러 개를 쌓아 연결한 제품으로, 기존의 DRAM보다 고용량, 고대역폭을 구현할 수 있는 고부가가치 제품입니다.
 

 

---

 

GPU란?

HBM이나 TSV에 대해 찾아오신 분들이라면 GPU에 대해서는 대부분 알고 계실 거라고 생각합니다.
HBM이 GPU의 Data처리성능에 큰 영향을 주는 메모리이기 때문이죠.
GPU는 그래픽에 처리 관련 데이터 컨트롤을 위한 용도로 개발되었고, 고용량의 데이터를 빠르게 처리하기 위해 발전해 왔습니다.

 

 

현재는 AI나 딥러밍에도 많이 사용되고 있습니다.
GPU에 대해 먼저 알아보고자 하는 분은 GPU를 설명한 포스팅을 먼저 확인하시면 도움이 되실 것 같습니다

TSV란?

 먼저 HBM에 사용된 TSV 기술이 무엇인지 살펴보면, TSV (through-silicon via)라는 것은 실리콘 웨이퍼 또는 다이를 완전히 통과하여 수직으로 전기를 연결하는 방식입니다.
 

 3D 패키지 및 3D 집적 회로를 만들기 위해 와이어 본드 및 플립 칩의 대안으로 사용되는 고성능 상호 연결 기술입니다.
패키지-온-패키지와 같은 대안에 비해 상호 연결 및 장치 밀도가 상당히 높고 연결 길이가 짧아지는 장점이 있습니다.

HBM이 주목받는 이유

 최근 생성형 인공지능(AI)의 급부상으로 고대역폭메모리(HBM)가 주목을 받고 있습니다.
생성형 AI구동에는 AI가속기가 필요한데, 원활하게 많은 양의 데이터를 처리하기 위해서는 HBM이 필수이기 때문입니다.
 

 다만 HBM은 DDR5보다 같은 용량 기준으로 5배가량 비싸기 때문에, 빠른 속도를 필요로 하는 고가의 그래픽카드등에만 사용돼 왔는데, 최근 AI가 상황을 바꿨습니다.
AI 학습과 추론을 위해서는 많은 양의 데이터를 학습해야 하는데, 그러려면 HBM의 수요가 높아질 수밖에 없는 것입니다.

 DDR이 어떤 의미인지, DDR5는 무엇인지에 대해서는 따로 포스팅을 작성해 두었으니 필요하신 경우 참고하시기 바랍니다.

HBM 탑재현황

 엔비디아의 AI가속기인 A100, H100은 HBM을 기본적으로 탑재하고 있습니다.
HBM은 그동안 SK하이닉스에서 주도해 왔으며, 하이닉스에서 2013년 세계최초로 개발해 시장에 안착시킨 제품입니다. 그리고 세계최초로 DRAM 12개를 수직 적층해 최고 용량인 24GB를 구현한 HBM3를 개발하기도 했습니다.
 

 삼성전자에서도 HBM 개발에 있어 하이닉스를 바싹 추격하고 있어, 경쟁은 치열할 것으로 보입니다.

 또한 앞으로 몇 년간 많은 IT기업들이 생성형 AI 구축경쟁을 벌일 것이라는 점을 고려하면, HBM의 수요는 기하급수적으로 늘어날 것으로 보이네요
 

 

GPU NPU와 PIM에 대해 알아보자