[딴딴's 직무면접] HBM(High Bandwidth Memory) 기술 동향

AI 시대가 도래하면서 면접에서 AI시장과 HBM 메모리에 대한 Keyword로 질문이 꼭 한 두개씩은 나오더군요. 우리가 흔히 알고 있는 HBM, DRAM 적층과 같은 기본적인 내용이 아닌 시장과 기술 경쟁력 그리고 추후 로드맵까지 한 번에 정리하는 시간을 가져보도록 하겠습니다.[질문 1] DDR5가 있는데 AI 서버에 HBM이 별도로 필요한 이유는 무엇인가요.[변형] DDR5와 HBM의 차이는 무엇인가요.HBM은 기존의 DDR5를 대체하는 것이 아니라, 그 역할이 다릅니다. HBM의 경우 GPU 바로 옆에서 연산 전용 초고속 데이터 공급을 담당합니다. AI가 추론 시 GPU는 수천억 개의 파라미터를 동시에 처리하는데, 토큰 하나를 생성할 때마다 이 파라미터 전체를 메모리에서 GPU로 가져와야 합니다...