AI 반도체 3인방 : HBM, CXL, PIM

안녕하세요. 연일 AI에 대한 관심과 기대가 커져만 갑니다. AI 관련하여 반도체 핵심국가로 대한민국이 계속 거론되고 있습니다. AI를 지속 가능한 발전을 위해 엄청난 수요의 반도체를 받쳐줘야 하며, 자랑스러운 우리나라가 이 일의 해내고 있다는 게  뿌듯합니다.

오픈 AI의 샘 알트먼, 메타의 저 커버거가 한국을 방문했으며 반도체 공급을 받기 위한 장기 계획을 세우고 돌아간 것으로 알려졌습니다. 그래서 오늘은 AI의 핵심 반도체인 HBM, CXL, PIM에 대해서 알아보려고 합니다.

 

AI 반도체 이야기

작년 Open AI의 Chat GPT 등장으로 AI에 대한 관점이 180도 달라지는 계기가 되었습니다. 

그동안 단순 반복적인 인공지능의 검색엔진이 아닌, 딥러닝을 통한 학습하고 생산적인 인공지능의 등장이었습니다. 

그렇게 2023년을 달군 AI는 드디어 2024년에 최전성기가 되었습니다.

AI에 대한 자세한 이야기는 아래 포스팅을 참고해주세요.

 

2024 AI 전성기에 대해서

 

HBM (고대역폭 메모리)

SK하이닉스의 HBM3E (SK하이닉스)

HBM 고대역폭 메모리는 High Bandwidth Memory입니다.

메모리를 적층 하여 메모리와 인터페이스 하는 디바이스 간의 연결 속도를 최대로 끌어올려서, 대용량 데이터를 빠른 속도와 빠른 처리를 할 수 있도록 도와주는 메모리 구조입니다.

현재 AI의 딥러닝을 위한 빠른 계산과 즉각적인 응답이 필요한 상황에 최적화된 메모리라고 할 수 있겠습니다. 인공지능의 딥러닝과 같은 AI 학습은 GPU의 연산기를 사용하여 다수의 계산을 빠르게 처리할 수 있어야 합니다. 그래서 엔비디아의 GPU에 탑재되는 Memory 인 것입니다.

메모리를 적층하고, 메모리와 디바이스간에 구조를 뚫어서 인터페이스 된다.

위의 그림처럼 Memory를 몇 단까지 쌓을 수 있는지가 경쟁 기술 분야입니다. SK하이닉스가 현재 HBM 시장을 선도하고 있지만, 삼성전자와 마이크론이 빠르게 추격하는 구조로 진행되고 있습니다.

HBM 점유율 삼성전자, SK하이닉스, 마이크론

 

CXL (컴퓨터 익스프레스 링크)

CXL은 Computer EXpress Link입니다.고속 데이터 처리를 위한 고급 기술을 의미합니다.

이 기술은 특히 고성능 서버와 같은 시스템에서 중요한 역할을 합니다. 이러한 시스템에서는 빠르고 효율적인 데이터 처리가 필수적이며, 이를 위해 메모리 사용이 중요합니다.

삼성전자 CXL Memory (삼성전자)

CXL의 주요 기능은 다양한 디바이스를 효율적으로 연결하여 데이터 처리 속도를 크게 개선하는 것입니다. 이에는 CPU, GPU, 가속기, DDR, SSD 등 다양한 디바이스가 포함됩니다. 이 기술을 이용하면, 이러한 디바이스들 간에 더욱 빠르고 유연한 데이터 전송이 가능해집니다.

 

일반적으로 CPU에서 사용 가능한 DDR 용량은 제한적이지만, CXL을 사용하면 이러한 제한을 극복할 수 있습니다. CXL을 통해 메모리 용량을 유연하게 확장하면서, 시스템의 전체적인 성능을 향상하는 것이 가능해집니다. 더욱이, CXL은 빠른 데이터 처리를 가능하게 하여, 전반적인 시스템 성능을 향상하는데 도움을 줍니다. 이러한 이유로 CXL은 고성능 컴퓨팅 시스템에서 빠른 데이터 처리를 위한 핵심 기술로 인식되고 있습니다.

 

자세한 CXL의 의미와 관련주는 아래 포스팅을 참고 바랍니다.

↓ ↓ ↓ ↓ ↓ ↓ ↓ ↓ ↓ ↓ ↓ ↓ ↓ ↓

 

CXL 기술과 관련주

 

PIM (프로세싱 인 메모리)

PIM은 Processing In Memory입니다.

PIM는 메모리와 디바이스(다른 지능형 반도체)가 하나로 합쳐진 반도체입니다.

PIM의 구조

반도체는 메모리 반도체와 시스템 반도체 두 가지로 나뉩니다. 메모리 반도체는 데이터 저장, 시스템 반도체는 데이터 처리를 담당합니다. 빅 데이터와 IOT와 같은 대용량 정보 처리에 이 두 반도체의 한계가 드러나자, 두 기능을 합친 새로운 반도체, 즉 지능형 반도체(Processing In Memory, PIM)의 연구 및 개발이 이루어지고 있습니다. 이 새로운 반도체는 정보를 저장하고 처리하는 기능을 한 번에 수행하므로 처리 속도가 빠르고 에너지 효율성이 높아질 것으로 예상됩니다.

↓ ↓ ↓ ↓ ↓ ↓ ↓ ↓ ↓ ↓ ↓ ↓ ↓ ↓

 

PIM 기술과 관련주

 

마무리

2024년은 AI의 한 해입니다. 전성기를 열심히 달리고 있습니다. 인공지능(AI)의 핵심은 소프트웨어지만 딥러닝과 학습을 통한 창조를 위해서는 엔비디아의 GPU 하드웨어가 필수입니다. 그리고, 그 GPU의 연산을 뒷받침해 줄 Memory와 같은 부품들이 조화를 이루어야 합니다.

오늘은 AI 반도체의 부품들인 HBM, CXL, PIM에 대해서 살펴보았습니다.