AI 성능을 결정하는 건 GPU라고 생각하셨습니까? 저도 그렇게 믿었습니다. 그런데 직접 AI에게 100페이지짜리 문서를 던져주고 요약을 시켜보니, 앞부분은 잘 정리하다가 뒷부분에서 앞 내용을 통째로 잊어버리는 황당한 상황이 벌어졌습니다. 아무리 연산이 빠른 AI라도 기억할 공간이 부족하면 결국 멈춰버린다는 사실, 이게 지금 AI 반도체 시장의 판을 완전히 뒤집고 있습니다.
AI 반도체 전쟁 : 메모리 권력 이동
에이전틱 AI(Agentic AI)가 등장하면서 상황이 달라졌습니다. 여기서 에이전틱 AI란 단순히 질문에 답하는 수준을 넘어, 스스로 계획을 세우고 인터넷을 검색하고 파일까지 처리하는 '자율 실행형 인공지능'을 의미합니다. 2년 전만 해도 AI에게 던지는 질문은 몇 백 단어 수준이었습니다. 지금은 100만 개가 넘는 토큰, 기가바이트 단위의 데이터를 한 번에 처리하도록 요구받습니다. 여기서 수학적으로 무서운 일이 벌어집니다. 컨텍스트 랭스(Context Length)가 핵심인데, 이것은 AI가 한 번의 대화에서 기억하고 처리할 수 있는 데이터의 최대 길이를 뜻합니다. 이 길이가 1,000배 늘어나면 AI가 데이터를 서로 비교하고 가중치를 계산하는 어텐션 연산(Attention Computation) 특성 때문에 필요한 메모리는 단순 1,000배가 아니라 그 제곱에 가까운 수준으로 폭발합니다. 어텐션 연산이란 AI가 입력된 문장 안에서 어느 단어가 어느 단어와 얼마나 관련 있는지 계산하는 핵심 과정으로, 데이터가 길어질수록 계산량이 기하급수적으로 늘어나는 구조입니다. 제가 실무에서 여러 AI 서비스를 테스트해본 결과, 답변의 정확도 차이는 결국 HBM(High Bandwidth Memory)에서 갈렸습니다. HBM이란 D램 칩을 수직으로 여러 층 쌓아 올려 데이터 처리 속도를 극대화한 고대역폭 메모리를 의미합니다. GPU가 문제를 빠르게 푸는 계산기라면, HBM은 그 계산기 바로 옆에 쌓아두는 엄청나게 넓은 메모장 같은 것입니다. 메모장이 작으면 아무리 계산이 빠른 GPU도 제 실력을 발휘하지 못합니다.
HBM4의 전쟁
이러한 흐름 속에서 다음 세대 경쟁의 격전지가 HBM4입니다. HBM4부터는 시장 구조가 근본적으로 바뀝니다. 이전까지의 HBM이 미리 만들어 놓고 파는 기성복이었다면, HBM4는 고객사가 설계도를 들고 와서 요청하는 완전한 맞춤형 수주 생산으로 전환됩니다. 엔비디아가 원하는 HBM4와 구글 TPU가 원하는 HBM4의 설계 자체가 다릅니다. 이 경쟁에서 SK하이닉스는 베이스 다이(Base Die) 제작을 세계 1위 파운드리인 TSMC에 위탁합니다. 베이스 다이란 D램을 16층으로 쌓아 올린 HBM 구조에서 가장 아래에 위치하며 GPU와 직접 신호를 주고받는 핵심 두뇌 역할을 합니다. 강력한 파트너십이지만, TSMC의 생산 일정에 물량이 묶이는 구조입니다. 반면 삼성전자는 베이스 다이 설계부터 D램 적층, 패키징까지 사내에서 모두 처리하는 토털 솔루션을 구축하고 있습니다. 속도와 가격 협상력에서 이론상 강점을 가지지만, HBM4의 수율(yield), 즉 정상적으로 작동하는 칩의 생산 비율을 얼마나 빠르게 끌어올리느냐가 승패를 가를 것입니다. HBM4 경쟁에서 주목해야 할 핵심 포인트를 정리하면 다음 네가지와 같습니다. 1.HBM4는 고객사별 맞춤 설계로 전환되어, 범용 재고 판매가 어려워짐, 2.SK하이닉스는 TSMC와 협력하여 기술 우위를 유지하지만 물량 제약 리스크 존재, 3.삼성전자는 사내 일괄 생산 체계로 속도와 원가 경쟁력 확보 시도 중, 4.미국의 마이크론은 전력 제어·신호 배선 기술에서 한국 두 기업과의 격차를 좁히지 못하고 있음 입니다. 국내 반도체 산업에 대한 정부의 지원 방향과 기술 경쟁력 분석은 산업통상자원부의 반도체 산업 전략 보고서에서도 확인할 수 있습니다(출처: 산업통상자원부).
HBF의 등장과 투자자가 놓치면 안 되는 진짜 리스크
HBM만으로는 한계가 있습니다. 아무리 층층이 쌓아도 물리적 높이 제한과 발열 문제가 따라붙기 때문입니다. 그래서 등장한 개념이 HBF(High Bandwidth Flash)입니다. HBF란 기존 스토리지 용도로 쓰이던 낸드 플래시(NAND Flash)를 HBM처럼 수직으로 적층하여 대역폭을 극대화한 차세대 메모리를 의미합니다. 낸드 플래시는 D램보다 속도는 느리지만, 훨씬 많은 데이터를 저렴하게 담을 수 있어 AI의 장기 기억 저장소 역할에 적합합니다. 제가 이 개념을 처음 접했을 때 솔직히 이건 예상 밖이었습니다. AI 서비스에 낸드 플래시가 GPU 바로 옆에 붙는다는 발상 자체가 생소했거든요. 그런데 실제로 AI가 지난달 대화 맥락이나 수개월 전의 프로젝트 기록을 불러오려면, 속도보다는 용량이 압도적으로 큰 장기 기억 저장소가 반드시 필요합니다. 단기 기억을 담당하는 HBM 스포츠카와 장기 기억을 담당하는 HBF 화물 열차가 나란히 달리는 구조가 되는 것입니다. 이 두 가지를 동시에 생산할 수 있는 기업이 D램과 낸드를 모두 보유한 삼성전자와 SK하이닉스인 것도 결코 우연이 아닙니다. 그런데 저는 이 모든 장밋빛 그림 뒤에 숨은 두 가지 위험을 냉정하게 짚고 싶습니다. 첫째는 맞춤형 메모리의 함정입니다. HBM4가 고객 맞춤형으로 전환된다는 것은, 특정 고객사의 요구에 딱 맞게 만든 재고가 다른 회사에는 팔리지 않는다는 뜻이기도 합니다. 만약 대형 고객사가 주문을 취소하거나 설계를 바꾸면, 수조 원어치의 재고가 그대로 창고에 쌓이게 됩니다. 독자적인 기술 생태계를 갖추지 못하면 결국 거대 빅테크들의 하청 공장 역할에 그칠 수 있다는 점, 간과해서는 안 됩니다. 둘째는 AI 수익화의 불투명성입니다. 지금 글로벌 빅테크들은 100년 만기 채권까지 발행하며 AI 인프라에 막대한 자금을 쏟아붓고 있습니다. 그런데 정작 AI 서비스로 안정적인 수익을 창출하는 기업은 아직 많지 않습니다. 시장조사기관 가트너(Gartner)는 AI 기술 과잉 기대 구간과 환멸 구간을 반복적으로 분석해왔으며, 수익화 실패 시 투자 심리가 급격히 냉각될 수 있다고 경고한 바 있습니다(출처: Gartner). 제 경험상 이런 시장에서 투자자가 매일 확인해야 할 것은 세 가지입니다. HBM 공급 계약 동향, 원달러 환율과 외국인 수급 흐름, 그리고 삼성전자 HBM4 수율 관련 뉴스입니다. 수율이 안정적으로 70%를 넘었다는 소식이 나오는 시점이 삼성전자 주가의 결정적 전환점이 될 가능성이 있습니다. AI의 핵심 권력이 연산에서 기억으로, GPU에서 메모리로 이동하고 있다는 흐름은 이제 분명해 보입니다. 하지만 이 흐름에 올라타기 전에 '기회의 크기'만큼 '리스크의 깊이'도 함께 보시길 권합니다. 분할 매수, 손절 라인 사전 설정, 수익화 지표 꾸준한 점검. 이 세 가지 원칙을 지키면서 큰 흐름을 따라가는 것이 제가 내린 결론입니다. 이 내용은 온라인상의 정보와 개인적인 의견을 공유한 것이며, 전문적인 금융 투자 조언이 아닙니다. 투자 판단은 반드시 본인의 판단으로 결정하시기 바랍니다.