|
시장보고서
상품코드
2043020
AI 메모리 장벽 극복 : 스토리지 레이어 재할당 및 HBF 분석Crossing AI Memory Wall: Storage Layer Reallocation and HBF Analysis |
||||||
AI 추론에서 MoE 아키텍처와 장문 컨텍스트 처리로 인해 모델 가중치와 KV 캐시에 대한 메모리 용량 요구 사항이 급격히 증가하여 병목 현상이 '연산 능력 부족'에서 '메모리 용량 제한'으로 전환되고 있습니다. 웜 데이터의 양이 빠르게 증가함에 따라 스토리지 레이어 구조의 재구축이 진행되어 HBM이 핫 데이터를, HBF가 웜 데이터를 담당함으로써 비용 대비 성능을 최적화할 수 있게 됩니다. 그러나 HBF의 상용화를 위해서는 고도의 패키징 공정과 낸드플래시 고유의 특성과 관련된 과제를 극복해야 합니다.
주요 하이라이트
- 병목현상 : AI의 발전으로 병목현상은 연산 능력에서 메모리 용량으로 이동했습니다.
- 계층 구조 : 급증하는 웜 데이터는 계층형 스토리지를 필요로 합니다. 핫 데이터에는 HBM을, 웜 데이터에는 HBF를 채택하여 비용 효율성을 극대화합니다.
- HBF의 과제 : 상용화를 위해서는 첨단 패키징 기술과 낸드플래시의 한계를 극복해야 합니다.
목차
제1장 LLM 개발의 병목현상 : 모델 아키텍처의 변환이 컴퓨팅 구조에 미치는 영향
제2장 컴퓨팅 병목현상부터 스토리지 레이어 재구축까지
제3장 TRI의 관점
KSM 26.06.05In AI inference, MoE architectures and long-context processing have sharply increased memory-capacity requirements for model weights and KV cache, shifting the bottleneck from insufficient compute to limited memory capacity. As warm data grows rapidly, this will drive a restructuring of the storage hierarchy, where HBM will handle hot data, while HBF will carry warm data to optimize cost–performance. However, commercialization of HBF still needs to overcome challenges in advanced packaging processes and the inherent characteristics of NAND flash.
Key Highlights
- Bottleneck: AI advancements shifted the bottleneck from compute power to memory capacity.
- Hierarchy: Surging warm data demands tiered storage: HBM for hot data and HBF for warm, maximizing cost-efficiency.
- HBF Hurdles: Commercialization requires overcoming advanced packaging and NAND flash limitations.
Table of Contents
1. Development Bottlenecks of LLM: Impact on Computing Structures by Transformation of Model Architectures
- Figure 1: Features of MoE
- Figure 2: Deployment Strategies among AI Storage Vendors
2. From Computing Bottlenecks to Restructuring of Storage Layers
- Figure 3: Hot, Warm, and Cold Architectures of Storage Layers
- Figure 4: “H³” Architecture
- Table 1: Comparison between HBM and HBF
