MN-Core
3D-Stacked
DRAM
- ロジックとメモリのウェハ自体を積層
- 平面全体で演算ユニットとメモリを接続
- SRAM級の接続密度とHBM級の容量を同時に実現
学習済みのAIモデルに入力を与え、出力を得る「推論」のワークロードは、大きく変わりつつあります。
従来のChatでは、ユーザーの問いに回答を返すことが中心でした。Reasoningでは、問題を分解するなどして段階的に推論を重ねるため、回答に至るまでに内部で生成するtokenが増えます。さらにAgentでは、推論、ツールの実行、結果の評価、次の行動の決定を繰り返しながら、タスクの完了を目指します。
考える過程が長くなり、推論を繰り返す回数が増えるほど、token生成にかかる時間が積み重なります。一つひとつの推論の速さが、タスク全体の所要時間を大きく左右するようになるのです。
AIがより深く考え、より多くの行動を担うほど、高速な推論の価値はますます高まっていきます。
近年のLLMモデルは、Transformerベースモデルが採用されています。ユーザあたり推論速度は、主にメモリ帯域幅(一定時間当たりのメモリアクセス量)によって決定されます。
これは、モデルサイズが非常に大きいため、各tokenを生成するのに必要な時間の大部分が、メモリからロジック半導体へのモデル(およびKVキャッシュ)の読み込みに費やされるためです。
様々なアーキテクチャ上の工夫によりメモリアクセス量を低減しようとされていますが、ChatGPTの登場以降3年、大きな変革は生じていません。
計算力はここ20年で60,000倍になっている一方、メモリバンド幅は100倍にしかなっていません。計算機においてメモリバンド幅が不足し続けているというのが、この20年の大きな課題です。
演算器の性能を十分に引き出すには、それに見合う速度でデータを供給する必要があります。演算性能が高まるほど、求められるメモリバンド幅も増大します。
特にLLM推論では、モデルの重みやKVキャッシュへのアクセスが性能を大きく左右します。高速なtoken生成を実現するためには、より大きなメモリバンド幅が不可欠です。
出典:Amir Gholami et al., AI and Memory Wall, IEEE Micro, 2024; arXiv:2403.14123
トランジスタは微細化によって小さくなり、スイッチングに必要なエネルギーも減少してきました。一方、配線は事情が異なります。
配線幅を細くすると、隣の配線との間隔や絶縁膜の厚さも同時に小さくなります。配線の単位長さあたりの寄生容量は、配線幅ではなく、配線幅と配線間隔や層間距離との比率で決まります。すべてを同じ比率で微細化してもこれらの比率は変わりません。そのため、配線を微細化しても「単位長さあたりの寄生容量」はほとんど減りません。さらに近年は電源電圧の低下も頭打ちであり、長い配線でデータを動かすエネルギーは、プロセスの微細化では改善しないのです。
そのため、データ移動を低消費電力で実現するには、移動距離そのものを短くする必要があります。
移動距離とビットあたり消費電力
| 項目 | 3D-Stacked DRAM | HBM | SRAM | DRAM |
|---|---|---|---|---|
| Structure | ||||
| Data Movement |
< 1 mm | 40 mm | < 1 mm | > 100 mm |
| Energy | ~1 pJ/bit | 4 pJ/bit | ~1 pJ/bit | ~30 pJ/bit |
| Speed | ||||
| Capacity |
MN-Core
既存解 A
既存解 B
既存解 C
メモリとロジックを積層しても、演算側が従来どおり共有メモリを前提にしていれば、データはキャッシュ階層を何段も通って長い距離を移動します。MN-Coreは演算ユニットごとにメモリを分散して持つため、積層したメモリの直下で処理が完結します。そのため、ロジックとメモリを3D積層した利点を最大限に活かすことが可能になります。
GPU
MN-Core
3D-Stacked DRAMの最大の技術課題は熱設計です。AIチップは発熱が大きく、メモリは温度に敏感だからです。MN-Coreはアーキテクチャそのものが高い電力効率を持ち、発熱そのものが小さいため、このアプローチが可能となります。
電力効率の実績を見る