01 / 07
ENJP
01 — Fast Inference

Fast inference matters
more than ever

学習済みのAIモデルに入力を与え、出力を得る「推論」のワークロードは、大きく変わりつつあります。

従来のChatでは、ユーザーの問いに回答を返すことが中心でした。Reasoningでは、問題を分解するなどして段階的に推論を重ねるため、回答に至るまでに内部で生成するtokenが増えます。さらにAgentでは、推論、ツールの実行、結果の評価、次の行動の決定を繰り返しながら、タスクの完了を目指します。

考える過程が長くなり、推論を繰り返す回数が増えるほど、token生成にかかる時間が積み重なります。一つひとつの推論の速さが、タスク全体の所要時間を大きく左右するようになるのです。

AIがより深く考え、より多くの行動を担うほど、高速な推論の価値はますます高まっていきます。

02 — Transformer

Memory bandwidth is
all Transformers need.

近年のLLMモデルは、Transformerベースモデルが採用されています。ユーザあたり推論速度は、主にメモリ帯域幅(一定時間当たりのメモリアクセス量)によって決定されます。

これは、モデルサイズが非常に大きいため、各tokenを生成するのに必要な時間の大部分が、メモリからロジック半導体へのモデル(およびKVキャッシュ)の読み込みに費やされるためです。

様々なアーキテクチャ上の工夫によりメモリアクセス量を低減しようとされていますが、ChatGPTの登場以降3年、大きな変革は生じていません。

03 — Memory Wall

Compute raced.
Memory did not.

計算力はここ20年で60,000倍になっている一方、メモリバンド幅は100倍にしかなっていません。計算機においてメモリバンド幅が不足し続けているというのが、この20年の大きな課題です。

演算器の性能を十分に引き出すには、それに見合う速度でデータを供給する必要があります。演算性能が高まるほど、求められるメモリバンド幅も増大します。

特にLLM推論では、モデルの重みやKVキャッシュへのアクセスが性能を大きく左右します。高速なtoken生成を実現するためには、より大きなメモリバンド幅が不可欠です。

出典:Amir Gholami et al., AI and Memory Wall, IEEE Micro, 2024; arXiv:2403.14123

04 — Data Movement

Bandwidth is a battle
of distance.

トランジスタは微細化によって小さくなり、スイッチングに必要なエネルギーも減少してきました。一方、配線は事情が異なります。

配線幅を細くすると、隣の配線との間隔や絶縁膜の厚さも同時に小さくなります。配線の単位長さあたりの寄生容量は、配線幅ではなく、配線幅と配線間隔や層間距離との比率で決まります。すべてを同じ比率で微細化してもこれらの比率は変わりません。そのため、配線を微細化しても「単位長さあたりの寄生容量」はほとんど減りません。さらに近年は電源電圧の低下も頭打ちであり、長い配線でデータを動かすエネルギーは、プロセスの微細化では改善しないのです。

そのため、データ移動を低消費電力で実現するには、移動距離そのものを短くする必要があります。

移動距離とビットあたり消費電力

05 — Memory Technologies

3D-Stacked DRAM enables
ultimate memory bandwidth.

項目 3D-Stacked DRAM HBM SRAM DRAM
Structure
Data
Movement
< 1 mm40 mm< 1 mm> 100 mm
Energy ~1 pJ/bit4 pJ/bit~1 pJ/bit~30 pJ/bit
Speed
Capacity

MN-Core

3D-Stacked
DRAM

  • ロジックとメモリのウェハ自体を積層
  • 平面全体で演算ユニットとメモリを接続
  • SRAM級の接続密度とHBM級の容量を同時に実現

既存解 A

HBM

  • ロジックとDRAMを隣り合わせに実装
  • SRAMより低速
  • メモリとロジックをこれ以上近づけられず、メモリ帯域が限界に

既存解 B

SRAM

  • ロジックウェハ内にメモリセルを直接埋め込む
  • 極めて高速
  • 密度が低く、容量が小さい。数十Bモデルを動かすためだけにラックスケールのシステムが必要

既存解 C

DRAM

  • ロジックから離れた基板上に実装し、100 mm超の配線で接続
  • 大容量だが、ビットあたり約30 pJと移動エネルギーが最大
  • 帯域はパッケージのピン数と配線長に縛られる
06 — MN-Core Architecture

Optimal for
3D-Stacked DRAM.

メモリとロジックを積層しても、演算側が従来どおり共有メモリを前提にしていれば、データはキャッシュ階層を何段も通って長い距離を移動します。MN-Coreは演算ユニットごとにメモリを分散して持つため、積層したメモリの直下で処理が完結します。そのため、ロジックとメモリを3D積層した利点を最大限に活かすことが可能になります。

GPU

Shared Memory
Architecture

MN-Core

Fully Distributed
Memory Architecture

07 — Efficiency

World's most
efficient architecture

3D 積層を可能にする効率的なアーキテクチャ

3D-Stacked DRAMの最大の技術課題は熱設計です。AIチップは発熱が大きく、メモリは温度に敏感だからです。MN-Coreはアーキテクチャそのものが高い電力効率を持ち、発熱そのものが小さいため、このアプローチが可能となります。

電力効率の実績を見る