論文の概要: Stratum: System-Hardware Co-Design with Tiered Monolithic 3D-Stackable DRAM for Efficient MoE Serving

• arxiv url: http://arxiv.org/abs/2510.05245v1
• Date: Mon, 06 Oct 2025 18:09:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-08 17:57:07.935544
• Title: Stratum: System-Hardware Co-Design with Tiered Monolithic 3D-Stackable DRAM for Efficient MoE Serving
• Title（参考訳）: Stratum: 効率的なMoEサービングのためのモノリシックな3Dスタック可能なDRAMを用いたシステムハードウェアの共同設計
• Authors: Yue Pan, Zihan Xia, Po-Kai Hsu, Lanxiang Hu, Hyungyo Kim, Janak Sharda, Minxuan Zhou, Nam Sung Kim, Shimeng Yu, Tajana Rosing, Mingu Kang,
• Abstract要約: Stratumは、新しいメモリ技術であるMonolithic 3D-Stackable DRAM(Mono3D DRAM)、ニアメモリ処理(NMP)、GPUアクセラレーションを組み合わせたシステムハードウェアの共同設計手法である。 システムは、GPUベースラインと比較して、デコードスループットが最大8.29倍改善され、様々なベンチマークでエネルギー効率が7.66倍向上する。
• 参考スコア（独自算出の注目度）: 24.320791041324316
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As Large Language Models (LLMs) continue to evolve, Mixture of Experts (MoE) architecture has emerged as a prevailing design for achieving state-of-the-art performance across a wide range of tasks. MoE models use sparse gating to activate only a handful of expert sub-networks per input, achieving billion-parameter capacity with inference costs akin to much smaller models. However, such models often pose challenges for hardware deployment due to the massive data volume introduced by the MoE layers. To address the challenges of serving MoE models, we propose Stratum, a system-hardware co-design approach that combines the novel memory technology Monolithic 3D-Stackable DRAM (Mono3D DRAM), near-memory processing (NMP), and GPU acceleration. The logic and Mono3D DRAM dies are connected through hybrid bonding, whereas the Mono3D DRAM stack and GPU are interconnected via silicon interposer. Mono3D DRAM offers higher internal bandwidth than HBM thanks to the dense vertical interconnect pitch enabled by its monolithic structure, which supports implementations of higher-performance near-memory processing. Furthermore, we tackle the latency differences introduced by aggressive vertical scaling of Mono3D DRAM along the z-dimension by constructing internal memory tiers and assigning data across layers based on access likelihood, guided by topic-based expert usage prediction to boost NMP throughput. The Stratum system achieves up to 8.29x improvement in decoding throughput and 7.66x better energy efficiency across various benchmarks compared to GPU baselines.
• Abstract（参考訳）: 大きな言語モデル(LLM)が進化を続けるにつれ、Mixture of Experts(MoE)アーキテクチャは、幅広いタスクで最先端のパフォーマンスを達成するための一般的な設計として登場してきた。 MoEモデルはスパースゲーティング(sparse gating)を使用して、入力毎に少数のエキスパートサブネットワークのみを起動し、はるかに小さなモデルと同様の推論コストで10億パラメートルのキャパシティを達成している。 しかしながら、そのようなモデルは、MoE層が導入した膨大なデータ量のために、ハードウェアデプロイメントにしばしば課題を生じさせる。 そこで本研究では,新しいメモリ技術であるモノリシック3D-Stackable DRAM(Monolithic 3D DRAM),ニアメモリ処理(NMP),GPUアクセラレーションを組み合わせたシステムハードウェアの共同設計手法であるStratumを提案する。 論理とMono3D DRAMはハイブリッドボンディングによって接続されるのに対し、Mono3D DRAMスタックとGPUはシリコンインターポーサを介して相互接続される。 Mono3D DRAMは、ハイパフォーマンスニアメモリ処理の実装をサポートするモノリシック構造によって実現された高密度垂直相互接続ピッチにより、HBMよりも高い内部帯域幅を提供する。 さらに、内部メモリ層を構築し、アクセス可能性に基づいて層間データを割り当てることで、NMPスループットを向上させるためにトピックベースの専門家利用予測によって導かれる遅延差に対処する。 Stratumシステムは、GPUベースラインと比較して、デコードスループットが最大8.29倍改善され、さまざまなベンチマークでエネルギー効率が7.66倍向上する。

関連論文リスト

• Decoder-Hybrid-Decoder Architecture for Efficient Reasoning with Long Generation [129.45368843861917]
  我々は、レイヤ間の効率的なメモリ共有のためのシンプルで効果的なメカニズムであるGated Memory Unit(GMU)を紹介した。 これは、GMUを組み込んでSambaベースのセルフデコーダからメモリ読み出し状態を共有するデコーダ・ハイブリッド・デコーダアーキテクチャである。
  論文  参考訳（メタデータ） (2025-07-09T07:27:00Z)
• Efficient Multi-Instance Generation with Janus-Pro-Dirven Prompt Parsing [53.295515505026096]
  Janus-Pro-driven Prompt Parsingは、テキスト理解とレイアウト生成をブリッジするプロンプト解析モジュールである。 MIGLoRAはパラメータ効率の良いプラグインで、低ランク適応を UNet (SD1.5) と DiT (SD3) のバックボーンに統合する。 提案手法はパラメータ効率を維持しつつCOCOおよびLVISベンチマークの最先端性能を実現する。
  論文  参考訳（メタデータ） (2025-03-27T00:59:14Z)
• MoE-Lightning: High-Throughput MoE Inference on Memory-constrained GPUs [55.95879347182669]
  MoEアーキテクチャは、推論コストの比例的な増加なしにモデルキャパシティを向上できることで有名である。 MoE-LightningはCPU-GPU-I/OパイプラインスケジュールであるCGOPipeを導入し、ページ重み付けにより高いリソース利用を実現する。 MoE-Lightningは、単一のT4 GPU(16GB)上でMixtral 8x7Bの最先端オフロード可能なLLM推論システムよりも最大10.3倍高いスループットを実現することができる
  論文  参考訳（メタデータ） (2024-11-18T01:06:12Z)
• vTensor: Flexible Virtual Tensor Management for Efficient LLM Serving [53.972175896814505]
  大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。 大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。
  論文  参考訳（メタデータ） (2024-07-22T14:37:58Z)
• B'MOJO: Hybrid State Space Realizations of Foundation Models with Eidetic and Fading Memory [91.81390121042192]
  我々はB'MOJOと呼ばれるモデル群を開発し、構成可能なモジュール内で理想的メモリと暗黙的メモリをシームレスに結合する。 B'MOJOのイデオティックメモリとフェードメモリを変調する能力は、32Kトークンまでテストされた長いシーケンスの推論をより良くする。
  論文  参考訳（メタデータ） (2024-07-08T18:41:01Z)
• ProactivePIM: Accelerating Weight-Sharing Embedding Layer with PIM for Scalable Recommendation System [16.2798383044926]
  サイズ削減のために重み共有アルゴリズムが提案されているが、メモリアクセスが増加する。 最近のPIM(Processing-in-Memory)の進歩は、メモリ並列性を利用してモデルのスループットを向上した。 重量共有レコメンデーションシステムアクセラレーションのためのPIMシステムであるProactivePIMを提案する。
  論文  参考訳（メタデータ） (2024-02-06T14:26:22Z)
• Accelerating Neural Network Inference with Processing-in-DRAM: From the Edge to the Cloud [9.927754948343326]
  ニューラルネットワークの性能(およびエネルギー効率)は、計算またはメモリリソースによって拘束できる。 PIM(Processing-in-Memory)パラダイムは、メモリバウンドNNを高速化する実行可能なソリューションである。 NN性能とエネルギー効率向上のための3つの最先端PIMアーキテクチャを解析する。
  論文  参考訳（メタデータ） (2022-09-19T11:46:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。