Fugu-MT 論文翻訳(概要): 3D-MoE: Complementarity-Guided Hardware-Software Co-Design for MoE Decode on 3D-Stacked NMP

論文の概要: 3D-MoE: Complementarity-Guided Hardware-Software Co-Design for MoE Decode on 3D-Stacked NMP

arxiv url: http://arxiv.org/abs/2610.26991v1
Date: Mon, 19 Oct 2026 07:13:19 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-21 21:58:47.415186
Title: 3D-MoE: Complementarity-Guided Hardware-Software Co-Design for MoE Decode on 3D-Stacked NMP
Title（参考訳）: 3D-MoE: 3D-Stacked NMP上でのMoEデコードのためのComplementarity-Guided Hardware-Software共同設計
Abstract要約: 3D-MoE(3D-MoE)は、3DスタックされたNMP上のMoEデコードのためのハードウェアによって設計された共同設計システムである。 3D-MoEはEPよりも平均4.63$times$MoE-layerの高速化を実現し、最強のNMPベースラインよりも1.58$times$--1.86$times$のエンドツーエンドスループットを改善した。
参考スコア（独自算出の注目度）: 38.17584691955016
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Mixture-of-Experts (MoE) have become a mainstream way to scale Large Language Models (LLMs), because each token activates only a small subset of experts, reducing inference cost. However, MoE decode remains highly memory-bound and exhibits strongly skewed, time-varying expert loads. 3D-stacked DRAM near-memory processing (NMP) provides the bandwidth that decode demands, yet its tiled organization makes load balancing expensive: expert parallelism (EP) preserves locality but suffers from hotspot-induced imbalance, while more distributed strategies weaken locality and increase NoC traffic. To address this locality-balance conflict, we observe that domain-specialized token routing creates offsetting expert-load fluctuations across decode steps, a property we call expert complementarity. Using this insight, we propose 3D-MoE, a hardware--software co-designed system for MoE decode on 3D-stacked NMP. 3D-MoE uses offline, one-time complementarity-guided grouping and locality-aware mapping to establish coarse-grained inter-group balance, handles residual intra-group hotspots through a lightweight Collaborative Memory-Network (CMN) that streams each hot expert's weight tiles once from its host DRAM channel to helper cores over a reconfigured local broadcast path, and uses cost-aware online remapping to remain robust to workload drift. Across MoE models, 3D-MoE achieves an average 4.63$\times$ MoE-layer speedup over EP and improves end-to-end throughput by 1.58$\times$--1.86$\times$ over the strongest NMP baselines, with 2.11\% additional logic-die area.
Abstract（参考訳）: Mixture-of-Experts (MoE) は、Large Language Models (LLM) をスケールするための主流の方法となっている。しかし、MoEデコードは非常にメモリバウンドであり、強い歪んだ時間変化のエキスパート負荷を示す。 3DスタックされたDRAMニアメモリ処理(NMP)は、デコード要求の帯域幅を提供するが、その階層化された組織は、ロードバランシングを高くする。この局所性とバランスの矛盾に対処するため、ドメイン特化トークンルーティングはデコードステップ全体にわたって専門家負荷変動を相殺する。そこで本研究では,MoEデコードのためのハードウェア・ソフトウェア共同設計システムである3D-MoEを提案する。 3D-MoEは、オフライン、ワンタイムの相補的なグループ化とローカリティ対応のマッピングを使用して、粗い粒度のグループ間バランスを確立し、軽量なコラボレーティブメモリネットワーク(CMN)を通じて、各ホットエキスパートの重量タイルをホストDRAMチャネルからストリーミングし、再構成されたローカルブロードキャストパス上でヘルパーコアに配信し、ワークロードドリフトを堅牢に保つためにコストアウェアオンラインリマッピングを使用する。 MoEモデル全体で、3D-MoEはEP上での平均4.63$\times$MoE層スピードアップを達成し、最強のNMPベースライン上でのエンドツーエンドスループットを1.58$\times$--1.86$\times$で改善する。

関連論文リスト

GeoThinker-$F$: Endogenous Predictive World Representations for Fast Spatial Intelligence [78.44669148763363]
GeoThinker-$F$は因果MLを潜在潜在世界表現に変換する効率的なフレームワークである。様々な空間知能ベンチマークの競合性能を維持しながら、外部の3Dジオメトリエンコーダへの依存をなくす。
論文参考訳（メタデータ） (2026-10-14T17:59:03Z)
Hardware-Native Joint Sparse-Quantization for Trillion-Scale Mixture-of-Experts [39.762100288049815]
我々は、ハードウェアネイティブで低精度なスパース表現に専門家の重みを圧縮するエンドツーエンドのハードウェア・ソフトウェア共同設計フレームワークを提案する。 NVIDIA B200では、当社のカーネルはベンダーのベースラインを最大1.65タイム($1.65タイム)、サービススループットを1.18タイム($1.18タイム)、エンドツーエンドのレイテンシを最大4.03タイム($4.03タイム)に向上させています。
論文参考訳（メタデータ） (2026-09-29T07:58:06Z)
FoMoE: Breaking the Full-Replica Barrier with a Federation of MoEs [16.652851143065213]
FoMoEは、労働者間で専門家層を分割し、地元の訓練中に非居住者の専門家をスキップすることで、フルレプリカパラダイムを破るシステムである。本稿では,FoMoEが分散データ並列性(DDP)の通信コストを最大1.42倍に削減し,分散データ並列性(DDP)を最大45.44倍に抑えることを示す。
論文参考訳（メタデータ） (2026-06-17T12:50:07Z)
ELMoE-3D: Leveraging Intrinsic Elasticity of MoE for Hybrid-Bonding-Enabled Self-Speculative Decoding in On-Premises Serving [3.8457393423256363]
本稿では,キャッシュベースのアクセラレーションと投機的復号化を統一するハイブリッドボンディングフレームワークELMoE-3Dを提案する。私たちの3Dスタックハードウェアでは、ELMoE-3DはxPU 1-16で提供される単純なMoEよりも平均6.6倍のスピードアップと4.4倍のエネルギー効率向上を実現しています。
論文参考訳（メタデータ） (2026-04-16T05:12:51Z)
MoBiE: Efficient Inference of Mixture of Binary Experts under Post-Training Quantization [11.19613037505662]
MoBiEは、Mixture-of-Experts (MoE)ベースの大規模言語モデル(LLM)用に設計されたバイナライズフレームワークである。 MoBiEは、複数のMoEベースのLLMとベンチマークで最先端のバイナリメソッドを一貫して上回っている。
論文参考訳（メタデータ） (2026-04-08T08:12:26Z)
MOBIUS: Big-to-Mobile Universal Instance Segmentation via Multi-modal Bottleneck Fusion and Calibrated Decoder Pruning [91.90342432541138]
モデルサイズとトレーニングデータのスケールアップには、インスタンスレベルの知覚のための高度な基盤モデルがある。資源制約されたプラットフォームにおける高い計算コスト制限。我々は,高性能コンピューティングプラットフォームとモバイルデバイスの両方において,効率的なセグメンテーションのための新しいベンチマークを導入する。
論文参考訳（メタデータ） (2025-10-16T18:00:00Z)
HOBBIT: A Mixed Precision Expert Offloading System for Fast MoE Inference [54.40808356999408]
フレキシブルで効率的なMoE推論を実現するための混合精度専門家オフロードシステムHOBBITを提案する。キーとなる洞察は、重要でないキャッシュミスの専門家を低い精度で動的に置き換えることで、専門家のロード遅延を大幅に削減できるということです。 HOBBITは、最先端のMoEオフロードシステムと比較して、デコードで最大9.93倍のスピードアップを達成する。
論文参考訳（メタデータ） (2024-11-03T04:25:46Z)
BDC-Occ: Binarized Deep Convolution Unit For Binarized Occupancy Network [55.21288428359509]
既存の3D占有ネットワークは重要なハードウェアリソースを必要としており、エッジデバイスの配備を妨げている。本稿では,バイナライズド・ディープ・コンボリューション(BDC)ユニットを提案し,バイナライズド・ディープ・コンボリューション・レイヤの数を増やしつつ性能を効果的に向上させる。我々のBDC-Occモデルは既存の3D占有ネットワークをバイナライズするために提案したBDCユニットを適用して作成する。
論文参考訳（メタデータ） (2024-05-27T10:44:05Z)
GLEAM: Greedy Learning for Large-Scale Accelerated MRI Reconstruction [50.248694764703714]
アンロールされたニューラルネットワークは、最近最先端の加速MRI再構成を達成した。これらのネットワークは、物理ベースの一貫性とニューラルネットワークベースの正規化を交互に組み合わせることで、反復最適化アルゴリズムをアンロールする。我々は,高次元画像設定のための効率的なトレーニング戦略である加速度MRI再構成のためのグレディ・ラーニングを提案する。
論文参考訳（メタデータ） (2022-07-18T06:01:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。