論文の概要: RankLane: Efficient MoE Prefill on Accelerators with Ranked Expert Capacities

• arxiv url: http://arxiv.org/abs/2611.00421v1
• Date: Fri, 30 Oct 2026 22:14:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-13 18:57:34.29471
• Title: RankLane: Efficient MoE Prefill on Accelerators with Ranked Expert Capacities
• Title（参考訳）: RankLane: ランク付きエキスパート能力を持つアクセラレータに効率的なMoEプリフィル
• Abstract要約: Mixture-of-experts (MoE)モデルは、トークンごとに専門家のサブセットだけを活性化することで、モデルのキャパシティを拡大する。 静的実行計画を持つアクセラレータでは、ルーティングが各専門家の負荷を明らかにする前に、専門家の能力と配置が固定される。 RankLaneは、各デバイスのエキスパートを現在の負荷でランク付けし、それらを固定容量レーンに割り当てる。
• 参考スコア（独自算出の注目度）: 44.70564901307833
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mixture-of-experts (MoE) models expand model capacity by activating only a subset of experts for each token. On accelerators with static execution plans, expert capacities and placement are fixed before routing reveals each expert's load. Uniform worst-case capacities waste work on padding; smaller capacities tied to expert identities can overflow. We present RankLane, which ranks each device's experts by current load and assigns them to fixed-capacity lanes. Runtime indices select experts and token rows while tier populations, shapes and device placement remain fixed. An aggregation graph preserves device ownership and reduces each token's local contributions on one core. Routing calibration and measured execution costs guide tier selection; overflowing chunks rerun at full capacity. We evaluate full-model prefill of Qwen3-30B-A3B and Gemma 4 26B-A4B with MXFP6 weights on four Cloud AI 100 Ultra SoCs, using 128-2048-token chunks and including overflow detection and in-program recovery support. Against a dense baseline, RankLane achieves end-to-end prefill speedups of 1.27-4.18x on Qwen3 and 1.93-3.46x on Gemma.
• Abstract（参考訳）: Mixture-of-experts (MoE)モデルは、トークンごとに専門家のサブセットだけを活性化することで、モデルのキャパシティを拡大する。 静的実行計画を持つアクセラレータでは、ルーティングが各専門家の負荷を明らかにする前に、専門家の能力と配置が固定される。 均一な最悪のキャパシティは、パディングの無駄な作業であり、専門家のアイデンティティに結びついた小さなキャパシティは、オーバーフローする可能性がある。 RankLaneは、各デバイスのエキスパートを現在の負荷でランク付けし、それらを固定容量レーンに割り当てる。 実行時インデックスは専門家とトークン行を選択し、層数、形状、デバイス配置は固定されている。 集約グラフはデバイスの所有権を保持し、各トークンのローカルなコントリビューションを1つのコアで削減する。 ルーティングキャリブレーションと測定された実行コストは、階層選択をガイドし、オーバーフローチャンクをフル容量で再実行する。 我々は,Qwen3-30B-A3B と Gemma 4 26B-A4B の4つの Cloud AI 100 Ultra SoC 上で,128-2048 個のチャンクを使用し,オーバーフロー検出とプログラム内リカバリサポートを含むフルモデルプレフィルを評価する。 高密度のベースラインに対して、RangLaneはQwen3では1.27-4.18x、Gemmaでは1.93-3.46xというエンドツーエンドのプリフィルスピードアップを達成した。

関連論文リスト

• BASE: Batch-Aware Selection of Experts Using Predicted Removal Error for Efficient MoE Decoding [13.806111695734716]
  大規模言語モデルはますます高価になる。 大規模サービスシステムでは、モデル重みの転送によって自己回帰復号化がボトルネックとなることが多い。 入力トークン毎のエキスパート除去コストを推定する軽量線形予測器を開発した。
  論文  参考訳（メタデータ） (2026-09-28T20:20:13Z)
• ACE: Adaptive Calibration-Free Expert Skipping for MoE-based LLMs [15.24786135265898]
  Mixture-of-Experts (MoE)アーキテクチャは、大規模言語モデル(LLM)のスケーリングに効率的なパラダイムを提供する。 本稿では,トークン適応型エキスパートスキップのためのトレーニングフリー,キャリブレーションフリー,チェックポイント保存フレームワークであるACEを提案する。
  論文  参考訳（メタデータ） (2026-09-04T14:56:00Z)
• On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
  Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。 トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
  論文  参考訳（メタデータ） (2026-08-31T06:35:07Z)
• AcceptMoE: Commitment-Weighted Self-Sizing Verifier Expert Sets for Efficient MoE Speculative Decoding [21.76650680783374]
  投機的復号化は、1つのターゲットモデルフォワードパスにおけるドラフトトークンのツリーを検証する。 ミックス・オブ・エキスパート(MoE)ターゲットの場合、並列検証はすべてのツリーノードから選択された専門家の団結を活性化することができる。 本稿では,検証側の専門家セレクタであるAcceptMoEを紹介する。
  論文  参考訳（メタデータ） (2026-08-04T01:01:12Z)
• Least-Loaded Expert Parallelism: Load Balancing An Imbalanced Mixture-of-Experts [74.40169987564724]
  エキスパート並列性(EP)は、複数のデバイスに専門家を分散させることで、MoEモデルをスケールするように設計されている。 極端な不均衡の下で、EPは少数の専門家に不均等な数のトークンを渡し、計算とメモリバウンドの障害を引き起こす。 本稿では,過剰なトークンと関連する専門家パラメータを過負荷デバイスから未利用デバイスへ動的に再帰する新しいEPアルゴリズムであるLast-Loaded Expert Parallelism (LLEP)を提案する。
  論文  参考訳（メタデータ） (2026-01-23T18:19:15Z)
• Opportunistic Expert Activation: Batch-Aware Expert Routing for Faster Decode Without Retraining [34.97996720624093]
  トークンから専門家へのマッピングを動的に再ルーティングするフレームワークを導入し、MoEレイテンシを低くする。 バッチサイズが16ドルであるQwen3-30BおよびQwen3-235Bモデルについて評価を行った。
  論文  参考訳（メタデータ） (2025-11-04T04:00:20Z)
• From Score Distributions to Balance: Plug-and-Play Mixture-of-Experts Routing [52.01745035243826]
  Mixture-of-Experts (MoE)モデルは、各トークンを専門家のサブセットにルーティングすることで、パラメータキャパシティをスケールすることができる。 条件付きルーティングは、推論メモリの負荷をシフトし、デバイスごとに専門家の数を制限する。 本稿では,精度を保ちながら負荷のバランスをとるプラグイン・アンド・プレイ型推論時ルーティングアルゴリズムLASERを提案する。
  論文  参考訳（メタデータ） (2025-09-29T16:29:17Z)
• Chain-of-Experts: Unlocking the Communication Power of Mixture-of-Experts Models [58.54288496296157]
  CoE(Chain-of-Experts)は新しいMixture-of-Experts(MoE)アーキテクチャで、各レイヤ内でのシーケンシャルな専門家通信を導入している。 イテレーション間の動的専門家選択をサポートするために、CoEはレイヤ内の各ステップに専用のルータを使用している。
  論文  参考訳（メタデータ） (2025-06-23T02:15:43Z)
• MoE++: Accelerating Mixture-of-Experts Methods with Zero-Computation Experts [63.67734699877724]
  MoE++は、Feed-Forward Network(FFN)とゼロ計算の専門家を統合した、汎用的で異種なMoEフレームワークである。 MoE++は、1.1-2.1xのエキスパートの前方スループットを同じサイズのバニラのMoEモデルと比較すると、パフォーマンスが向上する。
  論文  参考訳（メタデータ） (2024-10-09T18:01:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。