論文の概要: MAPLE: MoE Adaptive Plug-and-play Layer-wise Expert allocation

• arxiv url: http://arxiv.org/abs/2608.15299v1
• Date: Sat, 15 Aug 2026 16:10:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-18 19:59:03.253384
• Title: MAPLE: MoE Adaptive Plug-and-play Layer-wise Expert allocation
• Title（参考訳）: MAPLE: MoE 適応的な Plug-and-play の仕様割り当て
• Abstract要約: スパースアクティベートされたMixture-of-Experts (MoE) トランスフォーマーは、すべての層にまたがる同じ数のルーティングされた専門家を普遍的に修正する。 我々は,事前訓練されたMOE LLMの層にまたがって,経路付きエキスパート予算を均質に再配置するプラグイン・アンド・プレイ・フレームワークであるMAPLEを提案する。
• 参考スコア（独自算出の注目度）: 8.26092809964631
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sparsely-activated Mixture-of-Experts (MoE) Transformers universally fix the same number of routed experts across all layers, a convention that ignores the well-documented heterogeneity in layer-wise redundancy. We demonstrate that this uniformity is systematically suboptimal and propose MAPLE, a plug-and-play framework that reallocates the routed-expert budget heterogeneously across layers of any pretrained MoE LLM, without modifying weights or requiring retraining. Our core contribution is a closed-form sensitivity-guided allocation: we probe each layer's response to variation in expert count, quantify sensitivity using three measures, and derive an analytically optimal budget assignment that directs capacity towards sensitive layers and absorbs reductions in redundant layers. This closed-form solution is further refined by a sensitivity-constrained genetic search that uses layer-wise sensitivity as a prior to guide exploration, yielding faster convergence and superior allocation quality. On four MoE models spanning different scales and architectures, MAPLE outperforms uniform and pruning-based baselines under a 75% routed-expert budget. Notably, on DeepSeek-MoE-16B, MAPLE uses only 75% of the experts yet surpasses the original 100% expert-uniform baseline on ARC-E, ARC-C, and BoolQ, improving accuracy from 65.09 to 71.40, 48.49 to 51.50, and 80.03 to 82.38, respectively. These accuracy gains translate into measured deployment efficiency: implementing MAPLE in SGLang reduces single-GPU end-to-end serving latency by 32.2% and improves throughput by 47.4%. These results show that well-designed heterogeneous allocation can be more effective than simply activating more experts, establishing it as a principled and practical axis for improving MoE efficiency.
• Abstract（参考訳）: わずかに活性化されたMixture-of-Experts (MoE) トランスフォーマーは、すべての層にまたがる同じ数のルーティングされた専門家を普遍的に修正する。 この一様性は体系的に最適であり、事前訓練されたMoE LLMの層をまたいで、重みを変更したり、再訓練を必要とせず、経路付き訓練予算を均質に再配置する、プラグアンドプレイフレームワークであるMAPLEを提案する。 専門家数の変化に対する各レイヤの応答を調査し、3つの尺度を用いて感度を定量化し、分析的に最適な予算割り当てを導出し、機密レイヤにキャパシティを向け、冗長レイヤの削減を吸収します。 このクローズドフォームソリューションは、より高速な収束と優れたアロケーション品質をもたらすガイド探索の先駆けとしてレイヤーワイズ感度を用いた感度制約された遺伝的探索によってさらに洗練される。 異なるスケールとアーキテクチャにまたがる4つのMoEモデルでは、MAPLEは75%のルート付きエキスパート予算の下で均一およびプルーニングベースのベースラインより優れていた。 特に、DeepSeek-MoE-16Bでは、専門家の75%しか使われていないが、ARC-E、ARC-C、BoolQの100%エキスパートユニフォームベースラインを超え、それぞれ65.09から71.40、48.49から51.50、80.03から82.38まで精度が向上している。 SGLangにMAPLEを実装することで、シングルGPUのエンドツーエンドサービスレイテンシが32.2%削減され、スループットが47.4%向上する。 これらの結果から, 高度に設計された不均一なアロケーションは, 単に多くの専門家を活性化させるよりも有効であり, MoE効率を改善するための原則的かつ実践的な軸として確立されていることが示唆された。

関連論文リスト

• On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
  Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。 トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
  論文  参考訳（メタデータ） (2026-08-31T06:35:07Z)
• Towards Robust Training in NNGPT AutoML Pipeline: A Loss-Optimizer Pairing Selection Study [48.83701310501069]
  本稿では, 一つのレシピがヘテロジニアスなアーキテクチャプールに十分であるか, 最適ペアリングが構造的に多様なモデルによって異なるかを検討する。 我々は,CEL(Cross-Entropy),NLL(Negative Log-Likelihood),および最近導入された遺伝学的に進化したNGL損失を,LEMURヘテロジニアス・アーキテクチャー・プールの6つの画像分類データセット上に提示したベースモデル間で比較検討した。 我々の結果は、単一のペアリングが普遍的に最適でないことを確認した。AdamやAdamWとのクロスエントロピーは、最も堅牢な選択である。
  論文  参考訳（メタデータ） (2026-06-18T20:51:42Z)
• Attribution-Guided and Coverage-Maximized Pruning for Structural MoE Compression [74.00650541246374]
  そこで本研究では,MoEモデルに適した構造解析フレームワークを提案する。 我々のアプローチはメモリフットプリントを5.27$times削減し、最先端のベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-06-16T06:53:27Z)
• TriSP: Tri-Signal Structured Pruning for Large Language Models [0.0]
  大規模言語モデル(LLM)は多様なタスクにわたって高いパフォーマンスを達成するが、そのデプロイメントはメモリと計算コストによって制約される。 構造化プルーニング(Structured pruning)は、アテンションヘッドやマルチ層パーセプトロン(Multi-Layer Perceptron、MLP)ニューロンなどの構造全体を除去して、標準ハードウェア上で効率的に動作するより小さな密度のモデルを生成することで、この問題に対処する。 本稿では,Tri-Signal Structured Pruning(Tri-Signal Structured Pruning,Tri-Signal Structured Pruning,Tri-Signal Structured Pruning,Tri-Signal Structured Pruning)を提案する。
  論文  参考訳（メタデータ） (2026-06-09T17:02:14Z)
• Does a Global Perspective Help Prune Sparse MoEs Elegantly? [21.594202826999958]
  既存のプルーニング手法は、通常、平らなMoEで生じる不均一な冗長性を見渡して、層全体に均一に予算を割り当てる。 GRAPE(Global Redundancy-Aware Pruning of Experts)は,多層冗長性に基づいて動的にプルーニング予算を割り当てるグローバルプルーニング戦略である。 Mixtral-8x7B、Mixtral-8x22B、DeepSeek-MoE、Qwen-MoE、およびGPT-OSSの実験では、同じプルーニング予算の下では、GRAPEは一貫して最高の平均性能を達成している。
  論文  参考訳（メタデータ） (2026-04-08T00:41:11Z)
• ODAR: Principled Adaptive Routing for LLM Reasoning via Active Inference [60.958331943869126]
  ODAR-Expertは、原則化されたリソース割り当てによる精度と効率のトレードオフを最適化する適応的なルーティングフレームワークである。 我々は、MATHの98.2%の精度、HumanityのLast Examの54.8%を含む、強く一貫した利得を示している。
  論文  参考訳（メタデータ） (2026-02-27T05:22:01Z)
• Fragile Knowledge, Robust Instruction-Following: The Width Pruning Dichotomy in Llama-3.2 [0.0]
  我々は,MAW誘導幅の刈り取りが選択フィルタとして機能し,行動アライメントを保ちつつパラメトリック知識を減少させることを示す。 プルーニングされた構成は、エネルギー消費(J/Token)を最大で23%削減するが、単一要求レイテンシで罰則が生じる。
  論文  参考訳（メタデータ） (2025-12-27T18:09:57Z)
• Towards a Science of Scaling Agent Systems [79.64446272302287]
  エージェント評価の定義を定式化し,エージェント量,コーディネーション構造,モデル,タスク特性の相互作用として,スケーリング法則を特徴付ける。 協調指標を用いて予測モデルを導出し,R2=0をクロスバリデーションし,未知のタスク領域の予測を可能にする。 ツールコーディネーショントレードオフ: 固定的な計算予算の下では, ツールヘビータスクはマルチエージェントのオーバーヘッドから不均衡に悩まされ, 2) 能力飽和: 調整が減少または負のリターンを, 単一エージェントのベースラインが45%を超えると達成できる。
  論文  参考訳（メタデータ） (2025-12-09T06:52:21Z)
• Think Before You Prune: Self-Reflective Structured Pruning for Reasoning Language Models [31.422773877490613]
  推論 LLM (Reasoning LLMs) はチェーン・オブ・ソート・ジェネレーションを通じて強力な多段階推論を実現する。 RLMの大きなモデルサイズと長いデコードタイムのアウトプットは、リソース制約のある設定にデプロイするのにコストがかかり、不適当である。 我々は、構造化されたプルーニングフレームワークであるRESPを紹介し、プルーニング決定とモデルの推論力学を一致させる。
  論文  参考訳（メタデータ） (2025-12-01T20:27:05Z)
• MoDES: Accelerating Mixture-of-Experts Multimodal Large Language Models via Dynamic Expert Skipping [52.02659589971978]
  我々は,MoE MLLM推論を効果的かつ正確なものにするために,専門家を適応的にスキップする最初のトレーニングフリーフレームワークであるMoDESを提案する。 MoDESは推論速度を大幅に向上させ、プリフィルタイムを2.16$times$、デコードタイムを1.26$times$に改善する。
  論文  参考訳（メタデータ） (2025-11-19T18:48:27Z)
• Too Helpful, Too Harmless, Too Honest or Just Right? [19.134202394422285]
  大規模言語モデル(LLM)は、幅広いNLPタスクに強いパフォーマンスを示す。 アウトプットをHelpfulness、Harmlessness、Hoesty(HHH)の原則と整合させることは、依然として永続的な課題である。 本稿では,Transformer アーキテクチャに Calibrated Experts (MoCaE) を組み込んだモジュールアライメントフレームワークである TrinityX を提案する。
  論文  参考訳（メタデータ） (2025-09-10T10:51:47Z)
• Determining Layer-wise Sparsity for Large Language Models Through a Theoretical Perspective [55.90119819642064]
  本稿では,大規模言語モデル (LLM) の階層的疎度率を理論的観点から決定する上での課題に対処する。 これは、スペーサー化プロセス全体での再構成エラーの累積効果を指す。 この問題を緩和するレイヤワイド・スパシティ・アロケーションに対する、シンプルで効果的なアプローチを導出します。
  論文  参考訳（メタデータ） (2025-02-20T17:51:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。