論文の概要: Depth-Aware Sensitivity Analysis of Mixture-of-Experts Models via Magnitude-Based Expert Masking

• arxiv url: http://arxiv.org/abs/2608.13565v1
• Date: Thu, 25 Jun 2026 05:00:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.195858
• Title: Depth-Aware Sensitivity Analysis of Mixture-of-Experts Models via Magnitude-Based Expert Masking
• Title（参考訳）: マグニチュードに基づくエキスパートマスキングによるエクササイズモデルの深さ認識感度解析
• Abstract要約: Mixture-of-Experts (MoE)アーキテクチャは、スパースアクティベーションを通じて計算効率を保ちながら、大きな言語モデル(LLM)をスケールする。 本稿では,Qwen3.6-35B-A3Bモデルの層間感度解析を行う。
• 参考スコア（独自算出の注目度）: 0.10923877073891443
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mixture-of-Experts (MoE) architectures scale large language models (LLMs) while preserving computational efficiency through sparse activation. Despite their widespread adoption, the relative importance of individual MoE layers remains insufficiently characterized, particularly for model compression. This paper presents a systematic layer-wise sensitivity analysis of the Qwen3.6-35B-A3B model (40 MoE layers, 256 experts per layer, top-8 routing) using magnitude-based expert masking on the XLCoST cross-lingual code translation benchmark. We conduct a multi-phase study spanning 100, 300, and 500 prompt evaluation scales across three H100 GPU servers. Our central finding is that layer sensitivity is strongly depth-dependent: early layers (0-9) and middle layers (10-29) are highly fragile to expert masking, while late layers (30-39), and especially very-late layers (35-39), tolerate aggressive masking of low-magnitude experts. Flat all-layer masking at 30% retains only 150/300 Good+Similar outputs at 300-prompt scale, whereas late-focused policies retain 249-255/300 while masking 640-1,145 experts. On a later 500-prompt held-out validation slice, the narrow very-late policy (layers 35-39 @ 50%) achieves the strongest quality/masked-expert tradeoff among tested candidates, retaining 419/500 Good+Similar outputs while masking only 640 of 10,240 total experts. We additionally characterize top-k routing width reduction from 8 to 6 active experts per token, which shows a large observed wall-clock reduction on a 100-prompt probe with no Good+Similar loss, though it does not yet compose cleanly with aggressive expert masking. These findings provide an empirical foundation for depth-aware MoE expert masking and establish a practical path toward physical weight surgery, activation-based expert scoring, and training-based recovery.
• Abstract（参考訳）: Mixture-of-Experts (MoE)アーキテクチャは、スパースアクティベーションを通じて計算効率を保ちながら、大きな言語モデル(LLM)をスケールする。 広く採用されているにもかかわらず、個々のMoE層の相対的重要性は、特にモデル圧縮において不十分である。 本稿では,XLCoSTクロスリンガルコード変換ベンチマークを用いて,Qwen3.6-35B-A3Bモデル(40層,256層,トップ8ルーティング)の階層感度解析を行った。 我々は,3つのH100 GPUサーバに対して,100,300,500の同時評価尺度を多段階的に実施する。 初期層 (0-9) と中層 (10-29) はエキスパートマスキングに非常に脆弱であり、後期層 (30-39) と特に極薄層 (35-39) は低いマグニチュードの専門家に対する攻撃的なマスキングに寛容である。 30%の平坦な全層マスキングは150/300 Good+Similarの出力を300-promptスケールで保持する一方、後期のポリシーは249-255/300を維持し、640-1,145のエキスパートをマスクする。 その後の500プロンプトのホールトアウト検証スライスでは、テスト対象者の間で最も品質/マズケ-専門家のトレードオフを達成し、419/500 Good+Similarのアウトプットを維持しながら、10,240人の専門家のうち640人に過ぎなかった。 また、1トークンあたり8から6人のアクティブエキスパートによるトップkルーティング幅の低減を特徴付けるとともに、アグレッシブな専門家マスキングできれいに構成していないものの、100プロンプトのプローブにおいて、Good+Similarロスのない大きな壁面時間削減を示す。 これらの知見は、深度を意識したMOE専門家マスキングの実証的基盤を提供し、身体的体重手術、アクティベーションベースの専門家スコアリング、トレーニングベースの回復に向けた実践的な道筋を確立する。

関連論文リスト

• Meta-Learning Where to Allocate Experts: Task-Conditioned Layer-Wise Compression for MoEs [8.622261628194893]
  Mixture-of-Experts (MoE)モデルは、各トークンを専門家ネットワークのサブセットにルーティングし、トークンごとのスパースを維持しながらキャパシティを増大させる。 本稿では,各レイヤに対して,専門家保持閾値と有界ルーティングバイアスを予測可能なサポートセットコントローラであるMetaNetを提案する。
  論文  参考訳（メタデータ） (2026-08-27T06:01:46Z)
• MAPLE: MoE Adaptive Plug-and-play Layer-wise Expert allocation [8.26092809964631]
  スパースアクティベートされたMixture-of-Experts (MoE) トランスフォーマーは、すべての層にまたがる同じ数のルーティングされた専門家を普遍的に修正する。 我々は,事前訓練されたMOE LLMの層にまたがって,経路付きエキスパート予算を均質に再配置するプラグイン・アンド・プレイ・フレームワークであるMAPLEを提案する。
  論文  参考訳（メタデータ） (2026-08-15T16:10:28Z)
• TENP: Trapezoidal Expert Neuron Pruning For Mixture-of-Experts [57.78282303757474]
  TENP(Structured Trapezoidal ExpertNeuron Pruning framework)を提案する。 我々は、重要な専門家を特定し、保持するとともに、重要でない専門家に専門家ニューロンプルーニング(ENP)を適用します。 ENPでは、各ニューロンのプロジェクターのプロジェクター出力に対する寄与を測定し、重要なニューロンを特定し、保持する。
  論文  参考訳（メタデータ） (2026-06-03T07:49:31Z)
• FinerCut: Finer-grained Interpretable Layer Pruning for Large Language Models [54.787308652357794]
  FinerCutは変圧器ネットワークのための微細な層プルーニングの新たな形式である。 Llama3-8Bは25%の層を除去し,Llama3-70Bは95%の層を除去した。
  論文  参考訳（メタデータ） (2024-05-28T14:21:15Z)
• Layered Depth Refinement with Mask Guidance [61.10654666344419]
  汎用マスクを用いてSIDEモデルの深度予測を洗練させるマスク誘導深度改善の新しい問題を定式化する。 本フレームワークは,奥行きマップをマスクと逆マスクで表される2つの別々の層に分解し,層状改質・塗装・塗装を行う。 本手法は,内面境界領域と外面境界領域の深度を正確に補正し,異なる種類のマスクや初期深度予測に対して堅牢であることを示す。
  論文  参考訳（メタデータ） (2022-06-07T06:42:44Z)
• Contrastive Context-Aware Learning for 3D High-Fidelity Mask Face Presentation Attack Detection [103.7264459186552]
  顔認識システムには、顔提示攻撃検出(PAD)が不可欠である。 ほとんどの既存の3DマスクPADベンチマークにはいくつかの欠点があります。 現実世界のアプリケーションとのギャップを埋めるために、大規模なハイファイアリティマスクデータセットを紹介します。
  論文  参考訳（メタデータ） (2021-04-13T12:48:38Z)
• Improving Self-supervised Pre-training via a Fully-Explored Masked Language Model [57.77981008219654]
  Masked Language Model (MLM)フレームワークは、自己教師型言語事前学習に広く採用されている。 そこで本研究では,テキストシーケンスを複数の非重複セグメントに分割するマスキング手法を提案する。
  論文  参考訳（メタデータ） (2020-10-12T21:28:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。