論文の概要: Router Sensitivity Under Lightweight Fine-Tuning Identifies Prunable Experts in Mixture-of-Experts Models

• arxiv url: http://arxiv.org/abs/2608.07890v1
• Date: Sat, 08 Aug 2026 03:36:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:36.54932
• Title: Router Sensitivity Under Lightweight Fine-Tuning Identifies Prunable Experts in Mixture-of-Experts Models
• Title（参考訳）: 軽量微調整下におけるルータ感度の混合実験モデルによる解析可能エキスパートの同定
• Abstract要約: Mixture-of-Experts(MoE)モデルは、トーケン毎の計算から合計パラメータを分離するが、それでもデプロイにはすべての専門家を保存する必要がある。 最近の理論では、微調整中に最小のルータノルム変化を持つプルーニングの専門家は精度を維持することができるが、完全な微調整を前提としている。 軽量適応がこの信号を回復できるかどうかを検証する。
• 参考スコア（独自算出の注目度）: 3.747647072414422
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mixture-of-Experts (MoE) models decouple total parameters from per-token compute, but deployment still requires storing every expert. Recent theory shows that pruning experts with the smallest router-norm changes during fine-tuning can preserve accuracy, but assumes full fine-tuning. We test whether lightweight adaptation can recover this signal. We briefly fine-tune with a parameter-efficient adapter, rank experts by the induced $\ell_2$ router change, and prune the least-changed experts in one shot. On Mixtral-8$\times$7B-Instruct (44.83% MMLU-Pro), router-only LoRA trains 0.002% of parameters and outperforms all-module LoRA at matched rank with half the experts removed (27.54% vs. 24.42%); signal quality declines as adaptation spreads to attention and expert weights. Accuracy improves monotonically with LoRA rank, reaching 28.76%. IA3, which leaves router weights frozen, matches direct router adaptation, whereas unconstrained additive adapters degrade the signal. Router-guided MMLU-Pro accuracy decays quasi-linearly rather than collapsing, remains nearly 1.8 times that of magnitude-based or random pruning at maximal compression, and reduces memory by 49% and per-token latency by 37%. At 25% compression, retention is competitive with methods using full activation statistics. The criterion also transfers to Qwen1.5-MoE fine-tuned for mathematics, retaining 49.7% mean accuracy over eleven benchmarks with half the experts removed while random pruning falls to single digits. Router sensitivity under lightweight fine-tuning therefore makes provably motivated expert pruning practical at scale.
• Abstract（参考訳）: Mixture-of-Experts(MoE)モデルは、トーケン毎の計算から合計パラメータを分離するが、それでもデプロイにはすべての専門家を保存する必要がある。 最近の理論では、微調整中に最小のルータノルム変化を持つプルーニングの専門家は精度を維持することができるが、完全な微調整を前提としている。 軽量適応がこの信号を回復できるかどうかを検証する。 パラメータ効率のよいアダプタで短時間微調整し、$$\ell_2$ルータ変更によって専門家をランク付けし、1ショットでもっとも変化の少ない専門家をプーンする。 Mixtral-8$\times$7B-Instruct (44.83% MMLU-Pro)では、ルータのみのLoRAはパラメータの0.002%を走行し、専門家の半数と一致するランクで全モジュールのLoRAを上回り(27.54%対24.42%)、適応が注目と専門家の重みに広まるにつれて信号品質が低下する。 精度はLoRAのランクで単調に改善され、28.76%に達した。 IA3はルーターの重量を凍結させ、直接ルーター適応に適合するが、非制限の加算アダプタは信号を劣化させる。 ルータ誘導MMLU-Proの精度は崩壊するよりも半直線的に低下し、最大圧縮時のマグニチュードベースやランダムプルーニングの1.8倍近くであり、メモリを49%削減し、トーケン毎のレイテンシを37%削減している。 25%の圧縮では、保持は完全なアクティベーション統計を用いた手法と競合する。 この基準は数学用に微調整されたQwen1.5-MoEに変換され、専門家の半分を外した11個のベンチマークで49.7%の平均精度を維持し、ランダムプルーニングは1桁に低下する。 したがって、軽量な微調整下でのルータ感度は、大規模で実用的な専門家の刈り取りを確実に動機づける。

関連論文リスト

• ACE: Adaptive Calibration-Free Expert Skipping for MoE-based LLMs [15.24786135265898]
  Mixture-of-Experts (MoE)アーキテクチャは、大規模言語モデル(LLM)のスケーリングに効率的なパラダイムを提供する。 本稿では,トークン適応型エキスパートスキップのためのトレーニングフリー,キャリブレーションフリー,チェックポイント保存フレームワークであるACEを提案する。
  論文  参考訳（メタデータ） (2026-09-04T14:56:00Z)
• When Load-Balancing Goes Too Far: Expert Pruning in Over-Dispersed Mixture-of-Experts Models [14.959514582161956]
  エキスパートプルーニングは、Mixture-of-Experts(MoE)モデルのメモリとサービスコストを削減します。 この仮定は、トークンがほぼ一様に専門家に分散される過分散ルーティングの下で分解されるのを観察する。 筆者らは,現在最も影響の低いドメインに対して,重要度を反復的に向上させるドメイン認識手法であるMinimax Expert Score Allocation (MESA)を提案する。
  論文  参考訳（メタデータ） (2026-09-03T20:21:20Z)
• Meta-Learning Where to Allocate Experts: Task-Conditioned Layer-Wise Compression for MoEs [8.622261628194893]
  Mixture-of-Experts (MoE)モデルは、各トークンを専門家ネットワークのサブセットにルーティングし、トークンごとのスパースを維持しながらキャパシティを増大させる。 本稿では,各レイヤに対して,専門家保持閾値と有界ルーティングバイアスを予測可能なサポートセットコントローラであるMetaNetを提案する。
  論文  参考訳（メタデータ） (2026-08-27T06:01:46Z)
• BoostLoRA: Growing Effective Rank by Boosting Adapters [3.022272657109967]
  BoostLoRAは、最小限のアダプタを反復的にトレーニングしマージすることで制限を克服するグラデーションブースティングフレームワークである。 本手法は, 実効的ランクがトレーニングによって増大する最初のPEFT法であり, ラウンドごとのパラメータコストと総表現能力とを分離する。
  論文  参考訳（メタデータ） (2026-04-30T01:43:00Z)
• MoE-Sieve: Routing-Guided LoRA for Efficient MoE Fine-Tuning [0.5076419064097734]
  MoE-SieveはLoRAファインチューニングのためのシンプルなルーティング誘導フレームワークである。 上位25%のルーティングされた専門家のみをチューニングすることは、完全なLoRAと競合し続けています。 また、専門家数と種間差異の非単調な関係も観察した。
  論文  参考訳（メタデータ） (2026-03-25T07:53:09Z)
• Directional Routing in Transformers [0.0]
  指向性ルーティングは、共有ルータによって制御される各トランスフォーマーアテンションヘッド学習抑制方向を提供する軽量なメカニズムである。 結果の回路を機械的解釈可能性によってトレースする。 ルーティングは、ベースラインに対するパープレキシティを31～56%削減するが、下流の多重選択ベンチマークはまだこれらの利得を反映していない。
  論文  参考訳（メタデータ） (2026-03-16T07:28:22Z)
• ODAR: Principled Adaptive Routing for LLM Reasoning via Active Inference [60.958331943869126]
  ODAR-Expertは、原則化されたリソース割り当てによる精度と効率のトレードオフを最適化する適応的なルーティングフレームワークである。 我々は、MATHの98.2%の精度、HumanityのLast Examの54.8%を含む、強く一貫した利得を示している。
  論文  参考訳（メタデータ） (2026-02-27T05:22:01Z)
• Least-Loaded Expert Parallelism: Load Balancing An Imbalanced Mixture-of-Experts [74.40169987564724]
  エキスパート並列性(EP)は、複数のデバイスに専門家を分散させることで、MoEモデルをスケールするように設計されている。 極端な不均衡の下で、EPは少数の専門家に不均等な数のトークンを渡し、計算とメモリバウンドの障害を引き起こす。 本稿では,過剰なトークンと関連する専門家パラメータを過負荷デバイスから未利用デバイスへ動的に再帰する新しいEPアルゴリズムであるLast-Loaded Expert Parallelism (LLEP)を提案する。
  論文  参考訳（メタデータ） (2026-01-23T18:19:15Z)
• Uncertainty Makes It Stable: Curiosity-Driven Quantized Mixture-of-Experts [6.221156050218661]
  本稿では、資源制約のあるデバイス上でのディープニューラルネットワークのための好奇心駆動型量子化混合処理フレームワークを提案する。 われわれの4ビット量子化は、16ビットの精度(0.858対0.859 F1)の99.9%を維持し、4倍の圧縮と41%の省エネを実現している。 我々の情報理論的ルーティングは、適応量子化が精度(0.858 F1, 1.2M params)、エネルギー効率(3.87 F1/mJ)、予測可能なエッジモデルをもたらすことを示す。
  論文  参考訳（メタデータ） (2025-11-13T15:32:41Z)
• Dr.LLM: Dynamic Layer Routing in LLMs [55.11953638340419]
  Dr.LLMは、事前訓練されたモデルに軽量な層ごとのルータを装備し、ブロックをスキップ、実行、繰り返すように決定する、適合性のあるフレームワークである。 ARC(logic)とDART(math)では、Dr.LLMは平均で5つのレイヤを保存しながら、最大3.4%の精度向上を実現している。
  論文  参考訳（メタデータ） (2025-10-14T17:51:26Z)
• MC#: Mixture Compressor for Mixture-of-Experts Large Models [86.64315380917827]
  Mixture-of-Experts (MoE)は、大きな言語モデル(LLM)と視覚言語モデル(VLM)をスパースアクティベーションによって拡張することで効果的にスケールする。 静的量子化と動的エキスパートプルーニングを組み合わせたフレームワークであるMC#(Mixture-Compressor-sharp)を提案する。
  論文  参考訳（メタデータ） (2025-10-13T03:12:46Z)
• From Score Distributions to Balance: Plug-and-Play Mixture-of-Experts Routing [52.01745035243826]
  Mixture-of-Experts (MoE)モデルは、各トークンを専門家のサブセットにルーティングすることで、パラメータキャパシティをスケールすることができる。 条件付きルーティングは、推論メモリの負荷をシフトし、デバイスごとに専門家の数を制限する。 本稿では,精度を保ちながら負荷のバランスをとるプラグイン・アンド・プレイ型推論時ルーティングアルゴリズムLASERを提案する。
  論文  参考訳（メタデータ） (2025-09-29T16:29:17Z)
• Unifying Mixture of Experts and Multi-Head Latent Attention for Efficient Language Models [1.7272658301768147]
  MoE-MLA-RoPEは、Mixture of Experts (MoE)とMulti-head Latent Attention (MLA)とRotary Position Embeddings (RoPE)を組み合わせた、効率的な言語モデリングのための新しいアーキテクチャの組み合わせである。 提案手法は,3つの重要なイノベーションを通じて,モデル容量と計算効率の基本的なトレードオフに対処する。
  論文  参考訳（メタデータ） (2025-08-02T08:33:30Z)
• Retrosynthetic Planning with Dual Value Networks [107.97218669277913]
  我々は、PDVN(Planning with Dual Value Networks)と呼ばれる新しいオンライントレーニングアルゴリズムを提案する。 PDVNは計画段階と更新段階を交互に行い、分子の合成性とコストを予測する。 広く使われているUSPTOデータセットでは、PDVNアルゴリズムが既存のマルチステッププランナの探索成功率を改善する。
  論文  参考訳（メタデータ） (2023-01-31T16:43:53Z)
• Non-Parametric Adaptive Network Pruning [125.4414216272874]
  アルゴリズム設計を簡略化するノンパラメトリックモデリングを導入。 顔認識コミュニティに触発されて,メッセージパッシングアルゴリズムを用いて,適応的な例示数を求める。 EPrunerは「重要」フィルタを決定する際にトレーニングデータへの依存を壊します。
  論文  参考訳（メタデータ） (2021-01-20T06:18:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。