論文の概要: Don't Skip the Baseline: A Controlled Comparison of Dynamic Expert Skipping in MoEs

• arxiv url: http://arxiv.org/abs/2610.28369v1
• Date: Tue, 20 Oct 2026 15:29:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.887127
• Title: Don't Skip the Baseline: A Controlled Comparison of Dynamic Expert Skipping in MoEs
• Title（参考訳）: ベースラインをスキップするな - MoEsにおける動的エキスパートスキーの制御された比較
• Abstract要約: 我々は4つの代表的な先行手法を統一分類群に分類し、それらを自然な単純なベースラインに対してベンチマークする。 驚くべきことに、単純なベースラインはモデル、モダリティ、ベンチマーク、キャリブレーション設定で一貫したパフォーマンスを発揮することは難しい。
• 参考スコア（独自算出の注目度）: 42.2062414579297
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A growing body of work proposes dynamic expert-skipping methods for Mixture-of-Experts (MoE) models that adjust the number of experts activated per token during inference, aiming to preserve model quality while further reducing the number of active parameters. These methods have added calibrated importance scores, inter-expert similarity metrics, or learned per-token allocators in order to identify experts to skip. However, different calibration regimes, different reductions in the effective number of experts, and evaluation suites make comparisons difficult. We classify four representative prior methods into a unified taxonomy and benchmark them against a natural, simple baseline: statically reducing the number of experts $k$ (i.e., same reduced $k$ across all layers and tokens). We provide a fair comparison of these methods at matched expert-compute budget, on two modern MoEs (Gemma4-26B-A4B and Qwen3-30B-A3B) in a text-only setting and a contemporary vision-language model (Qwen3-VL) in a multimodal setting. Surprisingly, we find that the simple baseline is hard to outperform consistently across models, modalities, benchmarks, and calibration settings. The methods we benchmark often underperform the baseline and achieved gains, when present, are minor. We further find that the effective $k$ achieved (or optimized for) in calibration can diverge from the effective $k$ in testing, resulting in over- or under-estimating the compute at inference time. Based on these findings, we recommend a calibration-free per-modality static $k$ reduction and validate this on a held-out model and modality. We further argue that a static control at matched measured compute is the baseline any dynamic skipping method must beat.
• Abstract（参考訳）: 増大する研究機関は、Mixture-of-Experts(MoE)モデルに対して、推論中にトークン毎にアクティベートされるエキスパートの数を調整し、モデルの品質を保ちながら、さらにアクティブパラメータの数を減らし、動的専門家スキッピング手法を提案する。 これらの手法は、専門家をスキップする専門家を特定するために、校正された重要度スコア、専門家間の類似度メトリクス、および学習者ごとのアロケータを追加した。 しかし、キャリブレーションの異なる体制、専門家数の異なる削減、評価スイートは比較を困難にしている。 4つの代表的先行メソッドを統一された分類分類に分類し、それらを自然な単純なベースラインに対してベンチマークする: 静的に、専門家の数を$k$(すなわち、すべての層とトークンで$k$を減らした)。 テキストのみの設定における2つの現代MoE(Gemma4-26B-A4BとQwen3-30B-A3B)と、マルチモーダル設定における現代ビジョン言語モデル(Qwen3-VL)について、一致した専門家計算予算におけるこれらの手法の公正比較を行う。 驚くべきことに、単純なベースラインはモデル、モダリティ、ベンチマーク、キャリブレーション設定で一貫したパフォーマンスを発揮することは難しい。 私たちがベンチマークしたメソッドはベースラインを過小評価することが多く、現在の時点では利益は小さいです。 さらに、キャリブレーションにおける有効な$k$は、テストにおいて有効な$k$から分岐し、その結果、推論時に計算を過度または過小評価する。 これらの結果に基づき、キャリブレーションフリーの静的なk$還元法を推奨し、これを保留モデルとモダリティで検証する。 さらに、一致した計算における静的制御は、任意の動的スキップ法が打ち負かさなければならないベースラインであると主張する。

関連論文リスト

• Smoothing the Top-k Exposure Boundary for Sparse Mixture-of-Experts [45.31502436468577]
  本稿では, 分散分布の局所化から, アクティブなエキスパート予算を$k$とするElastic Expert Routingを提案する。 サンプリング近傍は対称のままであるため、この手法は決定論的トレーニングの予測計算コストと一致する。 オフスクラッチ事前トレーニングでは、検証LM損失を0.04ドルまで減らし、静的のトップ$k$ベースラインを平均16ドルポイント上回る。
  論文  参考訳（メタデータ） (2026-10-08T09:31:19Z)
• Elbow-Based MoE Routing: A Training-Free Inference Time Plugin for Expert Selection [0.0]
  Mixture-of-Experts (MoE)モデルは、低推論時間計算を維持しながらモデルスケーリングを可能にする。 我々は,訓練不要な推論時間修正である肘ベースのルーティングを導入し,一人あたりのエキスパート数を動的に調整する。 最先端のMoEモデルの実験では、6つのベンチマークで精度を維持しながら平均遅延時間を5.3%削減した。
  論文  参考訳（メタデータ） (2026-08-05T03:10:17Z)
• Flash-BoN: Instant Drafts for Inference-Time Scaling in Diffusion Models [91.19049123903137]
  テキストから画像への推論時間のスケーリングは、単純なBest-of-N$サンプリングからガイド付き検索方法まで進歩している。 これらのアプローチは、いつ、どの程度の頻度でデノベーションを行うかに焦点が当てられているが、生成自体のコストを固定として扱うのがほとんどである。 ウォールクロック評価では、単純なBoNが既にいくつかのガイド付き検索手法に適合または優れていたことを示す。
  論文  参考訳（メタデータ） (2026-07-05T19:02:32Z)
• MoDES: Accelerating Mixture-of-Experts Multimodal Large Language Models via Dynamic Expert Skipping [52.02659589971978]
  我々は,MoE MLLM推論を効果的かつ正確なものにするために,専門家を適応的にスキップする最初のトレーニングフリーフレームワークであるMoDESを提案する。 MoDESは推論速度を大幅に向上させ、プリフィルタイムを2.16$times$、デコードタイムを1.26$times$に改善する。
  論文  参考訳（メタデータ） (2025-11-19T18:48:27Z)
• The Tournament Tree Method for preference elicitation in Multi-criteria decision-making [8.06855767139412]
  トーナメント・ツリー・メソッド(TTM)は、新しい評価フレームワークである。 提案手法は、設計による一貫性を確保し、認知的努力を最小限に抑え、嗜好モデリングの次元性を低下させる。 古典的なデック・オブ・カード法と互換性があり、間隔と比率のスケールを扱える。
  論文  参考訳（メタデータ） (2025-10-09T13:24:32Z)
• Unearthing Skill-Level Insights for Understanding Trade-Offs of Foundation Models [61.467781476005435]
  集約精度を検査する際には、スキルワイドのパフォーマンスが不明確になる。 モデル生成論理を検査することで,任意の評価事例に関連する基礎的スキルを復元する自動手法を提案する。 私たちのスキルスライスとフレームワークは、モデル評価の新しい道を開き、スキル固有の分析を活用して、よりきめ細やかで実用的なモデル機能の理解を解き放ちます。
  論文  参考訳（メタデータ） (2024-10-17T17:51:40Z)
• Sparse MoEs meet Efficient Ensembles [49.313497379189315]
  このようなモデルの2つの一般的なクラス、すなわちニューラルネットワークのアンサンブルと専門家のスパースミックス(スパースMoE)の相互作用について研究する。 Efficient Ensemble of Experts (E$3$)は、両モデルのクラスを最大限に活用するスケーラブルでシンプルなMoEのアンサンブルであり、深いアンサンブルよりも最大45%少ないFLOPを使用する。
  論文  参考訳（メタデータ） (2021-10-07T11:58:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。