論文の概要: ACE: Adaptive Calibration-Free Expert Skipping for MoE-based LLMs

• arxiv url: http://arxiv.org/abs/2609.05228v1
• Date: Fri, 04 Sep 2026 14:56:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-07 18:15:24.079723
• Title: ACE: Adaptive Calibration-Free Expert Skipping for MoE-based LLMs
• Title（参考訳）: ACE: MoE ベースの LLM 用適応キャリブレーションフリーエキスパートスキッピング
• Abstract要約: Mixture-of-Experts (MoE)アーキテクチャは、大規模言語モデル(LLM)のスケーリングに効率的なパラダイムを提供する。 本稿では,トークン適応型エキスパートスキップのためのトレーニングフリー,キャリブレーションフリー,チェックポイント保存フレームワークであるACEを提案する。
• 参考スコア（独自算出の注目度）: 15.24786135265898
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mixture-of-Experts (MoE) architectures provide an efficient paradigm for scaling large language models (LLMs), yet fixed top-k routing activates the same number of expert slots for every token, causing substantial redundant computation. Existing expert-skipping methods often rely on router confidence, calibration data, or additional training, and therefore cannot reliably estimate the actual contribution of routed experts. To this end, we propose ACE, a training-free, calibration-free, and checkpoint-preserving framework for token-adaptive expert skipping in MoE-based LLMs. ACE contains two complementary components: 1) Global Spectral Proxy (GSP), which estimates global transformation capacity from the coupled gate, up, and down projections together with RMSNorm scaling; and 2) Router-Conditioned Refinement (RCR), which constructs expert-specific direction prototypes from centered router weights and evaluates expert responses along routing-preferred directions. During inference, ACE combines both estimates with runtime router gates and skips an expert slot only when both views identify it as low-contribution, while always retaining the top-1 expert. All expert statistics are computed offline, leaving only table lookups and lightweight scalar operations online. Extensive experiments across three MoE-based LLMs and eight benchmarks demonstrate that ACE consistently outperforms existing static and dynamic baselines, with increasingly pronounced advantages under aggressive expert skipping. For instance, at a 50% skipping ratio on Qwen3.6-35B-A3B, ACE reduces WikiText-2 perplexity by 7.96% and improves average downstream accuracy by 4.15 percentage points over the strongest competing method.
• Abstract（参考訳）: Mixture-of-Experts (MoE)アーキテクチャは、大きな言語モデル(LLM)をスケールするための効率的なパラダイムを提供するが、固定されたトップkルーティングはトークンごとに同じ数の専門家スロットを活性化し、かなりの冗長な計算を引き起こす。 既存のエキスパートスキッピング手法は、しばしばルータの信頼性、校正データ、追加のトレーニングに依存しているため、ルーティングされた専門家の実際の貢献を確実に見積もることはできない。 そこで本研究では,MOE ベースの LLM におけるトークン適応型エキスパートスキップのための,トレーニングフリー,キャリブレーションフリー,チェックポイント保存フレームワークであるACE を提案する。 ACEには2つの補完的なコンポーネントがある。 1)GSP(Global Spectral Proxy)は、RMSNormスケーリングとともに、結合ゲート、アップ、ダウンプロジェクションからグローバルトランスフォーメーション容量を推定する。 2) ルータ・コンディションド・リファインメント (RCR) は, ルータ重みから専門家固有の方向のプロトタイプを構築し, 経路優先方向に沿って専門家の応答を評価する。 推論の間、ACEは両方の見積をランタイムルータゲートと組み合わせ、両方のビューがそれを低コントリビューションであると認識した場合にのみ、エキスパートスロットをスキップする。 すべての専門家統計はオフラインで計算され、テーブルルックアップと軽量スカラー操作のみがオンラインに残されている。 3つのMoEベースのLLMと8つのベンチマークによる大規模な実験は、ACEが既存の静的および動的ベースラインを一貫して上回ることを示した。 例えば、Qwen3.6-35B-A3Bで50%のスキップ率で、ACEはWikiText-2の難易度を7.96%削減し、最強の競合法よりも平均ダウンストリーム精度を4.15ポイント改善した。

関連論文リスト

• Expert-Space Exploration in MoE Reinforcement Learning [41.1632714379556]
  エキスパートスペース探索強化学習(Expert-Space Exploration Reinforcement Learning、ESRL)は、MoEモデルのエキスパートルーティング空間を明示的に探求するアーキテクチャを意識したフレームワークである。 ESRLは、トップK、トップ1、共有専門家ルーティング、数学、科学、コードタスクといったMoEバックボーンで最高のパフォーマンスを、追加のサンプリングや計算コストなしで達成する。
  論文  参考訳（メタデータ） (2026-09-11T16:58:41Z)
• Share First, Route What Remains: A Unified Framework for Token-Adaptive MoE Computation [49.8459545291965]
  Mixture-of-experts (MoE)モデルは、最近、一定数の完全なエキスパートをルーティングする以上の動きをしている。 我々は、この依存度を、わずかにリサイクルされたフィードフォワードの専門家をキーバリューチャネルに分解することで研究する。 トークン適応型MoE計算のための統一フレームワークであるUniF-MoEでインスタンス化する。
  論文  参考訳（メタデータ） (2026-08-11T02:40:58Z)
• Tying the Loop -- Tied Expert Layers in Mixture-of-Experts Language Models [50.34585122347149]
  これは連続的なトランスフォーマー層にまたがるエキスパートパラメータを共有するアーキテクチャ修正である。 我々は、OLMoE、Qwen3、DeepSeekスタイルのMoEなど、一般的な最先端アーキテクチャにおけるこのアプローチを評価した。
  論文  参考訳（メタデータ） (2026-06-15T15:08:09Z)
• Adaptive Inverted-Index Routing for Granular Mixtures-of-Experts [49.09151538536423]
  Mixture-of-experts (MoE)モデルはトークンごとに専門家のサブセットだけを活性化することでスケーラブルなトランスフォーマーアーキテクチャを実現する。 最近の証拠は、より粒度の細かい専門家、すなわち、少数の大きな専門家ではなく、多くの小さな専門家によって、パフォーマンスが向上することを示している。 ベクトル量子化(VQ)に基づく逆インデックス型ルーティングアーキテクチャである MoE (AIR-MoE) の適応型逆インデックスルーティングを導入する。
  論文  参考訳（メタデータ） (2026-05-06T14:15:10Z)
• MoE-Sieve: Routing-Guided LoRA for Efficient MoE Fine-Tuning [0.5076419064097734]
  MoE-SieveはLoRAファインチューニングのためのシンプルなルーティング誘導フレームワークである。 上位25%のルーティングされた専門家のみをチューニングすることは、完全なLoRAと競合し続けています。 また、専門家数と種間差異の非単調な関係も観察した。
  論文  参考訳（メタデータ） (2026-03-25T07:53:09Z)
• REAL: Regression-Aware Reinforcement Learning for LLM-as-a-Judge [83.2858110368572]
  回帰報酬を最適化するための原則的RLフレームワークである textbfREAL (underlineREgression-underlineAware Reinforcement underlineLThought) を提案する。 我々は,REALがレグレッション対応SFTベースラインと標準RL法の両方を一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2026-03-17T21:19:08Z)
• A Replicate-and-Quantize Strategy for Plug-and-Play Load Balancing of Sparse Mixture-of-Experts LLMs [64.8510381475827]
  SMOE(Sparse Mixture-of-Experts)アーキテクチャは、大規模言語モデルを効率的にスケールするためにますます使われている。 SMoEモデルは専門家間で厳しい負荷不均衡に悩まされることが多く、専門家のごく一部がほとんどのトークンを受け取り、他のモデルは未利用である。 推定中のエキスパートルーティングの体系的解析を行い, (i) 負荷不均衡が持続し, バッチサイズが大きくなる, (ii) 選択頻度が, 専門家の重要度を確実に反映しない, (iii) 専門家の全体負荷と重要性を, キャリブレーションセットを用いて推定できる,という3つの知見を同定する。
  論文  参考訳（メタデータ） (2026-02-23T15:11:16Z)
• Too Helpful, Too Harmless, Too Honest or Just Right? [19.134202394422285]
  大規模言語モデル(LLM)は、幅広いNLPタスクに強いパフォーマンスを示す。 アウトプットをHelpfulness、Harmlessness、Hoesty(HHH)の原則と整合させることは、依然として永続的な課題である。 本稿では,Transformer アーキテクチャに Calibrated Experts (MoCaE) を組み込んだモジュールアライメントフレームワークである TrinityX を提案する。
  論文  参考訳（メタデータ） (2025-09-10T10:51:47Z)
• HOBBIT: A Mixed Precision Expert Offloading System for Fast MoE Inference [54.40808356999408]
  フレキシブルで効率的なMoE推論を実現するための混合精度専門家オフロードシステムHOBBITを提案する。 キーとなる洞察は、重要でないキャッシュミスの専門家を低い精度で動的に置き換えることで、専門家のロード遅延を大幅に削減できるということです。 HOBBITは、最先端のMoEオフロードシステムと比較して、デコードで最大9.93倍のスピードアップを達成する。
  論文  参考訳（メタデータ） (2024-11-03T04:25:46Z)
• Expert-Token Resonance MoE: Bidirectional Routing with Efficiency Affinity-Driven Active Selection [19.365009652356793]
  エキスパート-トークン共鳴(ETR)は、専門家-トークン相互作用を再想像する理論的な双方向ルーティング機構である。 ETRは、ベースラインのMoE実装と比較して、エンドツーエンドのトレーニング効率が5.4%-46.6%向上している。
  論文  参考訳（メタデータ） (2024-05-24T02:50:44Z)
• T-REX: Mixture-of-Rank-One-Experts with Semantic-aware Intuition for Multi-task Large Language Model Finetuning [31.276142111455847]
  大規模言語モデル(LLM)は多様なマルチタスクの微調整において重要な適応課題に直面している。 我々はmixunderlinetextbfTureunderlinetextbf-of-underlinetextbfRank-onunderlinetextbfE-eunderlinetextbfXper ts (textttT-REX) という新しいフレームワークを設計する。 Rank-1のエキスパートは、ミックス・アンド・マッチのメカニズムにより、線形パラメータのオーバーヘッドを持つエキスパートのベクトル部分空間を2次に拡張し、最適で近似誤差削減を達成することができる。
  論文  参考訳（メタデータ） (2024-04-13T12:14:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。