論文の概要: Matching the Training-Time Weight Rule in Inference-Time Expert Deactivation

• arxiv url: http://arxiv.org/abs/2611.05804v1
• Date: Wed, 04 Nov 2026 01:23:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 03:25:57.916379
• Title: Matching the Training-Time Weight Rule in Inference-Time Expert Deactivation
• Title（参考訳）: 推論時間エキスパート不活性化におけるトレーニング時間ウェイトルールの整合性
• Abstract要約: 同一障害集合上での除去,凍結,未熟再正規化,非正規化再帰を比較した。 専門的貢献の喪失と分枝規模の変化をトレーニング中に使用する重み規則に関連づけた重み推定モデルを構築した。
• 参考スコア（独自算出の注目度）: 7.58365567859417
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Expert deactivation at inference time changes both token routing and expert weights, and its effect on performance depends on how these changes are implemented. We compare removal, freezing, remaining-expert renormalization, and unnormalized re-routing on identical disabled sets across five instruction-tuned checkpoints from four model families, with a base OLMoE checkpoint as an additional comparison. We develop a weight-sum model that relates the loss of expert contributions and changes in branch scale to the weight rule used during training. With half of the experts deactivated according to activation-based rankings, remaining-expert renormalization yields the highest perplexity in models trained with raw router probabilities, whereas unnormalized re-routing yields the highest perplexity in models trained with normalized weights. Perplexity ranges from 1.4 to 73 times the intact baseline when the training rule is retained, and from 14 to 28,740 times the baseline under a rule mismatch. Task outcomes vary across evaluation types: on OLMoE, GSM8K strict-match accuracy falls to zero under all four implementations. Extending the model to changes in the number of active experts yields a further prediction, supported by the OLMoE experiments: the perplexity penalty from additional renormalization increases as fewer experts are activated.
• Abstract（参考訳）: 推論時の専門家の不活性化はトークンルーティングとエキスパートウェイトの両方を変え、そのパフォーマンスへの影響は、これらの変更の実装方法に依存する。 4つのモデルファミリーから5つの命令調整チェックポイントにまたがる同一の障害セットに対して, 除去, 凍結, 未処理再正規化, および非正規化再ルーティングを比較し, ベースOLMoEチェックポイントを追加比較した。 専門的貢献の喪失と分枝規模の変化をトレーニング中に使用する重み規則に関連づけた重み推定モデルを構築した。 アクティベーションベースのランキングに従って専門家の半数が失活し、未熟な再正規化は生のルータ確率で訓練されたモデルにおいて最も難易度が高いのに対し、非正常化された再帰は正規化された重みで訓練されたモデルでは最も難易度が高い。 パープレキシティはトレーニングルールの保持時の無傷ベースラインの1.4～73倍、ルールミスマッチ時のベースラインの14～28,740倍である。 OLMoEでは、GSM8Kの厳密なマッチ精度は4つの実装すべてでゼロになる。 アクティブな専門家数の変化に対するモデルの拡張は、OLMoE実験で支持されたさらなる予測をもたらす。

関連論文リスト

• Beyond Data Schedule: Fast LLM Pretraining on Data Mixtures by Loss-Reweighting [30.036557725963295]
  損失再重み付けは、どちらの段階の軌道に沿って達成された最高の知識と推論スコアを上回る1つのチェックポイントを生成する。 LARE(Loss-Adaptive Reweighting under fixed Exposure)を提案する。
  論文  参考訳（メタデータ） (2026-10-23T04:09:46Z)
• RAZOR: Pruning Replaceable Experts in LLMs [19.95776080082138]
  本稿では,コンセンサス残差に基づく訓練不要プルーニング手法であるRAZORを紹介する。 RAZORは条件付きルート平均平方度で損傷を集約し、階層的な予算の下で専門家を選択する。 4つのモデル予算設定の中で、9つ以上の推論集約的なタスクでマクロ平均を達成している。
  論文  参考訳（メタデータ） (2026-09-24T19:02:55Z)
• Self-Healing Harness for Runtime Oversight of Agent Self-Modification [5.222675089489031]
  LLMエージェントは将来の行動を変えることができ、自己生成した変更が持続することを許容する基本的な制御問題を提起する。 我々はこれを自己修正の受付制御として定式化し、エージェントは操作命令の変更を提案し、外部ランタイムゲートは永続性を制御する。
  論文  参考訳（メタデータ） (2026-09-21T05:36:56Z)
• From Concentration to Differentiation and Back: Routing Effective Rank in MoE Reasoning Cohorts [61.695980784491475]
  テストタイムスケーリングは、推論ロールアウトのコホートを生成するが、推論が展開するにつれて内部計算がどのように再編成されるかについて、標準的なラベルのない説明はない。 本稿では,MoEの専門家による類似性から構築したクロスロールアウトグラフのエントロピー有効次元性であるルーティング有効ランクデフを導入する。
  論文  参考訳（メタデータ） (2026-09-06T05:43:22Z)
• RAPTOR: Role-Aware Private Training for Mixture-of-Experts [68.5626338219096]
  RAPTORはRole-Aware Private Trainingフレームワークである。 RAPTORは共有と専門家の最適化を交互に行い、各障害を直接ターゲットする。 GLUEタスク間でのSwitch TransformerとOLMoEの微調整およびDeepSeek-VL2-Tinyの実験では、標準のDPベースラインよりも一貫した利得を示している。
  論文  参考訳（メタデータ） (2026-09-04T23:16:12Z)
• Share First, Route What Remains: A Unified Framework for Token-Adaptive MoE Computation [49.8459545291965]
  Mixture-of-experts (MoE)モデルは、最近、一定数の完全なエキスパートをルーティングする以上の動きをしている。 我々は、この依存度を、わずかにリサイクルされたフィードフォワードの専門家をキーバリューチャネルに分解することで研究する。 トークン適応型MoE計算のための統一フレームワークであるUniF-MoEでインスタンス化する。
  論文  参考訳（メタデータ） (2026-08-11T02:40:58Z)
• Elbow-Based MoE Routing: A Training-Free Inference Time Plugin for Expert Selection [0.0]
  Mixture-of-Experts (MoE)モデルは、低推論時間計算を維持しながらモデルスケーリングを可能にする。 我々は,訓練不要な推論時間修正である肘ベースのルーティングを導入し,一人あたりのエキスパート数を動的に調整する。 最先端のMoEモデルの実験では、6つのベンチマークで精度を維持しながら平均遅延時間を5.3%削減した。
  論文  参考訳（メタデータ） (2026-08-05T03:10:17Z)
• ARBOR: Online Process Rewards via a Reusable Rubric Buffer for Search Agents [48.80766702702854]
  LLMベースの検索エージェントは、主に結果のみの報酬で訓練され、検索プロセス自体は監督されていない。 この信号は、全てのサンプル軌跡が同じ正当性を共有する結果同質な群に対して退化し、群内の優位性はゼロとなり、勾配は得られない。 ARBOR(Adaptive Buffer for Online Reward)は,クエリ間で共有されるルーリックメモリを維持する再利用可能なプロセス・リワードフレームワークである。
  論文  参考訳（メタデータ） (2026-06-02T06:58:54Z)
• Explicit Dropout: Deterministic Regularization for Transformer Architectures [55.09895958546215]
  ドロップアウトはディープラーニングにおいて広く使われている正規化手法であるが、その効果は一般的にマスキングによって実現される。 トレーニング損失に直接組み込まれた加算正則化器としてドロップアウトを表現する決定論的定式化を提案する。
  論文  参考訳（メタデータ） (2026-04-22T12:45:51Z)
• A Replicate-and-Quantize Strategy for Plug-and-Play Load Balancing of Sparse Mixture-of-Experts LLMs [64.8510381475827]
  SMOE(Sparse Mixture-of-Experts)アーキテクチャは、大規模言語モデルを効率的にスケールするためにますます使われている。 SMoEモデルは専門家間で厳しい負荷不均衡に悩まされることが多く、専門家のごく一部がほとんどのトークンを受け取り、他のモデルは未利用である。 推定中のエキスパートルーティングの体系的解析を行い, (i) 負荷不均衡が持続し, バッチサイズが大きくなる, (ii) 選択頻度が, 専門家の重要度を確実に反映しない, (iii) 専門家の全体負荷と重要性を, キャリブレーションセットを用いて推定できる,という3つの知見を同定する。
  論文  参考訳（メタデータ） (2026-02-23T15:11:16Z)
• DISPO: Enhancing Training Efficiency and Stability in Reinforcement Learning for Large Language Model Mathematical Reasoning [31.369103012768964]
  DISPOは単純だが効果的なREINFORCEスタイルのアルゴリズムで、正しい反応と間違った反応のために重要なサンプリング重量の上昇と下降を分離する。 DISPO は AIME'24 (55.42% CISPO と 50.21% DAPO) で 61.04% を達成することを示す。
  論文  参考訳（メタデータ） (2026-02-01T02:45:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。