論文の概要: Router Drift Control: Mitigating Off-Policy Degradation in Mixture-of-Experts Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.21682v1
• Date: Thu, 15 Oct 2026 11:09:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.045992
• Title: Router Drift Control: Mitigating Off-Policy Degradation in Mixture-of-Experts Reinforcement Learning
• Title（参考訳）: ルータドリフト制御:混合強化学習におけるオフポリティ劣化の軽減
• Abstract要約: 強化学習は、トレーニング推論ミスマッチ、ミニバッチ更新、非同期トレーニングによって、非政治的になる可能性がある。 Rollout Replayは、トレーニング中のロールアウトステージからの専門家の選択を再利用することで、このミスマッチを緩和する。 本稿では、オフポリティクスの安定化の信号として、ロールアウトとトレーニングの間のルーティング不一致を利用したルータドリフト制御(RDC)を提案する。
• 参考スコア（独自算出の注目度）: 24.761462609625713
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning (RL) can become off-policy due to training-inference mismatch, mini-batch updates, and asynchronous training.The resulting mismatch is especially harmful in Mixture-of-Experts (MoE) models, where rollout--training discrepancies can change routing decisions and lead to router drift. Rollout Routing Replay (R3) mitigates this mismatch by reusing expert selections from the rollout stage during training. Our analysis shows that routing replay introduces gradient bias by losing contributions from experts selected by the training router but not the rollout router. To address this, we propose Router Drift Control (RDC), which uses routing disagreement between rollout and training as a signal of off-policy staleness and selectively rejects high-drift responses. The sequence-level filtering avoids gradient bias introduced by replay while preserving native expert selection and the associated learning signals for retained responses. Experiments show that RDC achieves larger gains as policy staleness increases and remains effective in asynchronous RL. In asynchronous training, RDC combined with Truncated Importance Sampling (TIS) improves the average peak validation accuracy across AIME 2024 and AIME 2025 by 5.5 points over TIS and 4.5 points over R3.
• Abstract（参考訳）: トレーニング推論ミスマッチ、ミニバッチ更新、非同期トレーニングによる強化学習(RL)は、特にMixture-of-Experts(MoE)モデルでは、ルーティング決定を変更してルータのドリフトにつながる。 ロールアウトルーティングリプレイ(R3)は、トレーニング中のロールアウトステージからの専門家選択を再利用することで、このミスマッチを緩和する。 我々の分析では、ルーティングリプレイはトレーニングルータではなく、トレーニングルータによって選択された専門家の貢献を失うことにより、勾配バイアスをもたらすことが示された。 そこで本稿では,ロールアウトとトレーニング間のルーティング不一致を外部の安定化の信号として用い,高ドリフト応答を選択的に拒否するルータドリフト制御(RDC)を提案する。 シーケンスレベルのフィルタリングは、リプレイによって引き起こされる勾配バイアスを回避し、ネイティブの専門家選択と関連する学習信号の保持を行う。 RDCはポリシの安定化が増加し,非同期RLで有効であることを示す実験結果が得られた。 非同期トレーニングでは、RTCとTrncated Importance Smpling(TIS)を組み合わせることで、AIME 2024とAIME 2025の平均ピーク検証精度がTISで5.5ポイント、R3で4.5ポイント向上する。

関連論文リスト

• Routing Policy Optimization for Online Diffusion Reinforcement Learning [63.968567790829496]
  強化学習は、視覚ジェネレータを訓練対象を超えて報酬信号と整合させることができる。 既存のスコア関数法は、典型的には逆の denoising 軌道を摂動することによって導入される。 我々は、アテンションルーティングを探索行動に変換するためにルーティングポリシー最適化を使用します。
  論文  参考訳（メタデータ） (2026-10-15T17:40:30Z)
• CoTrace: Data Recipes for Training Terminal Agents with Harness-Model Co-Evolution [68.76788820731048]
  CoTraceは、トラジェクトリルーティング、プロファイランスマッチング、リフレッシュを管理するハーネス対応のデータレシピである。 コンパクトなハーネス整合コーパスは、兄弟ハーネスにまたがるより大きなコーパスよりも、かなり低い計算で安定したモデルゲインを生成することを示す。
  論文  参考訳（メタデータ） (2026-10-07T17:06:59Z)
• RollVerify: Bridging Efficiency and Accuracy in Long-Tail Rollout Reinforcement Learning [52.85109240617592]
  RollVerifyは、部分的なロールアウト上に構築された軽量なReinforcement Learningフレームワークである。 訓練に入る前にサンプルを検証し、修復する。 トレーニングコストを削減しつつ、オンデマンドトレーニングに匹敵する精度を達成する。
  論文  参考訳（メタデータ） (2026-10-07T12:05:33Z)
• Self-Confirming Superposition Traps in Reinforcement Learning [62.71685993550818]
  強化学習はエージェントのポリシーによって選択されたデータに基づいて表現し、その結果のリターンを使って次の選択を導く。 これらのデータに対して表現フィッティングがグローバルに最適である場合でも,このループは低リターンポリシーを維持可能であることを示す。
  論文  参考訳（メタデータ） (2026-09-26T21:56:26Z)
• Dynamic Rollout Editing for Reducing Overthinking in RL-Trained Reasoning Models [102.76983747945836]
  長い形式の連鎖推論は複雑なタスクのパフォーマンスを向上させることができる。 しかし、正しい答えが現れた後、モデルはしばしば不要な推論を生成し続ける。 我々はこの現象をGRPO型強化学習の観点から研究する。
  論文  参考訳（メタデータ） (2026-06-16T13:10:30Z)
• PR2: Predictive Routing Replay for MoE-Based LLM Reinforcement Learning [40.05865857566415]
  本稿では,各ルータを軽量な進化予測器で拡張し,短水平ルータの進化を予測できる予測ルーティング・リプレイ(PR2)を提案する。 PR2はルーティングによるミスマッチを低減し、RL安定性を改善し、様々な推論ベンチマークでパフォーマンスを向上する。
  論文  参考訳（メタデータ） (2026-05-29T22:28:08Z)
• Teacher-Guided Routing for Sparse Vision Mixture-of-Experts [25.423413775524704]
  本稿では,Sparse Vision Mixture-of-ExpertsのためのTGR-MoE: Teacher-Guided Routingを提案する。 事前訓練された高密度教師モデルから導かれた指導を用いてルータ学習を安定化する。 高度にスパースな構成でも安定したトレーニングを維持しながら、正確性とルーティングの整合性を一貫して改善する。
  論文  参考訳（メタデータ） (2026-04-23T06:34:10Z)
• Stabilizing MoE Reinforcement Learning by Aligning Training and Inference Routers [33.18639109838351]
  我々は,MoEモデルのトレーニングと推論の整合性を解析し,ルーティング行動における顕著な相違点を同定する。 本稿では、推論エンジンからのルーティング分布を記録し、トレーニング中にリプレイするRollout Replay Routing (R3)を提案する。 R3は、トレーニング速度を損なうことなく、トレーニング推論ポリシーKLのばらつきを著しく低減し、極端な不一致を緩和する。
  論文  参考訳（メタデータ） (2025-10-13T13:11:27Z)
• Towards Deviation-Robust Agent Navigation via Perturbation-Aware Contrastive Learning [125.61772424068903]
  視覚言語ナビゲーション(VLN)は、エージェントに与えられた言語命令に従って実際の3D環境をナビゲートするように要求する。 本稿では,既存のVLNエージェントの一般化能力を高めるために,PROPER(Progressive Perturbation-aware Contrastive Learning)と呼ばれるモデルに依存しない学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2024-03-09T02:34:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。