論文の概要: MOER: Mix-Policy Optimization under Expert Prefix Guidance with Selective Rollback

• arxiv url: http://arxiv.org/abs/2610.30873v1
• Date: Thu, 22 Oct 2026 07:54:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.273653
• Title: MOER: Mix-Policy Optimization under Expert Prefix Guidance with Selective Rollback
• Title（参考訳）: MOER: 選択ロールバックによるエキスパートプレフィックスガイダンス下でのミックスプライシ最適化
• Abstract要約: MOERは、専門家の指導と自己探索を調和させる混合政治最適化フレームワークである。 実験により、MOERは数学および一般領域推論タスクにおいて最も高い平均スコアを達成することが示された。
• 参考スコア（独自算出の注目度）: 25.13799706408213
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mix-policy optimization incorporates off-policy expert data into the reinforcement learning (RL) loop to transcend the capability boundary of on-policy RL. However, existing methods either provide static full-trace guidance that suppresses self-exploration, or adopt expert prefix guidance without correctness guarantees, leading to suboptimal performance or even training collapse. In this paper, we propose MOER, a mix-policy optimization framework that harmonizes expert guidance with self-exploration. MOER injects a decaying expert chain-of-thought prefix into the prompt and lets the model complete the remaining reasoning, with the prefix length progressively annealed to encourage self-exploration. A selective rollback mechanism replaces failed completions with the original full expert trace, guaranteeing the correctness of every off-policy trajectory. Furthermore, a harmonized mix-policy objective optimizes on-policy tokens with a GRPO loss while supervising both expert prefix and completion tokens with a trust-region SFT loss, substantially stabilizing training. Extensive experiments show that MOER achieves the highest average scores in mathematical and general domain reasoning tasks, outperforming all basic and mix-policy baselines, and generalizes consistently across diverse tasks, model scales, and base model categories. Codes are available at https://github.com/CityU-MLO/MOER.
• Abstract（参考訳）: 混合ポリティクス最適化は、オフポリティクスの専門家データを強化学習(RL)ループに組み込んで、オンポリティクスRLの能力境界を超越する。 しかし、既存の手法は、自己探索を抑える静的フルトレースガイダンスを提供するか、あるいは正確性を保証することなく専門家のプレフィックスガイダンスを採用することで、最適以下のパフォーマンスやトレーニングの崩壊につながる。 本稿では,専門家の指導と自己探索を調和させる混合政治最適化フレームワークMOERを提案する。 MOERは、崩壊する専門家の連鎖のプレフィックスをプロンプトに注入し、モデルが残りの推論を完了させる。 選択的なロールバック機構は、失敗した完了を元の完全なエキスパートトレースに置き換え、すべてのオフポリティックな軌道の正確性を保証する。 さらに、調和した混合政治目的は、専門家のプレフィックスと完了トークンの両方を信頼領域のSFT損失で監督しつつ、GRPO損失でオン・ポリティトークンを最適化し、トレーニングを実質的に安定化させる。 大規模な実験により、MOERは数学および一般のドメイン推論タスクにおいて最も高い平均スコアを達成し、基本的および混合政治のベースラインを上回り、多様なタスク、モデルスケール、ベースモデルカテゴリを一貫して一般化することを示した。 コードはhttps://github.com/CityU-MLO/MOERで公開されている。

関連論文リスト

• Adapting Nonstationary Multi-output Gaussian Processes to Bayesian Optimization [0.0]
  マルチ出力低ランク非定常(MO-LRN)GPのミスマッチについて検討し、高いトレーニング適合性は大規模なオフデザインエラーと楽観的な獲得予測と共存できることを示した。 MOLRN-BOは、正規化された共有スペクトルサロゲートと、目的固有残差、先行平均補正、誘電共分散スケーリングを組み合わせたものである。 実験により、MOLRN-BOは元のMO-LRNを大幅に改善し、最終正規化ハイパーボリュームと正規化逆世代距離の最良の平均問題ランクを達成することが示された。
  論文  参考訳（メタデータ） (2026-09-26T10:54:56Z)
• ARISE-RL: Agentic Rubric-Grounded Iterative Self-Evolution with Reinforcement Learning [74.19730275669227]
  ARISE-RLは、オープンエンドエージェントをトレーニングするための新しいフルサイクルの自己進化フレームワークである。 Reward-Gated Self-Evolution Distillation (RG-SED)を提案する。 ECR-Benchは,シングルツールディープリサーチとマルチツールトラベルプランニングを対象とする,専門家校正型ルーリックベンチマークスイートである。
  論文  参考訳（メタデータ） (2026-09-01T10:54:13Z)
• UP: Unbounded Positive Asymmetric Optimization for Breaking the Exploration-Stability Dilemma [32.401066562991744]
  非有界正の非対称最適化(UP)は普遍的でプラグアンドプレイの目的である。 UPは、Stop-gradient演算子を介してポリシーを現在の状態に固定することで最適化プロセスを再構築する。 UPは探索能力を高め、多様なRLアルゴリズムにおいて優れた推論精度を達成する。
  論文  参考訳（メタデータ） (2026-07-08T04:21:42Z)
• Uncertainty-Aware LLM-Guided Policy Shaping for Sparse-Reward Reinforcement Learning [2.384534878752428]
  校正された大言語モデルを強化学習訓練ループに統合するフレームワークである,不確実性を考慮した LLM-Guided Policy Shaping (ULPS) を提案する。 ULPS は A* ベースのオラクルを用いて最適な記号軌道を合成し、BERT ベースの言語モデルを微調整する。 成功率、報酬効率、サンプルの複雑さを、無誘導、非校正、標準のRLベースラインで一貫した改善を観察する。
  論文  参考訳（メタデータ） (2026-06-04T19:46:45Z)
• HAD: Combining Hierarchical Diffusion with Metric-Decoupled RL for End-to-End Driving [51.268878540511054]
  我々は階層的拡散政策を備えたエンドツーエンドの計画フレームワークであるHADを提案する。 我々は,NAVSIMとHUGSIMの両方でHADが新たな最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2026-04-04T04:12:47Z)
• Coverage Improvement and Fast Convergence of On-policy Preference Learning [67.36750525893514]
  言語モデルアライメントのためのオンラインのオンラインプライオリティ学習アルゴリズムは、オフラインのアルゴリズムよりも大幅に優れている。 我々は,サンプリング政策の包括的範囲が政治訓練を通じてどのように進展するかを分析する。 一般機能クラス設定における報奨蒸留のための原則的オンライン方式を開発した。
  論文  参考訳（メタデータ） (2026-01-13T10:46:06Z)
• GDPO: Group reward-Decoupled Normalization Policy Optimization for Multi-reward RL Optimization [133.27496265096445]
  我々は,グループ相対的政策最適化を,その適合性を検討することなく,マルチリワード設定で適用する方法を示す。 次に、これらの問題を解決するための新しい政策最適化手法であるグループ報酬分離正規化政策最適化(GDPO)を紹介する。 GDPOはGRPOを一貫して上回り、マルチリワード強化学習最適化の有効性と一般化性を示す。
  論文  参考訳（メタデータ） (2026-01-08T18:59:24Z)
• On-Policy RL Meets Off-Policy Experts: Harmonizing Supervised Fine-Tuning and Reinforcement Learning via Dynamic Weighting [91.38734024438357]
  Supervised Fine-Tuning (SFT) と Reinforcement Learning (RL) は、大規模言語モデル(LLM)の能力の強化と振る舞いの整合化のための訓練後パラダイムである。 SFTとRLを統合する既存のアプローチは、確立された応答パターンを乱し、専門家データに過度に適合するリスクに直面することが多い。 動的重み付けによるオン・アンド・オフ・ポリティクス強化学習の制御可能な調和のためのフレームワークであるCHORDを提案する。
  論文  参考訳（メタデータ） (2025-08-15T11:20:03Z)
• Explicit Preference Optimization: No Need for an Implicit Reward Model [18.225409932618657]
  直接選好最適化(DPO)とそのオフシュートは、個別の報酬トレーニングステップの必要性を回避する。 DPOをベースとした目的は,しかしながら,準最適正規化や反直観的アーティファクトの対象であることを示す。
  論文  参考訳（メタデータ） (2025-06-09T07:11:01Z)
• Where is the Grass Greener? Revisiting Generalized Policy Iteration for Offline Reinforcement Learning [81.15016852963676]
  オフラインRL体制における最先端のベースラインを、公正で統一的で高分解能なフレームワークの下で再実装する。 与えられたベースラインが、スペクトルの一方の端で競合する相手よりも優れている場合、他方の端では決してしないことを示す。
  論文  参考訳（メタデータ） (2021-07-03T11:00:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。