Fugu-MT 論文翻訳(概要): One-Way Policy Optimization for Self-Evolving LLMs

論文の概要: One-Way Policy Optimization for Self-Evolving LLMs

arxiv url: http://arxiv.org/abs/2605.22156v1
Date: Thu, 21 May 2026 08:25:27 GMT
ステータス: 翻訳完了
システム内更新日: 2026-05-22 16:35:42.163777
Title: One-Way Policy Optimization for Self-Evolving LLMs
Title（参考訳）: 自己進化型LLMのワンウェイ政策最適化
Authors: Shuo Yang, Jinda Lu, Kexin Huang, Chiyu Ma, Shaohang Wei, Yuyang Liu, Guoyin Wang, Jingren Zhou, Li Yuan,
Abstract要約: RLVR(Reinforcement Learning with Verifiable Rewards)は,Large Language Models(LLMs)の推論能力を拡張するための,有望なパラダイムとなっている。本稿では,最適化方向を更新等級から切り離す手法である1-Way Policy Optimization (OWPO)を提案する。実験の結果,OWPOはDAPO,OPD,MOPDなどの強いベースラインより優れていた。
参考スコア（独自算出の注目度）: 63.8638342097375
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Reinforcement Learning with Verifiable Rewards (RLVR) has become a promising paradigm for scaling reasoning capabilities of Large Language Models (LLMs). However, the sparsity of binary verifier rewards often leads to low efficiency and optimization instability. To stabilize training, existing methods typically impose token-level constraints relative to a reference policy. We identify that such constraints penalize deviations indiscriminately; this can flip verifier-determined direction when the policy attempts to outperform the reference, thereby suppressing gains. To resolve this, we propose One-Way Policy Optimization (OWPO), a method based on the principle of decoupling optimization direction from update magnitude. In OWPO, the verifier dictates the update direction, while the reference policy serves only to adjust the magnitude. Specifically, OWPO applies asymmetric reweighting: it performs Accelerated Alignment for inferior deviations (where the policy lags behind the reference) and Gain Locking for superior deviations (where the policy surpasses the reference). Furthermore, by incorporating iterative reference updates, OWPO creates a ``Ratchet Effect'' that continuously consolidates gains. Experimental results demonstrate that OWPO outperforms strong baselines, including DAPO, OPD, and MOPD, breaking the bottleneck of fixed priors to enable continuous self-evolution without reliance on external reference models.
Abstract（参考訳）: Reinforcement Learning with Verifiable Rewards (RLVR) は,Large Language Models (LLMs) の推論能力を拡張するための,有望なパラダイムとなっている。しかし、二項検証器の報酬の幅は、しばしば効率の低下と最適化の不安定性をもたらす。トレーニングを安定させるために、既存のメソッドは通常、参照ポリシーに対してトークンレベルの制約を課します。このような制約は、偏差を無差別に罰するものであり、政策が基準を上回り、利得を抑えるときに検証者決定の方向を反転させることができる。これを解決するために,最適化方向を更新等級から切り離す手法である1-Way Policy Optimization (OWPO)を提案する。 OWPOでは、検証者が更新方向を定め、基準ポリシーは大きさを調節するのみである。具体的には、OWPOは非対称的な再重み付けを施し、劣等偏差(基準の後方にあるポリシー遅延)に対して加速度アライメント(Accelerated Alignment)、優良偏差(基準を超越する)に対してゲインロック(Gain Locking)を実行する。さらに、反復的な参照更新を取り入れることで、OWPOはゲインを継続的に統合する‘ラチェットエフェクト’を生成する。実験の結果、OWPOはDAPO、OPD、MOPDなどの強力なベースラインよりも優れており、固定前のボトルネックを破り、外部参照モデルに依存しない継続的自己進化を可能にしていることがわかった。

関連論文リスト

Stochastic MeanFlow Policies: One-Step Generative Control with Entropic Mirror Descent [53.828537014796574]
オンラインの非政治強化学習(RL)は、ポリシークラスと更新ルールの2つの選択肢によって構成されている。我々は、MeanFlow変換を通じてノイズをアクションにマッピングする一段階生成ポリシークラスであるMeanFlow Policiesを提案する。 7つのMuJoCoベンチマークで、Sは1ステップの推論効率を維持しながら、ガウスおよび生成ベースラインを改善する。
論文参考訳（メタデータ） (2026-05-20T15:14:14Z)
Robust Regularized Policy Iteration under Transition Uncertainty [6.7431287237221085]
我々は、オフラインRLをロバストなポリシー最適化として定式化し、遷移カーネルを不確実性集合内の決定変数として扱う。本稿では、抽出可能な最大最小二レベル目標を、抽出可能なKL正規化サロゲートに置き換えるロバスト正規化ポリシーイテレーション(RRPI)を提案する。 D4RLベンチマークの実験では、RRPIは高い平均性能を示し、最近のベースラインを上回っている。
論文参考訳（メタデータ） (2026-03-10T08:18:27Z)
Mitigating Mismatch within Reference-based Preference Optimization [55.07698254211876]
直接選好最適化(DPO)は、大規模な言語モデルのオフライン選好アライメントのデファクトスタンダードとなっている。 DPOは、信頼された領域内で更新を規則化することでトレーニングを安定化する参照に対して、各更新を重み付けする。この依存は、参照モデルが拒否された応答を好む悲観的なペアにとって問題となる。 DPOを変更して、$_-_mathrmref$を$_-max0,_mathrmref$に置き換えることで、悲観的な場合、参照を中立的に扱うようにします。
論文参考訳（メタデータ） (2026-02-12T12:55:51Z)
Rethinking the Trust Region in LLM Reinforcement Learning [72.25890308541334]
PPO(Proximal Policy Optimization)は、大規模言語モデル(LLM)のデファクト標準アルゴリズムとして機能する。より原則的な制約でクリッピングを代用する多変量確率ポリシー最適化(DPPO)を提案する。 DPPOは既存の方法よりも優れたトレーニングと効率を実現し、RLベースの微調整のためのより堅牢な基盤を提供する。
論文参考訳（メタデータ） (2026-02-04T18:59:04Z)
A Step Back: Prefix Importance Ratio Stabilizes Policy Optimization [58.116300485427764]
強化学習のポストトレーニングは、大きな言語モデルにおける推論の振る舞いを引き出すことができる。トークンレベルの補正は、オフポリシーネスの度合いが大きい場合、不安定なトレーニングダイナミクスにつながることが多い。我々は,最小固定率 (MinPRO) を簡易かつ効果的に提案する。
論文参考訳（メタデータ） (2026-01-30T08:47:19Z)
Ratio-Variance Regularized Policy Optimization for Efficient LLM Fine-tuning [48.34492357368989]
本稿では,安定なオン・ポリティクス学習をサポートし,オフ・ポリティクスデータの再利用を原則とするプリミティブ・デュアル・フレームワークを提案する。 R2VPO$は、強いクリッピングベースのベースラインよりも17%の平均的な相対的なゲインで優れたパフォーマンスを実現している。
論文参考訳（メタデータ） (2026-01-06T14:01:42Z)
BAPO: Stabilizing Off-Policy Reinforcement Learning for LLMs via Balanced Policy Optimization with Adaptive Clipping [69.74252624161652]
適応クリッピング(BAPO)を用いたBAlanced Policy Optimizationを提案する。 BAPOはクリッピングバウンダリを動的に調整し、適応的に正と負のコントリビューションを再バランスさせ、エントロピーを保持し、RL最適化を安定化させる。 AIME 2024とAIME 2025ベンチマークでは、7B BAPOモデルがSkyWork-OR1-7Bのようなオープンソースモデルを上回っています。
論文参考訳（メタデータ） (2025-10-21T12:55:04Z)
BNPO: Beta Normalization Policy Optimization [9.60676665395923]
動的に更新されたパラメータを持つベータ分布を用いて報酬を適応的に正規化する新しいポリシー最適化手法を提案する。本稿では,BNPOの分散還元特性を理論的に証明し,二値報酬設定の下でREINFORCEとGRPOの両方を一般化することを示す。実験の結果,BNPOは推論タスクにおけるポリシー最適化手法の最先端性能を達成できることを確認した。
論文参考訳（メタデータ） (2025-06-03T13:28:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。