論文の概要: Target Policy Optimization

• arxiv url: http://arxiv.org/abs/2604.06159v1
• Date: Tue, 07 Apr 2026 17:55:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-08 17:42:09.984571
• Title: Target Policy Optimization
• Title（参考訳）: 目標政策最適化
• Authors: Jean Kaddour,
• Abstract要約: RLでは、プロンプトが与えられた場合、モデルから完了した集合をサンプリングしてスコア付けする。 どの完了が確率質量を得るべきか、その変化を実現するためにパラメータはどのように動くべきか、という2つの疑問がある。 標準ポリシーのグラディエントメソッドは、両方に一度に答えるので、学習率、クリップング、その他の選択に応じて、アップデートはオーバーシュートまたはアンダーシュートできる。 本稿では,2つの質問を分離したemphTarget Policy Optimization (TPO)を紹介する。
• 参考スコア（独自算出の注目度）: 6.025035503320811
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In RL, given a prompt, we sample a group of completions from a model and score them. Two questions follow: which completions should gain probability mass, and how should the parameters move to realize that change? Standard policy-gradient methods answer both at once, so the update can overshoot or undershoot depending on the learning rate, clipping, and other optimizer choices. We introduce \emph{Target Policy Optimization} (TPO), which separates the two questions. Given scored completions, TPO constructs a target distribution $q_i \propto p_i^{\,\mathrm{old}} \exp(u_i)$ and fits the policy to it by cross-entropy. The loss gradient on sampled-completion logits is $p^θ- q$, which vanishes once the policy matches the target. On tabular bandits, transformer sequence tasks, and billion-parameter LLM RLVR, TPO matches PG, PPO, GRPO, and DG on easy tasks and substantially outperforms them under sparse reward. Code is available at https://github.com/JeanKaddour/tpo.
• Abstract（参考訳）: RLでは、プロンプトが与えられた場合、モデルから完了した集合をサンプリングしてスコア付けする。 どの完了が確率質量を得るべきか、その変化を実現するためにパラメータはどのように動くべきか、という2つの疑問がある。 標準ポリシーのグラディエントメソッドは、両方に一度に答えるので、学習率、クリップング、その他のオプティマイザの選択に応じて、アップデートはオーバーシュートまたはアンダーシュートできる。 本稿では,2つの質問を分離した 'emph{Target Policy Optimization} (TPO) を紹介する。 得られた完了が与えられたとき、TPO はターゲット分布 $q_i \propto p_i^{\,\mathrm{old}} \exp(u_i)$ を構築し、そのポリシーをクロスエントロピーで適合させる。 サンプル・コンプリート・ロジットの損失勾配は$p^θ-q$であり、政策が目標と一致すると消滅する。 表バンド、トランスフォーマーシークエンスタスク、および10億パラメートルのLDM RLVRでは、TPOはPG、PPO、GRPO、DGと簡単なタスクで一致し、スパース報酬で大幅に上回る。 コードはhttps://github.com/JeanKaddour/tpo.comから入手できる。

関連論文リスト

• Self-Hinting Language Models Enhance Reinforcement Learning [37.311361929798714]
  我々は、権限付き監督(SAGE)を備えた自己隠れ型GRPOを提案する。 SAGEはトレーニング中に特権付きヒントを注入し、同じ端末検証者報酬の下でロールアウト分布を再生成する。 3つのLSMを持つ6つのベンチマーク実験の結果、SAGEはGRPOを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-02-03T05:56:20Z)
• CPPO: Accelerating the Training of Group Relative Policy Optimization-Based Reasoning Models [77.16976971950785]
  本稿では、推論モデルの学習を高速化するために、CPPO(Completion Pruning Policy Optimization)を提案する。 CPPOは絶対的なアドバンテージを低く保ち、勾配計算や更新に必要な数を大幅に削減する。 実験の結果、CPPOはGSM8Kで最大7.98タイム、Mathで3.48タイムで最大7.48タイム、オリジナルのGRPOと比較して精度を保っている。
  論文  参考訳（メタデータ） (2025-03-28T11:30:05Z)
• RePO: Understanding Preference Learning Through ReLU-Based Optimization [66.098833436503]
  本稿では,ReLUに基づくPreference Optimization (RePO)を提案する。 RePOは、ロジスティック重み付けが二項しきい値に崩壊するSimPOの制限ケース(「infty$」の略)として特徴付けられる。 AlpacaEval 2 と Arena-Hard の実証結果は、RePO が複数のベースモデルで DPO と SimPO を上回っていることを示している。
  論文  参考訳（メタデータ） (2025-03-10T15:11:07Z)
• Reinforcement Learning with Verifiable Rewards: GRPO's Effective Loss, Dynamics, and Success Amplification [10.617854230082896]
  グループ相対政策最適化は、検証可能な(バイナリ)報酬の下でLLMの推論を促進するために最近導入された。 我々は、報酬正規化(平均のみ対平均+分散)とKL分散を用いた更新の正則化の仕方が異なる変種を解析する。
  論文  参考訳（メタデータ） (2025-03-09T14:36:45Z)
• $Q\sharp$: Provably Optimal Distributional RL for LLM Post-Training [63.602824642605775]
  $Qsharp$ は KL 正規化 RL の値に基づくアルゴリズムで、最適な正規化 $Q$ 関数を使用して参照ポリシーを導出する。 この結果から,LLMのポストトレーニングに有効なアプローチとして$Qsharp$が注目され,性能と理論的保証が向上した。
  論文  参考訳（メタデータ） (2025-02-27T21:43:00Z)
• Reward-Mixing MDPs with a Few Latent Contexts are Learnable [75.17357040707347]
  報酬混合マルコフ決定過程(RMMDP)におけるエピソード強化学習の検討 我々のゴールは、そのようなモデルにおける時間段階の累積報酬をほぼ最大化する、ほぼ最適に近いポリシーを学ぶことである。
  論文  参考訳（メタデータ） (2022-10-05T22:52:00Z)
• Horizon-Free Reinforcement Learning in Polynomial Time: the Power of Stationary Policies [88.75843804630772]
  我々は既存の境界に対して,$Oleft(mathrmpoly(S,A,log K)sqrtKright)を後悔するアルゴリズムを設計する。 この結果は、定常政策の近似力、安定性、および濃度特性を確立する新しい構造補題の列に依存している。
  論文  参考訳（メタデータ） (2022-03-24T08:14:12Z)
• Nearly Minimax Optimal Reward-free Reinforcement Learning [88.75843804630772]
  本稿では、特にバッチ強化学習に適した報酬不要強化学習フレームワークと、複数の報酬関数に対するポリシーを必要とするシナリオについて検討する。 textbfStaged textbfSampling + textbfTruncated textbfPlanning (algoname) という新しい効率的なアルゴリズムを提供しています。
  論文  参考訳（メタデータ） (2020-10-12T17:51:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。