Fugu-MT 論文翻訳(概要): On KL-Regularized Policy Optimization

論文の概要: On KL-Regularized Policy Optimization

arxiv url: http://arxiv.org/abs/2610.08963v1
Date: Tue, 06 Oct 2026 18:30:42 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-08 21:58:22.554787
Title: On KL-Regularized Policy Optimization
Title（参考訳）: KL規則化政策最適化について
Abstract要約: 大規模言語モデル(LLM)エージェントのための非同期強化学習(RL)は、他者が生成したトラジェクトリに対して1つのポリシーを訓練する。標準修正では、更新をバイアスするクリップ重要度比、あるいはGRPOのように、プロンプト毎にレスポンスのグループをサンプリングする。我々は,KL正規化器をサンプリング器に固定するKLPO(KL-Regularized Policy Optimization)を提案する。
参考スコア（独自算出の注目度）: 9.910562011343009
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Asynchronous reinforcement learning (RL) for large language model (LLM) agents trains one policy on trajectories generated by another: rollouts come from stale checkpoints, and the inference engine's probabilities differ from the trainer's even at identical parameters. Standard remedies either clip importance ratios, which biases the update, or, as in GRPO, sample a group of responses per prompt, which is costly when episodes are long. We propose KL-Regularized Policy Optimization (KLPO), a framework that anchors the KL regularizer at the sampler. The regularized improvement step then has a closed-form Gibbs solution, and KLPO fits its log-ratio optimality condition by least squares on the sampler's own trajectories, so the sampler probability enters through a log-ratio and no importance weights are needed. Profiling out the regression intercept replaces the intractable log-partition function with the signal's sampler mean plus a sampler-to-trainer KL divergence. For token-level policy mirror descent targets, we show that the resulting gradient can be computed from terminal returns without a critic, via sampler-centered scores or a single trajectory residual, even under stochastic tool outputs. We further prove that independent Monte Carlo estimates of the KL term keep these gradients unbiased, derive the exact KL gap of cheaper top-$K$ and binary approximations, and show that SPPO, GPO, REBEL, and BPO arise as special cases of KLPO. The result is a critic-free update that uses one rollout per prompt and requires neither a learned normalizer nor a group of responses.
Abstract（参考訳）: 大規模言語モデル (LLM) エージェントのための非同期強化学習 (RL) は、1つのポリシーを訓練する: ロールアウトは古いチェックポイントから始まり、推論エンジンの確率は、同じパラメータでもトレーナーの確率と異なる。標準では、更新をバイアスするクリップの重要度比率や、GRPOのように、エピソードが長い場合にコストがかかるプロンプト毎のレスポンスのグループをサンプリングする。我々は,KL正規化器をサンプリング器に固定するKLPO(KL-Regularized Policy Optimization)を提案する。正規化された改善ステップは、閉形式ギブズ解を持ち、KLPOはその対数比最適条件をサンプルの軌跡の少なくとも2乗に適合させるので、サンプルの確率は対数比を通り、重要な重み付けは不要である。回帰インターセプトのプロファイリングは、難解な対数分割関数を信号のサンプル平均とサンプルからトレーニングまでのKL分散に置き換える。トークンレベルポリシーミラー降下目標に対しては,統計的ツール出力下においても,サンプル中心のスコアや単一軌道残差を用いて,終端リターンから得られる勾配を計算することができることを示す。さらに、KL項の独立モンテカルロ推定がこれらの勾配を偏りなく保ち、より安価なK$と二進近似の正確なKLギャップを導出し、SPPO、GPO、REBEL、BPOがKLPOの特別な場合として現れることを示す。その結果は批判のないアップデートで、プロンプト毎に1回ロールアウトし、学習された正規化子も応答のグループも必要としない。

関連論文リスト

Follow the Winners: Conservative Policy Improvement with the Cross-Entropy Method for Critic-Free RFT [3.293184808542474]
エージェント型大規模言語モデルに対する批判のない強化微調整(RFT)は、GRPOスタイルの手法によって行われることが多い。批判のないポリシー学習アルゴリズムであるtextitFollow the Winners (FTW) を提案する。 FTWは、グループロールアウトをリプレイバッファサンプルの順序付きフィルタに置き換え、リターンの順序統計で濃度を得る。
論文参考訳（メタデータ） (2026-10-02T14:24:06Z)
Beyond the Stability-Exploration Dilemma: Environmental Regularization for LLM Policy Optimization [27.121081058414376]
Policy-KLはレスポンスの振る舞いを制限し、アクションサイドの探索予算を消費する。我々は、正規化を入力側に移すことでジレンマを壊す代替案を議論する。 ERPO は標準の Policy-KL 正規化器を置き換え、クエリ分散のドリフトを効果的に制御する。
論文参考訳（メタデータ） (2026-08-24T14:30:59Z)
Post-Training at the Edge of Detectability: A Game-Theoretic Approach to Fine-Tuning [58.088509347353465]
強化学習(Reinforcement Learning, RL)は、言語モデルトレーニングにおいて広く使われている。我々は,このトレードオフに明確な統計的解釈を与えるゲーム理論の枠組みを提案する。
論文参考訳（メタデータ） (2026-07-29T00:19:09Z)
DISA: Offline Importance Sampling for Distribution-Matching LLM-RL [56.9445657766829]
本稿では、このキャリブレーション問題をRLループの外に移動させるdisAを紹介する。 DISAは提案トラジェクトリをオフラインに描画し、重要サンプリングによってパーティション関数を推定し、結果として発生するパーティション関数の推定を凍結する。 6つの数学と3つのコードベンチマークにまたがる2つのオープンウェイトなバックボーンでは、DisdisAはオンラインに結合した分散マッチングベースラインフローにマッチするか、超えている。
論文参考訳（メタデータ） (2026-05-17T07:14:44Z)
Reference-Sampled Boltzmann Projection for KL-Regularized RLVR: Target-Matched Weighted SFT, Finite One-Shot Gaps, and Policy Mirror Descent [28.166458412533967]
本稿では,提案手法が固定参照KLVRと等しい基準サンプリング重み付きSFT目標について述べる。単発Qwen実験は、目標整合重量、一発飽和、リフレッシュサンプラーゲイン、最適化時間の節約の予測証拠を提供する。
論文参考訳（メタデータ） (2026-05-04T11:10:32Z)
Improving Search Agent with One Line of Code [68.58667107354253]
ツールベースのエージェント強化学習(TARL)は,検索エージェントが外部ツールと対話できるようにトレーニングするための,有望なパラダイムとして登場した。 textbfSearch textbfAgent textbfPolicy textbfOptimization (textbfSAPO)を提案する。
論文参考訳（メタデータ） (2026-03-10T04:07:39Z)
On the Design of KL-Regularized Policy Gradient Algorithms for LLM Reasoning [59.11784194183928]
政策勾配アルゴリズムは大規模言語モデル(LLM)の推論能力の向上に成功している。規則化されたポリシーグラディエント(RPG)ビューは、広く使われている$k_3$ペナルティが、正確には非正規化されたKLであることを示している。 RPG-REINFORCE with RPG-Style Clipは、DAPOよりも最大6ドル以上の絶対パーセンテージポイントの精度を向上させる。
論文参考訳（メタデータ） (2025-05-23T06:01:21Z)
Will My Robot Achieve My Goals? Predicting the Probability that an MDP Policy Reaches a User-Specified Behavior Target [56.99669411766284]
自律的なシステムがタスクを実行する場合、ユーザの目標を達成する確率のキャリブレーションされた見積もりを維持する必要がある。本稿では,ユーザの目標が目標間隔として指定される設定について検討する。我々は、共形予測を反転させて確率推定を計算する。
論文参考訳（メタデータ） (2022-11-29T18:41:20Z)
Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
論文参考訳（メタデータ） (2022-04-13T12:43:12Z)
Markovian Score Climbing: Variational Inference with KL(p||q) [16.661889249333676]
我々は「排他的クルバック・リーブラ」(KL)KL(p q)を確実に最小化する簡単なアルゴリズムを開発する。この方法は包含KLの局所最適化に収束する。 Reweighted Wake-Sleep(英語版)やNeural Adaptive Monte Carlo(英語版)のような既存の手法に固有の体系的な誤りに悩まされない。
論文参考訳（メタデータ） (2020-03-23T16:38:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。