Fugu-MT 論文翻訳(概要): ISOPO: Proximal policy gradients without pi-old

論文の概要: ISOPO: Proximal policy gradients without pi-old

arxiv url: http://arxiv.org/abs/2512.23353v2
Date: Tue, 30 Dec 2025 03:46:06 GMT
ステータス: 翻訳完了
システム内更新日: 2026-01-01 13:52:31.630392
Title: ISOPO: Proximal policy gradients without pi-old
Title（参考訳）: ISOPO: pi-oldを使わずに, 最寄りの政策グラデーション
Authors: Nilin Abrahamsen,
Abstract要約: ISOPOは、自然政策勾配を1ステップで近似する効率的な方法である。バニラREINFORCEに比べて計算オーバーヘッドは無視できる。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This note introduces Isometric Policy Optimization (ISOPO), an efficient method to approximate the natural policy gradient in a single gradient step. In comparison, existing proximal policy methods such as GRPO or CISPO use multiple gradient steps with variants of importance ratio clipping to approximate a natural gradient step relative to a reference policy. In its simplest form, ISOPO normalizes the log-probability gradient of each sequence in the Fisher metric before contracting with the advantages. Another variant of ISOPO transforms the microbatch advantages based on the neural tangent kernel in each layer. ISOPO applies this transformation layer-wise in a single backward pass and can be implemented with negligible computational overhead compared to vanilla REINFORCE.
Abstract（参考訳）: 本項では,一段階の自然政策勾配を近似する効率的な方法である等方的政策最適化(ISOPO)を紹介する。対照的に、GRPOやCISPOのような既存の近似ポリシ手法では、基準ポリシーに対する自然な勾配ステップを近似するために、重要比クリッピングの変種を含む複数の勾配ステップを使用する。最も単純な形では、ISOPO はフィッシャー計量における各列の対数確率勾配を正規化し、その利点と一致する。 ISOPOの別の変種は、各層の神経タンジェントカーネルに基づいてマイクロバッチの利点を変換する。 ISOPOは、この変換を単一の後方パスに階層的に適用し、バニラREINFORCEと比較して、無視可能な計算オーバーヘッドで実装することができる。

関連論文リスト

Reinforcement Learning in POMDP's via Direct Gradient Ascent [21.715823431124235]
本稿では,平均報酬の勾配に対する近似を推定するREINFORCEライクなアルゴリズムであるGPOMDPを紹介する。我々は,GPOMDPを共役段階の手順で,平均報酬の局所的最適性を求める方法を示す。
論文参考訳（メタデータ） (2025-12-02T03:50:06Z)
Generalized Gradient Norm Clipping & Non-Euclidean $(L_0,L_1)$-Smoothness [51.302674884611335]
本研究は、急勾配と条件勾配のアプローチを組み合わせることでノルムクリッピングを一般化するハイブリッド非ユークリッド最適化手法を提案する。本稿では、ディープラーニングのためのアルゴリズムのインスタンス化について論じ、画像分類と言語モデリングにおけるそれらの特性を実証する。
論文参考訳（メタデータ） (2025-06-02T17:34:29Z)
Clipped-Objective Policy Gradients for Pessimistic Policy Optimization [3.2996723916635275]
政策勾配法は、政策出力の有界変化を通じて単調な改善を図っている。本研究では,PPOの性能を連続的な作用空間に適用した場合,目的の単純変化によって一貫した改善が期待できることを示す。 PPO と PPO の両目標に比較して, COPG の目標が平均的な「悲観的」であること, 2) この悲観主義は探索を促進させることを示した。
論文参考訳（メタデータ） (2023-11-10T03:02:49Z)
Optimization Landscape of Policy Gradient Methods for Discrete-time Static Output Feedback [22.21598324895312]
本稿では,静的な出力フィードバック制御に適用した場合に,ポリシー勾配法に固有の最適化環境を解析する。 3つの政策勾配法に対する定常点への収束(およびほぼ次元自由率)に関する新しい知見を導出する。我々は,バニラポリシー勾配法が,そのようなミニマに近づいた場合,局所最小マに対して線形収束を示すことを示す。
論文参考訳（メタデータ） (2023-10-29T14:25:57Z)
Last-Iterate Convergent Policy Gradient Primal-Dual Methods for Constrained MDPs [107.28031292946774]
無限水平割引マルコフ決定過程(拘束型MDP)の最適ポリシの計算問題について検討する。我々は, 最適制約付きポリシーに反復的に対応し, 非漸近収束性を持つ2つの単一スケールポリシーに基づく原始双対アルゴリズムを開発した。我々の知る限り、この研究は制約付きMDPにおける単一時間スケールアルゴリズムの非漸近的な最後の収束結果となる。
論文参考訳（メタデータ） (2023-06-20T17:27:31Z)
Linear Convergence of Natural Policy Gradient Methods with Log-Linear Policies [115.86431674214282]
我々は、無限水平割引マルコフ決定過程を考察し、自然政策勾配(NPG)とQ-NPG法の収束率を対数線形ポリシークラスで検討する。両手法が線形収束率と $mathcalO (1/epsilon2)$サンプル複雑度を, 単純で非適応的な幾何的に増加するステップサイズを用いて達成できることを示す。
論文参考訳（メタデータ） (2022-10-04T06:17:52Z)
Anchor-Changing Regularized Natural Policy Gradient for Multi-Objective Reinforcement Learning [17.916366827429034]
複数の報酬値関数を持つマルコフ決定プロセス(MDP)のポリシー最適化について検討する。本稿では,順応的な一階法からアイデアを取り入れたアンカー変更型正規化自然政策グラディエントフレームワークを提案する。
論文参考訳（メタデータ） (2022-06-10T21:09:44Z)
Bregman Gradient Policy Optimization [97.73041344738117]
本稿では,Bregmanの発散と運動量に基づく強化学習のためのBregmanグラデーションポリシーの最適化を設計する。 VR-BGPOは、各イテレーションで1つの軌道のみを必要とする$epsilon$stationaryポイントを見つけるために、$tilde(epsilon-3)$で最高の複雑性に達する。
論文参考訳（メタデータ） (2021-06-23T01:08:54Z)
On the Linear convergence of Natural Policy Gradient Algorithm [5.027714423258537]
強化学習に対する近年の関心は、最適化に触発された手法の研究の動機となった。このうち自然政策グラディエント(Natural Policy Gradient)は、MDPのミラー降下型である。改良された有限時間収束境界を示し,このアルゴリズムが幾何収束率を持つことを示す。
論文参考訳（メタデータ） (2021-05-04T11:26:12Z)
Softmax Policy Gradient Methods Can Take Exponential Time to Converge [60.98700344526674]
Softmax Policy gradient(PG)メソッドは、現代の強化学習におけるポリシー最適化の事実上の実装の1つです。ソフトマックス PG 法は、$mathcalS|$ および $frac11-gamma$ の観点から指数時間で収束できることを実証する。
論文参考訳（メタデータ） (2021-02-22T18:56:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。