Fugu-MT 論文翻訳(概要): Information-Time Proximal Policy Optimization

論文の概要: Information-Time Proximal Policy Optimization

arxiv url: http://arxiv.org/abs/2609.24380v1
Date: Mon, 21 Sep 2026 10:17:22 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-22 20:29:01.253287
Title: Information-Time Proximal Policy Optimization
Title（参考訳）: 情報時近ポリシー最適化
Abstract要約: 生トークン数ではなく情報密度を用いて時間進行をパラメータ化するInfoPPOを提案する。その結果,InfoPPOは長期的推論における非自明な割引の有効性を回復することを示した。 Qwen3モデルの実験は、競争ベースラインよりも一貫した利得を示している。
参考スコア（独自算出の注目度）: 54.36874179830645
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: RLVR has substantially improved the reasoning capabilities of LLMs. However, existing methods typically parameterize temporal progression in the Markov Decision Process by token-by-token generation, despite the highly non-uniform information flow along autoregressive trajectories. In this paper, we propose InfoPPO, which reparameterizes temporal progression using information density rather than raw token count. This reparameterization induces a common state-dependent structure for both temporal credit propagation and policy updates. InfoPPO restores the effectiveness of non-trivial discounting in long-horizon reasoning, retaining effective-horizon contraction while avoiding excessive attenuation of terminal supervision over long token sequences. Moreover, the information-time policy-improvement analysis naturally leads to a state-dependent update constraint, which we implement through adaptive clipping. By adapting the clipping threshold at each token position to the information density of its corresponding state, this mechanism enables more targeted policy updates while preserving proximal control. Theoretically, we extend performance-difference and policy-improvement analyses to the information-time MDP, deriving a policy-improvement lower bound when policy changes are regulated by information density. We further connect the general information-time analysis to practical LLM policy optimization by relating state-wise information density to local policy movement, while also providing theoretical grounding for the adaptive update mechanism. Experiments on Qwen3 models demonstrate consistent gains over competitive baselines across five challenging competition-style mathematical reasoning benchmarks. InfoPPO also maintains stable accuracy and response length across non-trivial discount settings under which token-time PPO deteriorates.
Abstract（参考訳）: RLVRはLLMの推論能力を大幅に改善した。しかし、既存の手法は、自己回帰軌道に沿った高度に一様でない情報の流れにもかかわらず、トークン・バイ・トークン・ジェネレーションによるマルコフ決定過程の時間進行をパラメータ化するのが一般的である。本稿では,生トークン数ではなく情報密度を用いて時間進行をパラメータ化するInfoPPOを提案する。この再パラメータ化は、時間的信用伝播とポリシー更新の両方に対して、共通の状態依存構造を誘導する。 InfoPPOは、長いトークンシーケンスに対する終端監督の過度な減衰を回避しつつ、有効水平縮小を保ちながら、長期水平推論における非自明な割引の有効性を回復する。さらに,情報時ポリシー改善分析は,適応的クリッピングにより実装した状態依存更新制約を自然に引き起こす。各トークン位置におけるクリッピング閾値を対応する状態の情報密度に適応させることで、近位制御を維持しつつ、より標的となるポリシー更新を可能にする。理論的には、政策変更が情報密度によって規制される場合、政策改善の低い境界を導出し、性能差と政策改善の分析を情報時MDPに拡張する。我々はさらに、局所的な政策運動と状態情報密度を関連付けることで、汎用的な情報時間解析と実用的なLCMポリシー最適化を結びつけるとともに、適応的な更新機構の理論的基盤を提供する。 Qwen3モデルの実験では、競争スタイルの数学的推論ベンチマークを5つに分けて、競争ベースラインよりも一貫した利得を示している。 InfoPPOはまた、トークン時間PPOが劣化する非自明な割引設定に対して、安定した精度と応答長を維持する。

関連論文リスト

Trust the Batch, On- or Off-Policy: Adaptive Policy Optimization for RL Post-Training [50.86545293331458]
強化学習は、教師付き学習よりも構造的に難しい。本稿では,固定クリッピングを政策比率の正規化された有効サンプルサイズに置き換える,単純かつ効果的なバッチ適応目的を提案する。
論文参考訳（メタデータ） (2026-05-12T16:44:47Z)
Bayesian Conservative Policy Optimization (BCPO): A Novel Uncertainty-Calibrated Offline Reinforcement Learning with Credible Lower Bounds [1.2183405753834562]
オフライン強化学習(RL)は、ログ化された遷移の固定バッチから決定ポリシーを学ぶことを目的としている。本稿では,不確実性を即興的に保守的な政策改善に変換する統一的な枠組みであるEmphBayesian conservative Policy Optimization (BCPO)を提案する。 BCPOは環境/価値モデルよりも階層的なベイズ的後縁を維持し、アクション値に基づいてエンフレッシブルな下界(LCB)を構築し、明示的なKL正規化の下でポリシー更新を行う。
論文参考訳（メタデータ） (2026-03-06T01:46:02Z)
Online Causal Kalman Filtering for Stable and Effective Policy Optimization [23.37041897899078]
トークンレベルでの局所的なオフ・ポリティクスの偏差は構造的に不整合であることを示す。安定かつ効果的な政策最適化のためのオンライン因果カルマンフィルタを提案する。
論文参考訳（メタデータ） (2026-02-11T07:57:43Z)
Rethinking the Trust Region in LLM Reinforcement Learning [72.25890308541334]
PPO(Proximal Policy Optimization)は、大規模言語モデル(LLM)のデファクト標準アルゴリズムとして機能する。より原則的な制約でクリッピングを代用する多変量確率ポリシー最適化(DPPO)を提案する。 DPPOは既存の方法よりも優れたトレーニングと効率を実現し、RLベースの微調整のためのより堅牢な基盤を提供する。
論文参考訳（メタデータ） (2026-02-04T18:59:04Z)
C-IDS: Solving Contextual POMDP via Information-Directed Objective [10.82202704907442]
本稿では,マルコフ決定過程における政策合成問題について考察する。我々の目標は、累積リターンを同時に最大化し、基礎となる文脈に関する不確実性を積極的に減らすポリシーを設計することである。我々は,情報指向目標を最大化するポリシーを合成するC-IDSアルゴリズムを開発した。
論文参考訳（メタデータ） (2026-02-03T19:00:34Z)
A Step Back: Prefix Importance Ratio Stabilizes Policy Optimization [58.116300485427764]
強化学習のポストトレーニングは、大きな言語モデルにおける推論の振る舞いを引き出すことができる。トークンレベルの補正は、オフポリシーネスの度合いが大きい場合、不安定なトレーニングダイナミクスにつながることが多い。我々は,最小固定率 (MinPRO) を簡易かつ効果的に提案する。
論文参考訳（メタデータ） (2026-01-30T08:47:19Z)
Stabilizing Policy Gradients for Sample-Efficient Reinforcement Learning in LLM Reasoning [77.92320830700797]
強化学習は、大規模言語モデルの推論機能を実現する上で中心的な役割を果たしてきた。本稿では,ポリシー更新時の曲率情報を追跡し,活用するトラクタブルな計算フレームワークを提案する。アルゴリズムであるCurvature-Aware Policy Optimization (CAPO)は、不安定な更新に寄与するサンプルを特定し、それらをマスクアウトする。
論文参考訳（メタデータ） (2025-10-01T12:29:32Z)
Mutual Information Regularized Offline Reinforcement Learning [76.05299071490913]
我々は、データセットにおける状態と行動間の相互情報の観点から、オフラインRLにアプローチする新しいMISAフレームワークを提案する。この下位境界の最適化は、オフラインデータセット上での一段階改善されたポリシーの可能性の最大化と等価であることを示す。 MISAの3つの異なる変種を導入し、より厳密な相互情報によりオフラインのRL性能が向上することを示した。
論文参考訳（メタデータ） (2022-10-14T03:22:43Z)
Proximal Policy Optimization with Adaptive Threshold for Symmetric Relative Density Ratio [8.071506311915396]
一般的な方法、いわゆるポリシ最適化(PPO)とその変種は、密度比が与えられた閾値を超える場合に、最新のポリシーとベースラインポリシーの密度比を制約する。本稿では,相対的ピアソン(RPE)偏差を用いた新しいPPO(PPO-RPE)を提案し,その閾値を適応的に設計する。
論文参考訳（メタデータ） (2022-03-18T09:13:13Z)
Proximal Policy Optimization with Relative Pearson Divergence [8.071506311915396]
PPOは、最新ポリシーとベースラインポリシーの密度比を閾値でクリップするが、最小化ターゲットは不明確である。本稿では、相対ピアソン分散(RPE)の正規化問題(いわゆるPPO-RPE)を考慮し、PPOの新しい変種を提案する。 4つのベンチマークタスクを通じて,PPO-RPEは学習方針によるタスク性能の点で従来の手法と同等以上の性能を示した。
論文参考訳（メタデータ） (2020-10-07T09:11:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。