論文の概要: TPPO: Tracking-Value PPO For Language Model Reasoning

• arxiv url: http://arxiv.org/abs/2610.16794v1
• Date: Mon, 12 Oct 2026 13:47:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-18 21:30:28.074745
• Title: TPPO: Tracking-Value PPO For Language Model Reasoning
• Title（参考訳）: TPPO:言語モデル推論のための追跡値PPO
• Abstract要約: Proximal Policy Optimization (PPO) は、言語モデル推論に対する検証可能な報酬を伴う強化学習に広く用いられている。 逐次プレフィックス値の関係を解析し、対数ノード空間における加法更新によるベイズ分解を許容することを示す。 我々はこの付加構造を用いて、位置対応スカラー出力を値ロジットにまとめる累積値パラメータ化である追跡値PPO(method)を構築する。
• 参考スコア（独自算出の注目度）: 38.089294133547234
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Proximal Policy Optimization (PPO) is widely used in reinforcement learning with verifiable rewards for language-model reasoning. While \emph{value evolution along trajectory} characterizes relative token-level credit, yet standard critics often fail to track it under sparse terminal rewards. To model this evolution, we analyze the relation between successive prefix values and show that they admit a Bayesian decomposition with additive updates in log-odds space. We use this additive structure to construct Tracking-Value PPO (\method), a cumulative value parameterization that sums position-wise scalar outputs into value logits. These outputs are learned through terminal-outcome supervision on the reconstructed values. \method improves aggregate mathematical reasoning scores over PPO by 7.0 and 8.4 points on Qwen3-4B-Base and Qwen3-8B-Base, respectively, while improving out-of-distribution generalization. Gains extend to Qwen3-4B, Qwen2.5-Math-1.5B, Qwen3.5-9B and to countdown, and scientific coding tasks. Further analysis shows more accurate tracking of value evolution and more reliable advantage estimates. Our code is publicly available in https://github.com/LINs-lab/TPPO.
• Abstract（参考訳）: Proximal Policy Optimization (PPO) は、言語モデル推論に対する検証可能な報酬を伴う強化学習に広く用いられている。 emph{value evolution along trajectory} は比較的トークンレベルの信用を特徴付けるが、標準的な批評家は少ない終末報酬でそれを追跡できないことが多い。 この進化をモデル化するために, 連続するプレフィックス値の関係を分析し, 対数ノード空間における付加的更新を伴うベイズ分解を許容することを示す。 我々はこの付加構造を用いて、位置対応スカラー出力を値ロジットにまとめる累積値パラメータ化である追跡値PPO(\method)を構築する。 これらの出力は、再構成された値の終末管理を通じて学習される。 \method は Qwen3-4B-Base と Qwen3-8B-Base で PPO 上の集合的数学的推論スコアを 7.0 と 8.4 で改善し、アウト・オブ・ディストリビューションの一般化を改善した。 ゲインはQwen3-4B、Qwen2.5-Math-1.5B、Qwen3.5-9B、カウントダウン、科学的なコーディングタスクに拡張されている。 さらなる分析では、価値の進化をより正確に追跡し、より信頼性の高い有利な見積もりが示される。 私たちのコードはhttps://github.com/LINs-lab/TPPO.comで公開されています。

関連論文リスト

• Start Classifying: Categorical Critics for LLM Reinforcement Learning [35.51572984401546]
  HL-Gauss PPOは、スカラーMSEヘッドを、離散値サポートよりもカテゴリー予測器で置き換える。 強いPPOとDAPOのベースラインを継続的に改善する。 1ホット、2ホット、ベルヌーイの2ビンの批判による制御は、より大きな出力ヘッドもバイナリ分類も利得を説明できないことを示している。
  論文  参考訳（メタデータ） (2026-08-03T13:05:38Z)
• Balanced Aggregation: Understanding and Fixing Aggregation Bias in GRPO [70.38763678943648]
  検証可能な報酬(RLVR)による強化学習は、大規模言語モデルにおける推論とコード生成を改善するための中心的なパラダイムとなっている。 標準的なGRPOはシーケンスアグリゲーションを使用し、最近の研究はトークンアグリゲーションをより良い代替手段として提唱している。 トークンアグリゲーションは符号長結合を導入し、シーケンスアグリゲーションは暗黙的にダウンウェイトを延長する。
  論文  参考訳（メタデータ） (2026-04-14T09:48:46Z)
• REAL: Regression-Aware Reinforcement Learning for LLM-as-a-Judge [83.2858110368572]
  回帰報酬を最適化するための原則的RLフレームワークである textbfREAL (underlineREgression-underlineAware Reinforcement underlineLThought) を提案する。 我々は,REALがレグレッション対応SFTベースラインと標準RL法の両方を一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2026-03-17T21:19:08Z)
• $λ$-GRPO: Unifying the GRPO Frameworks with Learnable Token Preferences [22.199479724764725]
  トークンレベルの重み付けを適応的に制御する学習可能なパラメータ$lambda$を導入します。 lambda$-GRPOはバニラGRPOとDAPOよりも一貫した改善を実現しています。 これらの利益は、トレーニングデータの変更や追加の計算コストなしで得られます。
  論文  参考訳（メタデータ） (2025-10-08T10:39:07Z)
• Asymmetric Proximal Policy Optimization: mini-critics boost LLM reasoning [49.57517969069136]
  Asymmetric Proximal Policy Optimization (AsyPPO) は、大規模なモデル設定で効率を保ちながら、批評家の役割を回復するシンプルでスケーラブルなフレームワークである。 AsyPPOは軽量のミニ批評家を採用しており、それぞれが切り離されたプロンプトシャードで訓練されている。 強力なベースラインを越えて、複数のベンチマークで学習の安定性とパフォーマンスを継続的に改善する。
  論文  参考訳（メタデータ） (2025-10-02T04:24:27Z)
• Exploiting Tree Structure for Credit Assignment in RL Training of LLMs [11.64053639889468]
  強化学習は推論を改善するが、長いシーケンスよりも遅れた報酬はトークンレベルのクレジット割り当てを重要なボトルネックにする。 最終回答がチェック可能で、プロンプト毎に複数の応答を描画できる検証可能な逆設定について検討する。 textbfTEMPO (emphtextbfTree-textbfEstimated textbfMean Prefix Value for textbfPolicy textbfOptimization)を提案する。
  論文  参考訳（メタデータ） (2025-09-22T18:37:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。