論文の概要: SRPO: Self-Reflective Policy Optimization for Long-Horizon Reasoning
- arxiv url: http://arxiv.org/abs/2608.23493v1
- Date: Mon, 24 Aug 2026 16:55:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:44.204687
- Title: SRPO: Self-Reflective Policy Optimization for Long-Horizon Reasoning
- Title（参考訳）: SRPO:Long-Horizon Reasoningのための自己回帰政策最適化
- Abstract要約: 自己回帰は、人間の学習における信用割り当ての強力なメカニズムである。
本稿では,この機能を内包するフレームワークである自己回帰政策最適化(SRPO)を提案する。
我々はSRPOが数学的推論と長期エージェントベンチマークで最先端の性能を達成することを実証した。
- 参考スコア（独自算出の注目度）: 36.32246019820315
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Self-reflection is a powerful mechanism for credit assignment in human learning, converting sparse outcome feedback into actionable guidance. However, its potential for post-training Large Language Models (LLMs) remains underexplored. We propose Self-Reflective Policy Optimization (SRPO), a framework that internalizes this capability. SRPO enables LLMs to analyze their own completed trajectories, synthesize errors into concise "reflection patches," and use reflection-conditioned teacher scores on student on-policy rollouts as dense token-level training signals. This process effectively transforms sparse terminal supervision into dense, token-level learning signals without requiring external critics, separate reward models, or larger teacher models. We demonstrate that SRPO achieves state-of-the-art performance across mathematical reasoning and long-horizon agentic benchmarks with exceptional data efficiency. Using a Qwen3-8B base model, SRPO attains 73.3% on AIME'24 using only 8% (0.08x) of the training FLOPs required by scaled supervised fine-tuning, while significantly improving success rates on WebShop (64.7%), ALFWorld (76.8%), and SWE-Bench-Lite (31.2%). Code is available at https://github.com/Galleons2029/SRPO
- Abstract（参考訳）: 自己回帰は、人間の学習における信用割当の強力なメカニズムであり、スパースな結果フィードバックを行動可能なガイダンスに変換する。
しかし、Large Language Models (LLMs) の訓練後の可能性はまだ未定である。
本稿では,この機能を内包するフレームワークである自己回帰政策最適化(SRPO)を提案する。
SRPOは、LLMが自身の完了軌跡を分析し、エラーを簡潔な「反射パッチ」に合成し、学生のオンラインロールアウトにおける反射条件の教師スコアを、密集したトークンレベルのトレーニング信号として使用することを可能にする。
このプロセスは、スパース端末の監督を、外部の批評家、個別の報酬モデル、より大きな教師モデルを必要とすることなく、より密集したトークンレベルの学習信号に効果的に変換する。
SRPOは,データ効率が異常な,数学的推論および長期エージェントベンチマークにまたがる最先端性能を実現することを実証する。
Qwen3-8Bベースモデルを使用して、SRPOはAIME'24上で73.3%を達成し、スケールした教師付き微調整に必要なFLOPの8%(0.08倍)しか使用できなかったが、WebShop(64.7%)、ALFWorld(76.8%)、SWE-Bench-Lite(31.2%)の成功率を大幅に改善した。
コードはhttps://github.com/Galleons2029/SRPOで公開されている。
関連論文リスト
- Meta-Learned Reward Shaping for Reinforcement Learning from Human Feedback [0.0]
本稿では,タスク認識型シェーピング機能をメタ学習するMeRLa(Meta-Learned Reward Shaping)を紹介する。
学習された形状は、政策の最適性を維持する複合報酬を生成する。
MeRLaは、プロセスベースと原則ベースの強化報酬と組み合わせることで、そのメリットを維持している。
論文 参考訳（メタデータ） (2026-07-28T02:09:26Z) - Towards Robust Reinforcement Learning for Small-Scale Language Model Agents [5.301609879131692]
本稿では,PPO(Proximal Policy Optimization)を用いて15の(モデル,コーパス)構成を訓練した。
実験にはPythia-70M, 160M, 410M, SmolLM2-135M, 360M on the TinyStories, CNN/DailyMail, Wiki-text103 corporaが含まれていた。
提案システムは,全ての実験において安定的に収束し,流動的な先行信号と情報的な報奨信号を持つ構成において,SFTベースラインに対する優先利得率を改善した。
論文 参考訳（メタデータ） (2026-07-27T21:30:44Z) - Beyond Scalar Rewards by Internalizing Reasoning into Score Distributions [80.33276868889341]
Z-Rewardは効率的な報酬展開から推論と重大な判断を分離する。
Z-Reward はテキスト・画像の最適化のための識別可能な報酬信号として機能することを示す。
論文 参考訳（メタデータ） (2026-06-08T06:20:12Z) - TIPS: Turn-Level Information-Potential Reward Shaping for Search-Augmented LLMs [29.64044161352673]
TIPS(Turn-Level Information Potential Reward Shaping)を紹介する。
TIPSは、教師モデルの下で正しい回答が増加する可能性に基づいて、各推論とツールコールセグメントに高密度でターンレベルの報酬を割り当てるフレームワークである。
TIPSはGRPO/PPOベースラインを一貫して上回り、トレーニング安定性を大幅に向上させる。
論文 参考訳（メタデータ） (2026-03-11T17:45:14Z) - AceGRPO: Adaptive Curriculum Enhanced Group Relative Policy Optimization for Autonomous Machine Learning Engineering [52.67783579040657]
AceGRPOは、エージェントの学習フロンティアにおけるタスクを優先順位付けして学習効率を最大化する機械学習システムである。
我々のトレーニングされたAce-30Bモデルは、MLE-Bench-Lite上で100%有効な応募率を実現し、プロプライエタリなフロンティアモデルの性能にアプローチし、より大きなオープンソースベースラインを上回ります。
論文 参考訳（メタデータ） (2026-02-08T10:55:03Z) - SRPO: Self-Referential Policy Optimization for Vision-Language-Action Models [42.89413870143421]
VLA(Vision-Language-Action)モデルはロボット操作に優れるが、専門家によるデモンストレーションに大きく依存している。
グループベースの最適化手法を含む現在のVLA-RL法は、深刻な報酬の分散によって損なわれている。
本稿では,新しいVLA-RLフレームワークである自己参照ポリシー最適化(SRPO)を提案する。
論文 参考訳（メタデータ） (2025-11-19T16:52:23Z) - Asymmetric Proximal Policy Optimization: mini-critics boost LLM reasoning [49.57517969069136]
Asymmetric Proximal Policy Optimization (AsyPPO) は、大規模なモデル設定で効率を保ちながら、批評家の役割を回復するシンプルでスケーラブルなフレームワークである。
AsyPPOは軽量のミニ批評家を採用しており、それぞれが切り離されたプロンプトシャードで訓練されている。
強力なベースラインを越えて、複数のベンチマークで学習の安定性とパフォーマンスを継続的に改善する。
論文 参考訳（メタデータ） (2025-10-02T04:24:27Z) - Agentic Reinforcement Learning with Implicit Step Rewards [92.26560379363492]
大規模言語モデル (LLMs) は強化学習 (agentic RL) を用いた自律的エージェントとして発展している。
我々は,標準RLアルゴリズムとシームレスに統合された一般的なクレジット割り当て戦略であるエージェントRL(iStar)について,暗黙的なステップ報酬を導入する。
我々は,WebShopとVisualSokobanを含む3つのエージェントベンチマークと,SOTOPIAにおける検証不可能な報酬とのオープンなソーシャルインタラクションについて評価した。
論文 参考訳（メタデータ） (2025-09-23T16:15:42Z) - Pre-Trained Policy Discriminators are General Reward Models [81.3974586561645]
政策差別学習(POLAR)という,スケーラブルな事前学習手法を提案する。
POLARは報酬モデル(RM)を訓練し、同一のポリシーを識別し、異なるポリシーを識別する。
実証実験の結果、POLARは従来の非事前学習法よりも大幅に優れていた。
論文 参考訳（メタデータ） (2025-07-07T16:56:31Z) - Self-Improving Robust Preference Optimization [22.493029742076605]
オンラインおよびオフラインのRLHFメソッドは、AIと人間の好みを合わせることに成功している。
本稿では,実用的で数学的に規定されたオフラインRLHFフレームワークである自己改善ロバスト推論最適化(SRPO)を提案する。
SRPO は,大規模な標準教師あり学習技術を用いて効率よく最適化できることを示す。
論文 参考訳（メタデータ） (2024-06-03T17:53:25Z) - Self-Play Preference Optimization for Language Model Alignment [75.83359213697854]
近年の進歩は、嗜好の確率で直接作業することで、人間の嗜好をより正確に反映できることを示している。
本稿では,言語モデルアライメントのためのセルフプレイ方式を提案する。
我々の手法はSPPO(Self-Play Preference Optimization)と呼ばれ、繰り返しポリシー更新を利用してナッシュ均衡を確実に近似する。
論文 参考訳（メタデータ） (2024-05-01T17:59:20Z) - Monte Carlo Tree Search Boosts Reasoning via Iterative Preference Learning [55.96599486604344]
本稿では,Large Language Models (LLMs) の推論能力向上を目的とした,反復的な選好学習プロセスによるアプローチを提案する。
我々は、MCTS(Monte Carlo Tree Search)を用いて好みデータを反復的に収集し、そのルックアヘッド機能を利用して、インスタンスレベルの報酬をよりきめ細かいステップレベルの信号に分解する。
提案アルゴリズムはDPO(Direct Preference Optimization)を用いて,新たに生成されたステップレベルの優先度データを用いてLCMポリシーを更新する。
論文 参考訳（メタデータ） (2024-05-01T11:10:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。