論文の概要: Beyond Outcome Rewards: Step-Level Self-Distilled Policy Optimization for Deep Search Agents
- arxiv url: http://arxiv.org/abs/2608.12764v1
- Date: Thu, 13 Aug 2026 03:13:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-14 18:29:38.378055
- Title: Beyond Outcome Rewards: Step-Level Self-Distilled Policy Optimization for Deep Search Agents
- Title（参考訳）: アウトカム・リワードを超えて:ディープ・サーチ・エージェントのためのステップレベル自己拡張ポリシー最適化
- Abstract要約: ディープサーチエージェントは、数十のステップにまたがる軌道上で動作します。
On-policy Self-distillation (OPSD)は、モデル自身のロジットを密集したトークンレベルの教師として利用することで、この問題に対処する。
本稿では,教師の不一致をステップレベルの優位重みに変換するステップレベル自己拡張政策最適化(SSPO)を提案する。
- 参考スコア（独自算出の注目度）: 15.62688304085298
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep search agents operate over trajectories spanning dozens of steps, yet standard reinforcement learning provides only a single outcome reward per trajectory, which is far too sparse for effective credit assignment. On-policy self-distillation (OPSD) addresses this by using the model's own logits as dense token-level teachers, but extending it to search agents introduces a fundamental tension: the teacher, having access to privileged information such as the correct answer, produces a distribution that differs systematically from the student's exploration-based reasoning, and naive distillation causes the student to inherit this information asymmetry rather than learn better search strategies. We resolve this tension through two contributions. First, we construct Evidence Anchors, which are concise, step-level evidence snippets extracted from the web, as privileged information that captures key reasoning steps without revealing the entire answer path. Second, we propose Step-Level Self-Distilled Policy Optimization (SSPO), which converts teacher-student disagreement into step-level advantage weights within GRPO, applied exclusively to incorrect trajectories. This design decouples what to update from how much to update: the outcome reward determines the direction of policy change, while the teacher modulates its magnitude at each step. Correct trajectories are left untouched, preserving their diversity. On Qwen3-8B, SSPO consistently outperforms GRPO across BrowseComp, GAIA, and FRAMES, surpassing or matching GRPO trained with twice as many gradient steps while adding only about 5 percent overhead per step from a single additional forward pass.
- Abstract（参考訳）: ディープ・サーチ・エージェントは、数十のステップにまたがる軌道上で活動するが、標準的な強化学習は、軌道ごとに1つの結果しか与えない。
オンライン自己蒸留(On-policy Self-distillation, OPSD)は、モデル自身のロジットを密集したトークンレベルの教師として使用することによってこの問題に対処するが、検索エージェントに拡張することで根本的な緊張がもたらされる。
私たちはこの緊張を2つの貢献で解決する。
まず、Webから抽出したステップレベルのエビデンススニペットであるエビデンスアンカーを、応答経路全体を明らかにすることなく、重要な推論ステップをキャプチャする特権情報として構築する。
第2に,教師・生徒の不一致をGRPO内のステップレベル優位重みに変換するステップレベル自己拡張政策最適化(SSPO)を提案する。
結果報酬は方針変更の方向を決定するが、教師は各ステップでその大きさを調節する。
正確な軌跡は無傷のまま残され、その多様性を保っている。
Qwen3-8Bでは、SSPOはBrowseComp、GAIA、FRAMESでGRPOを一貫して上回り、グラデーションステップの2倍の差でトレーニングされたGRPOを上回り、追加のフォワードパスから1ステップあたりのオーバーヘッドを約5%増やしている。
関連論文リスト
- AHEAD: Adaptive Hindsight with Environment-Augmented Distillation for Agentic RL [14.402945966056764]
自己蒸留法は、特権情報でRLを増強することにより、よりきめ細かい監視を提供することができる。
我々は、異なる監視ソースと異なるステップタイプにマッチするステップ認識フレームワークであるAHEADを提案する。
AHEADはタスク成功率(ALFWorldで+13.3ポイント)を高め、トレーニングステップを減らし、結果のみのRLや事前の自己蒸留ベースラインよりも厳密な相互作用予算内でタスクを解決する。
論文 参考訳（メタデータ） (2026-08-25T06:23:48Z) - Latent On-Policy Self-Distillation [55.57800223145407]
On-policy Self-distillation (OPSD) は、特権的な自己教育者を用いて、生徒自身の軌跡を集中的に管理することにより、効果的な経路を提供する。
既存の方法はまだデザイナーが指定した特権的アーティファクトに大きく依存している。
本稿では,教師の特権的文脈自体を経験から学習可能なエンド・ツー・エンドにするため,LOPD(Latent On-Policy Self-Distillation)を導入する。
論文 参考訳（メタデータ） (2026-08-13T10:05:51Z) - Demystifying On-Policy Distillation: Roles, Pathologies, and Regulations [41.8393565183611]
オンライン蒸留(OPD)は,高濃度のトークンレベルの誘導を通じて,高機能天井を拡大することなく,学生を正しい推論経路へと導いてくれることを示す。
教師と教師のミスマッチは、教師と生徒の分布ギャップが大きくなり、指導信号がタスクの正しさに悪影響を及ぼし、反生産的な方向を探索するときに起こる。
長さ爆発は、集約されたトークンレベルの目的が長さ依存のショートカットを生成し、学生が応答の切り離しや冗長なパディングを通じて報酬のランドスケープをゲームできるようにするときに起こる。
これらの病態に対処するために、我々は軽量信号規制、すなわち、クリップとログスケール圧縮について検討する。
論文 参考訳（メタデータ） (2026-07-15T02:52:37Z) - DemoPSD: Disagreement-Modulated Policy Self-Distillation [49.30809363804017]
大規模言語モデルを訓練するための実践的な方法として、オンデマンド自己蒸留が登場している。
DemoPSDは、教師と生徒の分布の重み付けされた幾何学的組み合わせに向けて学生を操縦する。
論文 参考訳（メタデータ） (2026-07-02T17:58:29Z) - Learning from Own Solutions: Self-Conditioned Credit Assignment for Reinforcement Learning with Verifiable Rewards [49.1203423784326]
我々は、前述のKL分散をGRPO勾配の乗算重みとして用いるSC-GRPO(Self-Conditioned GRPO)を提案する。
数学、コード、エージェントタスクにまたがる5つのベンチマークで、SC- GRPOはGRPOより8.1%、DAPOより5.9%、OODパフォーマンスが強い。
論文 参考訳（メタデータ） (2026-06-17T08:26:02Z) - Localizing Credit at the Divergence: Path-Conditioned Self-Distillation for LLM Reasoning [12.363923974156636]
検証可能な報酬からの強化学習は、ロールアウト毎に1つのスカラーを割り当てる。
オンラインの自己蒸留は、特権情報に基づいて同じモデルを教師として振る舞うことでこの問題に対処する。
本研究では,教師がピアロールアウトに成功したことを条件に,HSD(Hindsight Self-Distillation)を提案する。
論文 参考訳（メタデータ） (2026-06-14T03:37:27Z) - Agentic Transformers Provably Learn to Search via Reinforcement Learning [80.1412817870784]
木探索は多くの言語エージェント推論と意思決定タスクの背後にある中心的な抽象化である。
エージェント変換器は相互作用を通してその軌道履歴のみを観察する。
ランダム化深度優先探索(DFS)を実装した2ヘッドトランスを最初に構築する。
そこで我々は,このDFS機構が,緩やかな強化フィードバックから,段階的に現れることを示す。
論文 参考訳（メタデータ） (2026-05-29T14:58:03Z) - StepOPSD: Step-Aware Online Preference Distillation for Agent Reinforcement Learning [6.365332042924078]
本稿では,ロールアウト後の自己蒸留フレームワークであるStepOPSDについて紹介する。
StepOPSDは、軌跡をアクション中心のステップセグメントに分解し、後見豊かな教師コンテキスト下でそれらを再構成する。
より小さい_clipは広範囲に安定化された局所信頼領域として作用するが、最適な大域混合強度_mixはタスク依存のままである。
論文 参考訳（メタデータ） (2026-05-26T15:07:03Z) - FBOS-RL: Feedback-Driven Bi-Objective Synergistic Reinforcement Learning [16.200486964371713]
フィードバック駆動型双方向強化学習フレームワークFBOS-RLを提案する。
具体的には、環境からのフィードバックに基づいて、フィードバックガイドによる探索強化を行う。
同じロールアウト数で、FBOS-RLはGRPOやフィードバックベースのベースラインよりもかなり高速に学習する。
論文 参考訳（メタデータ） (2026-05-18T12:48:36Z) - Teacher-Guided Policy Optimization for LLM Distillation [90.49982387646861]
Teacher-Guided Policy Optimization (TGPO) は、生徒のロールアウトに条件付き教師予測を活用することで、高密度な方向性誘導を取り入れたオンラインアルゴリズムである。
複雑な推論ベンチマークの実験では、TGPOは標準ベースラインを著しく上回り、異なる教師にとって堅牢であることが示されている。
論文 参考訳（メタデータ） (2026-05-13T09:20:03Z) - Truncated Step-Level Sampling with Process Rewards for Retrieval-Augmented Reasoning [32.295907409325615]
強化学習による検索エンジンの推論のための大規模言語モデルの訓練は、信用代行問題によって妨げられる。
2つの相補的なアイデアに基づいて構築されたフレームワークであるSLATEを提案する。
7つのQAベンチマークの実験では、SLATEがスパース・リワードとプロセス・リワードのベースラインを一貫して上回っていることが確認された。
論文 参考訳（メタデータ） (2026-02-26T19:05:40Z) - Agentic Reinforcement Learning with Implicit Step Rewards [92.26560379363492]
大規模言語モデル (LLMs) は強化学習 (agentic RL) を用いた自律的エージェントとして発展している。
我々は,標準RLアルゴリズムとシームレスに統合された一般的なクレジット割り当て戦略であるエージェントRL(iStar)について,暗黙的なステップ報酬を導入する。
我々は,WebShopとVisualSokobanを含む3つのエージェントベンチマークと,SOTOPIAにおける検証不可能な報酬とのオープンなソーシャルインタラクションについて評価した。
論文 参考訳（メタデータ） (2025-09-23T16:15:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。