論文の概要: Self-Induced Outcome Potential: Turn-Level Credit Assignment for Agents without Verifiers

• arxiv url: http://arxiv.org/abs/2605.04984v1
• Date: Wed, 06 May 2026 14:38:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-07 18:41:07.882797
• Title: Self-Induced Outcome Potential: Turn-Level Credit Assignment for Agents without Verifiers
• Title（参考訳）: 自己誘導型アウトカムの可能性:検証対象のないエージェントに対するターンレベルクレジットアサインメント
• Abstract要約: 自己誘導型アウトカム電位は、最終回答のセマンティッククラスタを、ポテンシャルに基づくターンレベルのクレジット割り当てのための潜在的な将来の結果状態として扱う。 我々は,このフレームワークを形式化し,監督対象のゴールド・アンサー・リミットを特徴付けるとともに,SIOPが検証自由な結果レベルベースラインよりも平均性能を向上させることを示す。
• 参考スコア（独自算出の注目度）: 26.97849381770806
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Long-horizon LLM agents depend on intermediate information-gathering turns, yet training feedback is usually observed only at the final answer, because process-level rewards require high-quality human annotation. Existing turn-level shaping methods reward turns that increase the likelihood of a gold answer, but they require answer supervision or stable task-specific verifiers. Conversely, label-free RL methods extract self-signals from output distributions, but mainly at the answer or trajectory level and therefore cannot assign credit to intermediate turns. We propose Self-Induced Outcome Potential (SIOP), which treats semantic clusters of final answers as latent future outcome states for potential-based turn-level credit assignment. For each query, SIOP samples multiple rollouts, clusters final answers into semantic outcome modes, and builds a reliability-aware target distribution over these states. It then rewards turns for increasing posterior support for reliable future states using a tractable cluster-level approximation. The objective generalizes information-potential shaping from gold-answer supervision to settings without task-specific gold verifiers while avoiding the broadcasted rollout-level advantages used by standard GRPO. We formalize the framework, characterize its supervised gold-answer limit, and show that SIOP improves average performance over verifier-free outcome-level baselines on seven search-augmented agentic reasoning benchmarks while approaching a gold-supervised outcome baseline. Code is available at https://github.com/dl-m9/SIOP.git.
• Abstract（参考訳）: ロングホライゾンLSMエージェントは中間情報収集のターンに依存するが、トレーニングフィードバックは通常最終回答でのみ観察される。 既存のターンレベルの整形法では、報酬は金の答えの可能性を増加させるが、答えの監督や安定したタスク固有の検証が必要である。 逆に、ラベルフリーなRL法は出力分布から自己署名を抽出するが、主に答えや軌道レベルで、従って中間ターンにクレジットを割り当てることはできない。 本稿では,最終回答のセマンティック・クラスタを,ポテンシャルに基づくターンレベル・クレジット・アサインのための潜在的な結果状態として扱う,自己誘導型アウトカム・ポテンシャル(SIOP)を提案する。 各クエリに対して、SIOPは複数のロールアウトをサンプリングし、最終的な回答をセマンティックな結果モードにクラスタ化し、これらの状態に対する信頼性に配慮したターゲット分布を構築する。 次に、トラクタブルクラスタレベルの近似を用いて、信頼性の高い将来の状態に対する後続サポートを増やすために、ターンを報いる。 本研究の目的は、標準GRPOの放送されたロールアウトレベルの利点を回避しつつ、タスク固有のゴールドバリデーションを使わずに、ゴールド・アンサー・インスペクションから設定への情報潜在的シェーピングを一般化することである。 我々は,本フレームワークを形式化し,監督対象のゴールド・アンサー・リミットを特徴付けるとともに,SIOPがゴールド・アンサー・ベースラインに近づきながら7つの検索強化エージェント推論ベンチマークにおいて,検証対象のない結果レベルベースラインよりも平均性能を向上させることを示す。 コードはhttps://github.com/dl-m9/SIOP.gitで入手できる。

関連論文リスト

• MileGPO: Milestone Inference with Local Evidence for Graph-Based Policy Optimization of Long-Horizon LLM Agents [26.262385802144323]
  プロセスレベルの信用を3つの設計を通じてグループ化されたオン・ポリティクス・ロールアウトから導き出すMileGPOを提案する。 MileGPOは補助モデルも追加の環境相互作用も必要としない。
  論文  参考訳（メタデータ） (2026-08-20T08:58:27Z)
• AgentOPSD: Recursive Self-Distillation for Agentic Reinforcement Learning [58.76655851910778]
  AgentOPSDは、エージェント強化学習におけるターンレベルのクレジット割り当てのための、批判のない再帰的手法である。 ALFWorld, WebShop, Search-QA上のAgentOPSDを2つのスケールでQwen2.5モデルを用いて評価する(3B, 7B)。
  論文  参考訳（メタデータ） (2026-08-06T13:00:59Z)
• TRACE: Turn-level Reward Assignment via Credit Estimation for Long-Horizon Agents [51.523913302114266]
  TRACE(Turn-level Reward Assignment via Credit Estimation)は、エージェント強化学習のための高密度クレジットアサインメント手法である。 ツールコール境界における状態遷移としてロールアウトを表現し、凍結参照モデルからゴールド・アンサー・ログ確率を取得し、それらをログ比の状態値に変換し、それらの値の時間差変化としてアクション毎の報酬を導出する。 純粋なRLを用いたベースモデルツール使用能力を大幅に向上させ、冷間開始制御された微調整ステージ、エージェント訓練ステージ、ライブWebデータによるトレーニングを不要とした。
  論文  参考訳（メタデータ） (2026-07-15T16:16:42Z)
• LOTAPO: Leave-One-Turn Attribution for Self-Generated Process Rewards in Multi-Turn Search Reasoning [12.013691798765594]
  LOTAPOは、後戻り一ターン属性に基づく自己生成プロセススーパービジョン手法である。 各検索ターンに対して、LOTAPOはターンとその検索観察を固定[DELETE]プレースホルダーで置き換える。 このAnswer-Likelihood Gainは、すべての下流相互作用を保存しながらターンの寄与を推定する。
  論文  参考訳（メタデータ） (2026-07-15T06:55:28Z)
• OPID: On-Policy Skill Distillation for Agentic Reinforcement Learning [38.54413500261524]
  オンデマンドの自己蒸留は、密集したトークンレベルの監督を提供する。 textbfOPID (textbfOn-textbfPolicy Sktextbfill textbfDistillation) は、軌道上で完了したスキル管理を直接抽出するフレームワークである。
  論文  参考訳（メタデータ） (2026-06-25T09:24:09Z)
• TRACE: A Unified Rollout Budget Allocation Framework for Efficient Agentic Reinforcement Learning [52.67756371231985]
  検証可能な報酬を伴う強化学習(RLVR)は、大規模言語モデルにおける推論とエージェント的行動を強化するための有望なアプローチである。 本稿では,Tree Rollout Allocation for Contrastive Exploration (TRACE)について紹介する。 技術的には、TRACEはロールアウト予算をルートと中間プレフィックスの両方に割り当てている。
  論文  参考訳（メタデータ） (2026-06-09T17:16:03Z)
• PBSD: Privileged Bayesian Self-Distillation for Long-Horizon Credit Assignment [35.978805768172656]
  ロングホライゾンのエージェントタスクは、結果ベース強化学習の基本的なクレジット割り当て課題となる。 PBSD (Privileged Bayesian Self-Distillation) はベイズが校正した自己蒸留法である。
  論文  参考訳（メタデータ） (2026-06-08T11:20:58Z)
• GAPD: Gold-Action Policy Distillation for Agentic Reinforcement Learning in Knowledge Base Question Answering [64.23115520219609]
  結果に基づくRLに高密度トークンレベルガイダンスを付加する訓練時間金反応政策蒸留フレームワークを提案する。 GAPDはWebQSP、GrailQA、GraphQの最先端技術に一貫して勝っている。
  論文  参考訳（メタデータ） (2026-05-28T08:28:10Z)
• RHyVE: Competence-Aware Verification and Phase-Aware Deployment for LLM-Generated Reward Hypotheses [7.123785374544969]
  大規模言語モデル(LLM)は、強化学習における報酬設計をかなりスケーラブルにするが、生成された報酬は自動的に信頼性のある訓練目標ではない。 本稿では,現在の政策の能力に依拠する報酬仮説として,生成した報酬を扱い,この展開時問題を考察する。 我々は,有能な検証とフェーズアウェアなデプロイメントプロトコルであるtextscRHyVEを提案する。
  論文  参考訳（メタデータ） (2026-04-30T16:01:51Z)
• Hidden States Know Where Reasoning Diverges: Credit Assignment via Span-Level Wasserstein Distance [8.66471442661456]
  隠れ状態分布は局所的推論品質に有用な信号を含むことを示す。 各GRPO群では, 局所的推論品質が変動する領域を中心に, スパンレベル隠れ状態分布間のワッサースタイン距離が増加する。 textbfSpan-level textbfHidden state textbfEd textbfAdvantage textbfReweightingを提案する。
  論文  参考訳（メタデータ） (2026-04-25T14:11:23Z)
• P2S: Probabilistic Process Supervision for General-Domain Reasoning Question Answering [51.04492568024515]
  本稿では,プロセス報酬を微粒化するための新しいフレームワークである確率的プロセススーパービジョン(P2S)を紹介する。 P2Sは、個別の報酬モデルや人間に注釈を付けた推論ステップを必要とせずに、きめ細かいプロセス報酬を提供する。
  論文  参考訳（メタデータ） (2026-01-28T14:35:20Z)
• Hybrid Reward Normalization for Process-supervised Non-verifiable Agentic Tasks [12.31210445905605]
  ステップレベルの評価と結果の検証を統一するRLアプローチである原則プロセス・リワード(PPR)を導入する。 PPRは幅広いベンチマークで最先端のパフォーマンスを実現し、その顕著な堅牢性と一般化を実証している。
  論文  参考訳（メタデータ） (2025-09-29T23:44:55Z)
• Agentic Reinforcement Learning with Implicit Step Rewards [92.26560379363492]
  大規模言語モデル (LLMs) は強化学習 (agentic RL) を用いた自律的エージェントとして発展している。 我々は,標準RLアルゴリズムとシームレスに統合された一般的なクレジット割り当て戦略であるエージェントRL(iStar)について,暗黙的なステップ報酬を導入する。 我々は,WebShopとVisualSokobanを含む3つのエージェントベンチマークと,SOTOPIAにおける検証不可能な報酬とのオープンなソーシャルインタラクションについて評価した。
  論文  参考訳（メタデータ） (2025-09-23T16:15:42Z)
• Intra-Trajectory Consistency for Reward Modeling [67.84522106537274]
  軌道内整合性正則化を開発し、より高い次トーケン生成確率を持つプロセスがより一貫した報酬を維持することを強制する。 提案した正規化でトレーニングした報酬モデルにより、より優れたDPO整合ポリシーが導出され、より優れたベスト・オブ・N(BON)検証結果が得られることを示す。
  論文  参考訳（メタデータ） (2025-06-10T12:59:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。