論文の概要: STAMP: Provenance-Guided Credit Assignment for Deep Search Agents

• arxiv url: http://arxiv.org/abs/2607.11172v1
• Date: Mon, 13 Jul 2026 07:12:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-14 17:47:21.362325
• Title: STAMP: Provenance-Guided Credit Assignment for Deep Search Agents
• Title（参考訳）: STAMP: ディープ・サーチ・エージェントのためのプロヴァンス・ガイド付きクレジット・アサインメント
• Abstract要約: ディープリサーチエージェントの強化学習は、主に軌道レベルのスコアリングに焦点を当てている。 本稿では、参照ベースの検証器が各引用文書がエンティティや関係をサポートするかどうかを判断するSTAMPを提案する。 BrowseComp、BrowseComp-ZH、xbench-DSでは、STAMPはGRPOのベースラインを+2.0/+5.5/+3.0ポイント改善している。
• 参考スコア（独自算出の注目度）: 16.1299556246389
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning for deep-search agents has largely focused on trajectory-level scoring -- outcome correctness, citation-aware rewards, and evidence coverage. Yet the actions that expose supporting documents receive no targeted credit, a gap we call the reward-credit mismatch. We propose STAMP, in which a reference-based verifier judges whether each cited document supports an entity or relation in a training-time evidence graph, and first-exposure attribution traces each supported citation back to the action that first surfaced it. This step credit is injected through sign-preserving advantage modulation, which redistributes advantage across steps without changing the trajectory-level reward or the relative ranking of trajectories within each group. On BrowseComp, BrowseComp-ZH, and xbench-DS, STAMP improves the GRPO baseline by +2.0/+5.5/+3.0 points under matched SFT initialization, training data, and search tools, and composes with both outcome-only and citation-rubric base rewards. Component ablations confirm that the provenance-based credit signal and the sign-preserving advantage modulation each contribute to the gains.
• Abstract（参考訳）: ディープリサーチエージェントの強化学習は、主に軌道レベルのスコア(結果の正しさ、引用対応報酬、エビデンスカバレッジ)に焦点を当てている。 しかし、サポートドキュメントを公開するアクションは、ターゲットのクレジットを受け取りません。 本稿では、参照ベースの検証器が、引用された文書がトレーニング時エビデンスグラフでエンティティや関係をサポートするかどうかを判断し、最初の露光属性が、サポート対象の引用を最初に提示したアクションに遡る。 このステップクレジットは、各グループ内の軌道レベルの報酬や相対的な軌道のランクを変更することなく、ステップ間で利益を再分配するサイン保存アドバンテージ変調を通じて注入される。 BrowseComp、BrowseComp-ZH、xbench-DSでは、STAMPは、一致したSFT初期化、トレーニングデータ、検索ツールの下でGRPOベースラインを+2.0/+5.5/+3.0ポイント改善し、結果のみと引用ルブリックベース報酬の両方で構成する。 コンポーネントの短縮により、プロファイランスベースの信用信号と符号保存利得変調がそれぞれ利得に寄与することを確認する。

関連論文リスト

• VICT: Verifier-Instrumented Credit Tracing for Long-Horizon LLM Agent Reinforcement Learning [6.237984544487965]
  VICT(VerifierInstrumented Credit Tracing)は、原子を依存性検証エッジを通じて動作にトレースするトレーニングタイムインターフェースである。 結果のみのトレーニングよりも大幅に改善され、最近のきめ細かいクレジットメソッドと並行して、強力なパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-08-28T09:43:54Z)
• MileGPO: Milestone Inference with Local Evidence for Graph-Based Policy Optimization of Long-Horizon LLM Agents [26.262385802144323]
  プロセスレベルの信用を3つの設計を通じてグループ化されたオン・ポリティクス・ロールアウトから導き出すMileGPOを提案する。 MileGPOは補助モデルも追加の環境相互作用も必要としない。
  論文  参考訳（メタデータ） (2026-08-20T08:58:27Z)
• AgentOPSD: Recursive Self-Distillation for Agentic Reinforcement Learning [58.76655851910778]
  AgentOPSDは、エージェント強化学習におけるターンレベルのクレジット割り当てのための、批判のない再帰的手法である。 ALFWorld, WebShop, Search-QA上のAgentOPSDを2つのスケールでQwen2.5モデルを用いて評価する(3B, 7B)。
  論文  参考訳（メタデータ） (2026-08-06T13:00:59Z)
• TRIAGE: Role-Typed Credit Assignment for Agentic Reinforcement Learning [10.917273110894469]
  エージェント強化学習では、環境に配慮した行動にクレジットを割り当てる必要がある。 標準GRPOは全てのアクショントークンに対する一様優位性として最終検証結果を使用する。 本稿では,ロール型クレジット代入フレームワークであるTRIAGEを提案する。
  論文  参考訳（メタデータ） (2026-06-30T17:48:07Z)
• TRACE: A Unified Rollout Budget Allocation Framework for Efficient Agentic Reinforcement Learning [52.67756371231985]
  検証可能な報酬を伴う強化学習(RLVR)は、大規模言語モデルにおける推論とエージェント的行動を強化するための有望なアプローチである。 本稿では,Tree Rollout Allocation for Contrastive Exploration (TRACE)について紹介する。 技術的には、TRACEはロールアウト予算をルートと中間プレフィックスの両方に割り当てている。
  論文  参考訳（メタデータ） (2026-06-09T17:16:03Z)
• PBSD: Privileged Bayesian Self-Distillation for Long-Horizon Credit Assignment [35.978805768172656]
  ロングホライゾンのエージェントタスクは、結果ベース強化学習の基本的なクレジット割り当て課題となる。 PBSD (Privileged Bayesian Self-Distillation) はベイズが校正した自己蒸留法である。
  論文  参考訳（メタデータ） (2026-06-08T11:20:58Z)
• ARBOR: Online Process Rewards via a Reusable Rubric Buffer for Search Agents [48.80766702702854]
  LLMベースの検索エージェントは、主に結果のみの報酬で訓練され、検索プロセス自体は監督されていない。 この信号は、全てのサンプル軌跡が同じ正当性を共有する結果同質な群に対して退化し、群内の優位性はゼロとなり、勾配は得られない。 ARBOR(Adaptive Buffer for Online Reward)は,クエリ間で共有されるルーリックメモリを維持する再利用可能なプロセス・リワードフレームワークである。
  論文  参考訳（メタデータ） (2026-06-02T06:58:54Z)
• VeriGate: Verifier-Gated Step-Level Supervision for GRPO [51.26100506256885]
  グループ相対政策最適化は、検証者に基づく結果報酬を伴う推論モデルをトレーニングするための効果的なレシピである。 GRPO の検証子付き拡張である VeriGate を提案し,これらの制限を3つの設計選択で解決する。 We show that VeriGate improves average accuracy around 20% and 12% for 1.5B and 7B models respectively。
  論文  参考訳（メタデータ） (2026-05-28T18:20:32Z)
• Look As You Think: Unifying Reasoning and Visual Evidence Attribution for Verifiable Document RAG via Reinforcement Learning [55.232400251303794]
  Look As You Think (LAT)は、モデルをトレーニングし、一貫した帰属性を持った検証可能な推論パスを生成するための強化学習フレームワークである。 LATはシングルイメージとマルチイメージの両方でバニラモデルを一貫して改善し、平均ゲインは8.23%、IoU@0.5では47.0%となる。
  論文  参考訳（メタデータ） (2025-11-15T02:50:23Z)
• Would I have gotten that reward? Long-term credit assignment by counterfactual contribution analysis [50.926791529605396]
  モデルベース信用代入アルゴリズムの新たなファミリーであるCOCOA(Counterfactual Contribution Analysis)を紹介する。 我々のアルゴリズムは、その後の報酬を得る際の行動の貢献度を測定することによって、正確な信用割当を実現する。
  論文  参考訳（メタデータ） (2023-06-29T09:27:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。