論文の概要: EG-GRPO: Evidence-Guided Step-level Credit Assignment for Deep Search Agents

• arxiv url: http://arxiv.org/abs/2610.25269v1
• Date: Sun, 18 Oct 2026 13:39:45 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:12:29.992111
• Title: EG-GRPO: Evidence-Guided Step-level Credit Assignment for Deep Search Agents
• Title（参考訳）: Evidence-Guided Step-level Credit Assignment for Deep Search Agents
• Abstract要約: LLMに基づく探索エージェントは,長距離情報探索と推論において強力な機能を示す。 既存のアプローチは主に軌道レベルの成果報酬に依存しており、複雑な探索と推論プロセスの限られた監督を提供する。 本稿では,EG-GRPOを提案する。EG-GRPOは,合成深層検索データで利用可能なエビデンスアノテーションから段階的な監視を行うフレームワークである。
• 参考スコア（独自算出の注目度）: 21.215559929494074
• License:
• Abstract: LLM-based search agents demonstrate strong capabilities in long-horizon information seeking and reasoning, typically trained via reinforcement learning. However, existing approaches predominantly rely on trajectory-level outcome rewards, providing limited supervision for complex search and reasoning processes. Although step-level credit assignment offers a promising solution, obtaining reliable and task-grounded supervision for open-ended search remains challenging. In this paper, we propose Evidence-Guided Group Relative Policy Optimization (EG-GRPO), a framework that derives step-level supervision from the evidence annotations available in synthetic deep search data. EG-GRPO identifies the first supporting citation for each required evidence claim and uses the newly acquired evidence to construct step-level process rewards. By representing the accumulated evidence as an evolving knowledge state, EG-GRPO further performs state-conditioned relative advantage estimation and combines the resulting step-level signal with the standard trajectory-level outcome advantage. Experiments on five challenging deep search benchmarks show that EG-GRPO generally outperforms standard GRPO and existing reward-enhanced and step-level RL baselines across different model scales. These results demonstrate that task-grounded evidence annotations can provide effective process supervision for credit assignment in deep search RL.
• Abstract（参考訳）: LLMをベースとした探索エージェントは、強化学習を通じて訓練された長い水平情報探索と推論において強力な能力を示す。 しかし、既存のアプローチは主に軌道レベルの結果報酬に依存しており、複雑な探索と推論プロセスの監督が限られている。 ステップレベルの信用割当は有望なソリューションを提供するが、オープンエンド検索のための信頼性とタスクグラウンドの監視を得ることは依然として困難である。 本稿では,Evidence-Guided Group Relative Policy Optimization (EG-GRPO)を提案する。 EG-GRPOは、必要なエビデンス毎の最初の支持引用を特定し、新たに取得したエビデンスを使用してステップレベルのプロセス報酬を構築する。 蓄積された証拠を進化した知識状態として表現することにより、EG-GRPOはさらに状態条件付き相対的優位推定を行い、その結果のステップレベルの信号と標準軌道レベルの結果の利点を組み合わせる。 5つの挑戦的なディープサーチベンチマークの実験は、EG-GRPOが標準GRPOと既存の報酬強化とステップレベルのRLベースラインを異なるモデルスケールで上回っていることを示している。 これらの結果は,タスクグラウンドのエビデンスアノテーションがディープサーチRLにおけるクレジット代入の効果的なプロセス管理に有効であることを示す。

関連論文リスト

• KnowGPO: Knowledge-Grouped Policy Optimization for Search Agents [57.03715319732378]
  アウトカムベースの強化学習は、全軌道で共有される単一の端末報酬のみを提供する。 我々は,獲得した課題関連知識によって軌道を整合させる強化学習フレームワークであるKnowGPOを提案する。 各クエリに対して、KnowGPOは、答えを原子知識条件に導出するために必要な情報を分解し、満たした条件のサブセットによって各ステップにおける軌道の状態を表す。
  論文  参考訳（メタデータ） (2026-10-15T17:52:33Z)
• EPOCH: Reliable Discovery through Evidence-Governed Search [0.21800539487777928]
  AI研究エージェントのためのエビデンス管理アーキテクチャであるEPOCHを紹介する。 EPOCHは明示的なタスク契約、型付きメモリ、アクティブ・ファルシフィケーション、入場チェック、独立リプレイを組み合わせることでエビデンスに支配された発見ループを実装している。
  論文  参考訳（メタデータ） (2026-10-04T06:51:12Z)
• Time to REFLECT: Can We Trust LLM Judges for Evidence-based Research Agents? [61.49434544687523]
  本稿では,エージェント環境におけるきめ細かい故障検出を目的としたメタ評価ベンチマークREFLECTを紹介する。 REFLECTはプロセスレベルの障害モードと結果レベルの障害モードの詳細な分類を定義し、制御および局所的な介入を実行することでインスタンス化する。 私たちの実験では、最高のパフォーマンスモデルでさえ、推論、ツール使用、レポート品質の失敗に対して、全体的なアキュラシーを55%以下に達成しています。
  論文  参考訳（メタデータ） (2026-05-18T23:55:08Z)
• Enhancing LLM-based Search Agents via Contribution Weighted Group Relative Policy Optimization [47.7937991619078]
  本稿では,プロセスの監督をグループ相対的な政策最適化に統合するフレームワークであるコントリビューション重み付きGRPOを提案する。 CW-GRPOは、LLM判定器を用いて、検索ラウンド毎の検索ユーティリティと推論精度を評価し、ラウンド毎のコントリビューションスコアを生成する。 複数の知識集約型ベンチマークの実験では、CW-GRPOはQwen3-8Bでは5.0%、Qwen3-1.7Bでは6.3%、標準GRPOより優れていた。
  論文  参考訳（メタデータ） (2026-04-15T17:37:59Z)
• Evidence-Augmented Policy Optimization with Reward Co-Evolution for Long-Context Reasoning [52.144281362465996]
  本稿では,強化学習を長期シナリオに適用するためのEAPO(Evidence-Augmented Policy Optimization)を提案する。 最初にEvidence-Augmented Reasoningパラダイムを確立し、Tree-Structued Evidence Smplingを介して検証する。 次に、報酬モデルがグループ相対エビデンス・リワードを計算する特殊なRLアルゴリズムを導入する。 トレーニングを通して正確な監視を維持するため、適応的リワード・ポリティ共進化機構をさらに取り入れる。
  論文  参考訳（メタデータ） (2026-01-15T11:40:57Z)
• Chaining the Evidence: Robust Reinforcement Learning for Deep Search Agents with Citation-Aware Rubric Rewards [60.0970117192627]
  強化学習(Reinforcement Learning, RL)は, LLMに基づくディープサーチエージェントの強化に重要な手法である。 既存のアプローチは主にバイナリ結果の報酬に依存しており、エージェントの推論プロセスの包括性と事実性を捉えていない。 ディープサーチエージェントのための微粒化報酬フレームワークである textbfCitation-aware RL Rewards (CaRR) を提案する。
  論文  参考訳（メタデータ） (2026-01-09T18:57:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。