論文の概要: Search-G1: Grounded Search Agents via Representation-Based Intrinsic Rewards
- arxiv url: http://arxiv.org/abs/2608.07531v1
- Date: Fri, 24 Jul 2026 15:22:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-17 01:32:04.550746
- Title: Search-G1: Grounded Search Agents via Representation-Based Intrinsic Rewards
- Title（参考訳）: Search-G1:Representation-based Intrinsic Rewardsによる検索エージェント
- Abstract要約: 検索強化された言語エージェントは、必要なときにのみ外部情報を検索し、その答えを検索された証拠に根拠づけるべきである。
本稿では,2つの介入校正読解を通してエージェントの回答の操作的根拠を測定する,表現に基づく本質的な報酬フレームワークであるSearch-G1を提案する。
- 参考スコア（独自算出の注目度）: 4.1446390187932325
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Search-augmented language agents should retrieve external information only when necessary and ground their answers in retrieved evidence. Existing external rewards provide either sparse outcome supervision or richer feedback from process annotations and LLM judges. Outcome rewards scale readily but cannot distinguish grounded retrieval from redundant search, whereas richer signals require costly annotation or inference during training. Internal rewards based on policy-side signals such as entropy, likelihood, or information gain are graded and inexpensive to evaluate, yet mainly reflect model confidence rather than evidence grounding. We propose Search-G1, a representation-based intrinsic reward framework that measures the operational grounding of an agent's answers through two intervention-calibrated readouts. A prompt-state readout predicts closed-book sufficiency, whose complement defines policy-relative retrieval necessity; an answer-commit readout estimates evidence reliance from answer-stage sensitivity to evidence deletion. Together, they provide additional credit to correct searched trajectories when retrieval is estimated necessary and the answer is evidence-sensitive, favor correct direct answers when closed-book knowledge suffices, and penalize repeated search. After calibration, reward scoring requires neither process annotations nor LLM-as-judge inference during policy optimization. Because reinforcement learning changes policy representations, Search-G1 periodically refits both readouts on trajectories from the latest checkpoint, allowing the reward to co-evolve with the policy. Experiments across multiple search-based question-answering benchmarks and two model scales show that Search-G1 improves the grounding--search-cost trade-off, producing shorter response-side trajectories at competitive task accuracy. Code is available at https://github.com/Rosy0912/Search-G1.
- Abstract（参考訳）: 検索強化された言語エージェントは、必要なときにのみ外部情報を検索し、その答えを検索された証拠に根拠づけるべきである。
既存の外部報酬は、スパースな結果監視またはプロセスアノテーションからのよりリッチなフィードバックとLCMの判断を提供する。
出力報酬は容易にスケールするが、冗長な検索から基底的な検索を区別することはできない。
エントロピー、可能性、情報ゲインといった政策側の信号に基づく内部報酬は、評価するために格付けされ、安価であるが、主に根拠となる証拠よりもモデルの信頼性を反映している。
本稿では,2つの介入校正読解を通してエージェントの回答の操作的根拠を測定する,表現に基づく本質的な報酬フレームワークであるSearch-G1を提案する。
プロンプト状態の読み出しは、ポリシー相対的な検索の必要性を補完するクローズドブックの充足率を予測し、回答コミット読み出しは、回答段階の感度から証拠の削除に依存する証拠を推定する。
両者は、検索が必要と判断され、答えがエビデンスに敏感で、クローズドブックの知識が十分であれば正しい直接回答を希望し、繰り返し検索をペナルティ化するときに、検索された軌跡を補正するための追加クレジットを提供する。
キャリブレーション後、報酬スコアリングはプロセスアノテーションもLCM-as-judge推論も必要としない。
強化学習はポリシーの表現を変えるため、検索-G1は最新のチェックポイントから両方のトラジェクトリの読み出しを定期的に修正し、ポリシーとの共同進化を可能にする。
複数の検索ベース質問答えベンチマークと2つのモデルスケールによる実験により、検索-G1は探索コストのトレードオフを改善し、競合するタスク精度で応答側軌跡を短くすることが示された。
コードはhttps://github.com/Rosy0912/Search-G1で入手できる。
関連論文リスト
- LOTAPO: Leave-One-Turn Attribution for Self-Generated Process Rewards in Multi-Turn Search Reasoning [12.013691798765594]
LOTAPOは、後戻り一ターン属性に基づく自己生成プロセススーパービジョン手法である。
各検索ターンに対して、LOTAPOはターンとその検索観察を固定[DELETE]プレースホルダーで置き換える。
このAnswer-Likelihood Gainは、すべての下流相互作用を保存しながらターンの寄与を推定する。
論文 参考訳（メタデータ） (2026-07-15T06:55:28Z) - GRASP: GRanularity-Aware Search Policy for Agentic RAG [35.781196496632035]
本稿では,補完的検索ツールを適応的にコーディネートする訓練エージェントのための強化学習フレームワークGRASPを紹介する。
GRASPは、セマンティック検索、キーワード検索、段落読み込みアクションを提供する。
我々は、回答の正確性、接地された読み、補完的な検索、ターン効率を共同で説明する報酬でポリシーを訓練する。
論文 参考訳（メタデータ） (2026-07-11T19:58:07Z) - R$^2$-Searcher: Calibrating Retrieval and Reasoning Boundaries for Agentic Search [59.034878430183305]
R$2$-Searcherは、検索と推論の境界を明示的に探索し、校正する。
R$2$-Searcherは,解答精度と検索品質において,最先端のエージェント検索法よりも優れていることを示す。
論文 参考訳（メタデータ） (2026-06-26T19:44:34Z) - TRACE: A Unified Rollout Budget Allocation Framework for Efficient Agentic Reinforcement Learning [52.67756371231985]
検証可能な報酬を伴う強化学習(RLVR)は、大規模言語モデルにおける推論とエージェント的行動を強化するための有望なアプローチである。
本稿では,Tree Rollout Allocation for Contrastive Exploration (TRACE)について紹介する。
技術的には、TRACEはロールアウト予算をルートと中間プレフィックスの両方に割り当てている。
論文 参考訳（メタデータ） (2026-06-09T17:16:03Z) - Harness-1: Reinforcement Learning for Search Agents with State-Externalizing Harnesses [27.84773301655777]
本研究では,20B検索エージェント(検索サブエージェント)であるHarness-1を紹介する。
ハーネスは、候補プール、重要タグ付きキュレートセット、コンパクトエビデンスリンク、検証記録、圧縮および重複した観察を含む環境側のワーキングメモリを維持している。
8つのベンチマークで、Harness-1は平均0.730回のリコールを達成し、次の最強のオープンサーチサブエージェントを+11.4ポイント上回った。
論文 参考訳（メタデータ） (2026-06-01T15:21:41Z) - Cycle-Consistent Search: Question Reconstructability as a Proxy Reward for Search Agent Training [80.20022221643414]
Cycle-Consistent Searchは、検索エージェントを訓練するための金色のスーパービジョンのないフレームワークである。
CCSは教師付きベースラインに匹敵する性能を示す。
これらの結果から,CCSは金の監督が不可能な環境で検索エージェントを訓練するためのスケーラブルな訓練パラダイムを提供する可能性が示唆された。
論文 参考訳（メタデータ） (2026-04-14T17:00:18Z) - SE-Search: Self-Evolving Search Agent via Memory and Dense Reward [87.79131676521656]
Retrieval augmented generation (RAG)は、検索した外部知識を条件づけることにより、大規模言語モデル(LLM)における幻覚や事実エラーを低減する。
既存の手法は、無関係または騒々しい文書を蓄積し、希少な強化学習信号に依存することが多い。
我々は,3つのコンポーネントによるオンライン検索行動を改善するセルフ進化検索エージェントであるtextbfSelf-textbfEvolving textbfSearchを提案する。
論文 参考訳（メタデータ） (2026-02-06T09:14:07Z) - Search-R2: Enhancing Search-Integrated Reasoning via Actor-Refiner Collaboration [49.9937230730202]
本稿では,新たなアクター・リファイナ・コラボレーション・フレームワークであるSearch-R2を提案する。
提案手法は,生成過程をアクターに分解し,最初の推論軌道を生成する。
本稿では,検索-R2がモデルスケール全体にわたって強力なRAGとRLベースのベースラインを一貫して上回ることを示す。
論文 参考訳（メタデータ） (2026-02-03T15:32:09Z) - Chaining the Evidence: Robust Reinforcement Learning for Deep Search Agents with Citation-Aware Rubric Rewards [60.0970117192627]
強化学習(Reinforcement Learning, RL)は, LLMに基づくディープサーチエージェントの強化に重要な手法である。
既存のアプローチは主にバイナリ結果の報酬に依存しており、エージェントの推論プロセスの包括性と事実性を捉えていない。
ディープサーチエージェントのための微粒化報酬フレームワークである textbfCitation-aware RL Rewards (CaRR) を提案する。
論文 参考訳（メタデータ） (2026-01-09T18:57:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。