論文の概要: IG-Search: Step-Level Information Gain Rewards for Search-Augmented Reasoning

• arxiv url: http://arxiv.org/abs/2604.15148v1
• Date: Thu, 16 Apr 2026 15:22:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-17 21:29:31.982497
• Title: IG-Search: Step-Level Information Gain Rewards for Search-Augmented Reasoning
• Title（参考訳）: IG-Search:検索強化推論のためのステップレベル情報ゲインリワード
• Authors: Zihan Liang, Yufei Ma, Ben Chen, Zhipeng Qian, Huangyu Dai, Lingtao Mao, Xuxin Zhang, Chenyi Lei, Wenwu Ou,
• Abstract要約: 我々は、情報ゲイン(IG)に基づくステップレベルの報酬を導入する強化学習フレームワークIG-Searchを提案する。 検索ステップ毎に、IGは、検索した文書が、ランダム文書の反実的ベースラインに対して、ゴールド回答に対するモデルの信頼性をどれだけ向上するかを測定する。 実験の結果、IG-SearchはQwen2.5-3Bで平均0.430のEMを達成し、最も高い軌道レベルのベースライン(MR-Search)を1.6ポイント上回った。
• 参考スコア（独自算出の注目度）: 8.584560411480647
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning has emerged as an effective paradigm for training large language models to perform search-augmented reasoning. However, existing approaches rely on trajectory-level rewards that cannot distinguish precise search queries from vague or redundant ones within a rollout group, and collapse to a near-zero gradient signal whenever every sampled trajectory fails. In this paper, we propose IG-Search, a reinforcement learning framework that introduces a step-level reward based on Information Gain (IG). For each search step, IG measures how much the retrieved documents improve the model's confidence in the gold answer relative to a counterfactual baseline of random documents, thereby reflecting the effectiveness of the underlying search query. This signal is fed back to the corresponding search-query tokens via per-token advantage modulation in GRPO, enabling fine-grained, step-level credit assignment within a rollout. Unlike prior step-level methods that require either externally annotated intermediate supervision or shared environment states across trajectories, IG-Search derives its signals from the policy's own generation probabilities, requiring no intermediate annotations beyond standard question-answer pairs. Experiments on seven single-hop and multi-hop QA benchmarks demonstrate that IG-Search achieves an average EM of 0.430 with Qwen2.5-3B, outperforming the strongest trajectory-level baseline (MR-Search) by 1.6 points and the step-level method GiGPO by 0.9 points on average across benchmarks, with particularly pronounced gains on multi-hop reasoning tasks. Despite introducing a dense step-level signal, IG-Search adds only ~6.4% to per-step training wall-clock time over the trajectory-level baseline and leaves inference latency unchanged, while still providing a meaningful gradient signal even when every sampled trajectory answers incorrectly.
• Abstract（参考訳）: 強化学習は、大規模言語モデルを学習して探索強化推論を行うための効果的なパラダイムとして登場した。 しかし、既存のアプローチでは、厳密な探索クエリとロールアウトグループ内の曖昧なあるいは冗長なクエリを区別できないトラジェクトリレベルの報酬に依存しており、サンプリングされたトラジェクトリが失敗するたびにほぼゼロの勾配信号に崩壊する。 本稿では、情報ゲイン(IG)に基づくステップレベルの報酬を導入する強化学習フレームワークIG-Searchを提案する。 検索ステップ毎に、IGは、検索した文書が、ランダム文書の事実上のベースラインに対して、ゴールド回答に対するモデルの信頼性をどの程度向上するかを測定し、基礎となる検索クエリの有効性を反映する。 この信号はGRPOのトークンごとのアドバンテージ変調を通じて対応する検索クエリトークンにフィードバックされ、ロールアウト内でのステップレベルクレジットの詳細な割り当てを可能にする。 IG-Searchは、外部に注釈付けされた中間的監督や、トラジェクトリ間で共有された環境状態を必要とする以前のステップレベルの手法とは異なり、その信号はポリシーの世代的確率から導出され、標準の質問と回答のペア以上の中間的アノテーションは必要としない。 7つのシングルホップおよびマルチホップQAベンチマークの実験は、IG-SearchがQwen2.5-3Bで平均0.430のEMを達成することを示した。 密度の高いステップレベルの信号を導入したにもかかわらず、IG-Searchは、軌跡レベルの基準線上でのウォールタイムのトレーニングにわずか6.4%しか加えず、推論遅延は変わらないが、サンプリングされた全ての軌跡が正しく答えていない場合でも有意義な勾配信号を提供する。

関連論文リスト

• MM-Doc-R1: Training Agents for Long Document Visual Question Answering through Multi-turn Reinforcement Learning [74.07254720088926]
  長文の視覚的質問応答に対処するために,エージェント型視覚認識ワークフローを利用する新しいフレームワークMM-Doc-R1を紹介する。 GRPOのような既存のマルチターン強化学習(RL)アルゴリズムにおけるベースライン推定バイアスに対処する、類似性に基づくポリシー最適化(SPO)を提案する。 MMLongbench-Docベンチマークの実験では、MM-Doc-R1が以前のベースラインを10.4%上回る結果となった。
  論文  参考訳（メタデータ） (2026-04-15T07:39:08Z)
• Truncated Step-Level Sampling with Process Rewards for Retrieval-Augmented Reasoning [32.295907409325615]
  強化学習による検索エンジンの推論のための大規模言語モデルの訓練は、信用代行問題によって妨げられる。 2つの相補的なアイデアに基づいて構築されたフレームワークであるSLATEを提案する。 7つのQAベンチマークの実験では、SLATEがスパース・リワードとプロセス・リワードのベースラインを一貫して上回っていることが確認された。
  論文  参考訳（メタデータ） (2026-02-26T19:05:40Z)
• Search-P1: Path-Centric Reward Shaping for Stable and Efficient Agentic RAG Training [11.136092421166097]
  Agentic RAGは、外部知識を取り入れることで、大きな言語モデルを強化する。 現在のRLベースのトレーニング手法は、中間信号を捨てるスパース結果報酬に悩まされている。 本稿では,エージェントRAGトレーニングにパス中心の報酬形成を導入するフレームワークであるSearch-P1を提案する。
  論文  参考訳（メタデータ） (2026-02-26T03:31:00Z)
• Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
  暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。 Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。 SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
  論文  参考訳（メタデータ） (2025-09-25T14:05:55Z)
• REX-RAG: Reasoning Exploration with Policy Correction in Retrieval-Augmented Generation [35.0649927279081]
  強化学習(RL)は、大規模言語モデル(LLM)が複雑な推論タスクを実行できるための強力なパラダイムとして浮上している。 本稿では、厳格な政策学習を維持しつつ、代替推論経路を探求するフレームワークであるREX-RAGを提案する。 その結果,REX-RAG は Qwen2.5-3B では5.1%, Qwen2.5-7B では3.6% であることがわかった。
  論文  参考訳（メタデータ） (2025-08-11T16:25:25Z)
• Chain-of-Retrieval Augmented Generation [91.02950964802454]
  本稿では,o1-like RAGモデルを学習し,最終回答を生成する前に段階的に関連情報を抽出・推論する手法を提案する。 提案手法であるCoRAGは,進化状態に基づいて動的にクエリを再構成する。
  論文  参考訳（メタデータ） (2025-01-24T09:12:52Z)
• Advancing Adversarial Suffix Transfer Learning on Aligned Large Language Models [21.96773736059112]
  言語モデル(LLM)は、悪意のあるユーザによる誤用による安全性上の懸念に直面している。 近年のレッドチームの取り組みは、勾配に基づく探索アルゴリズムGreedy Coordinate Gradient (GCG) を用いて、LDMをジェイルブレイクできる敵サフィックスを特定している。 本稿では,2段階の移動学習フレームワークであるDeGCGを提案する。
  論文  参考訳（メタデータ） (2024-08-27T08:38:48Z)
• Learning to Rank in Generative Retrieval [62.91492903161522]
  生成的検索は、検索対象として関連する通路の識別子文字列を生成することを目的としている。 我々はLTRGRと呼ばれる生成検索のための学習 torankフレームワークを提案する。 このフレームワークは、現在の生成的検索システムを強化するために、追加の学習からランクまでのトレーニングフェーズのみを必要とする。
  論文  参考訳（メタデータ） (2023-06-27T05:48:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。