論文の概要: Grounded Credit Assignment in Reinforcement Learning for Multi-Turn Search Agents

• arxiv url: http://arxiv.org/abs/2610.23148v1
• Date: Fri, 16 Oct 2026 08:43:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.833945
• Title: Grounded Credit Assignment in Reinforcement Learning for Multi-Turn Search Agents
• Title（参考訳）: マルチターンサーチエージェントの強化学習におけるグラウンドド・クレジット・アサインメント
• Abstract要約: Search-R1は7つのQAベンチマークの正確性を高めるが、Bamboogleでは84.0%から42.9%となっている。 検索と回答を別々に行うために,グラウンドド・クレジット・アサインメント(GCA)を提案する。
• 参考スコア（独自算出の注目度）: 49.14597017870827
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Outcome-reward reinforcement learning such as GRPO gives every token of a search-agent rollout the same advantage, although the rollout exercises two capabilities: finding evidence and using it. We show that accuracy improves without grounding: Search-R1 raises accuracy on all seven QA benchmarks, yet on Bamboogle the evidence-supported share of correct answers falls from 84.0% to 42.9%. We attribute this to GRPO's credit assignment: rollouts that retrieve answer-bearing evidence are favoured in aggregate only in proportion to their accuracy gain over the rest, a grounding gap that answering from memory or misusing evidence shrinks or reverses. To address this, we propose Grounded Credit Assignment (GCA), which uses verifiable sub-outcomes (evidence retrieval and answer correctness) to correct search and answer credit separately: a wrong answer is blamed more than the search that found the evidence, and a correct answer that bypasses retrievable evidence is credited less. Never negative on evidence-finding search, the correction does not shrink with the grounding gap; capped at 10% of each token's advantage, it never overrides the outcome signal. Without extra models, rollouts, or training stages, GCA improves average EM over Search-R1 by 5.7 (Qwen2.5-3B) and 6.3 points (Qwen3-30B-A3B) and raises this share from 76.9% to 93.4%.
• Abstract（参考訳）: GRPOのようなアウトカム・リワード強化学習は、検索エージェントのロールアウトのトークンにも同じ利点を与えるが、ロールアウトは2つの能力がある。 Search-R1は7つのQAベンチマークの正確性を高めるが、Bamboogleでは84.0%から42.9%となっている。 我々は、GRPOのクレジット・アサインによるものとみなす: 答えを持つ証拠を回収するロールアウトは、残りの部分の精度向上に比例して、集合的にのみ好まれる。 そこで本研究では,検証可能なサブアウトカム(証拠検索と回答正当性)を用いて,検証されたサブアウトカム(証拠検索と回答正当性)を別々に検索と回答の信用を補正するグラウンドド・クレジット・アサインメント(GCA)を提案する。 エビデンスフィリングサーチでは否定せず、補正は接地ギャップで縮小せず、各トークンの利点の10%に抑えられ、結果シグナルを上書きすることはない。 追加モデルやロールアウト、トレーニング段階がなければ、GCAは検索-R1の平均EMを5.7ポイント(Qwen2.5-3B)と6.3ポイント(Qwen3-30B-A3B)で改善し、76.9%から93.4%に引き上げる。

関連論文リスト

• RAG-Stress: Probing the Limits of Evidence Reliance in Retrieval-Augmented Generation [8.913068656400208]
  RAG-Stress(英語版)は、検索強化世代における証拠依存の限界を調べるための診断プロトコルである。 本研究では,各モデルの質問に対する誤解率(MR)を,検索なしで正確に解答する。 我々は、APIモデル、オープンモデル、強化学習で訓練された検索エージェントにまたがる15のシステムを評価する。
  論文  参考訳（メタデータ） (2026-10-08T03:40:48Z)
• False Frontiers: Diagnosing and Mitigating Co-Cheating in Self-Evolving Search Agents [10.945353446262255]
  自己進化型検索エージェントは、質問を生成するプロジェクタとそれに対応する解決器を共同で最適化することで、独自のトレーニングカリキュラムを構築する。 このクローズドループは、私たちがコヒーティングと呼ぶフェールモードを導入します。プロポーサとソルバは、共有エラーにますます同意します。 本稿では,提案者の資料をグループAとグループBに分割するCrossFitを提案する。 CrossFitは、標準結合型自己進化よりも8.8ポイント、8.4ポイント、検索-R1よりも平均パフォーマンスを向上する
  論文  参考訳（メタデータ） (2026-09-30T06:41:51Z)
• Visual sensitivity is not claim retractability: persistence-aware credit assignment for multimodal reinforcement learning [3.27594822320331]
  RLトレーニングの前に、4つのマルチモーダル推論ベンチマークにおけるQwen2.5-VL-7Bの正しい応答の27.81%には、イメージがサポートしていないという少なくとも1つの直接的な視覚的主張が含まれている。 Evidence-Function Sensitivity (EFS) を分離するために、インターベンション画像の下で同じ応答を再スコアする固定ロールアウト対応診断を導入する。 DAPO と VPPO の下では、全体としてはより引きずりやすいが、支持された主張はより持続的になり、EFSO はこの劣化を伴わずに EFS を上昇させる。
  論文  参考訳（メタデータ） (2026-09-29T02:52:07Z)
• Reward Hacking Challenges Oversight of Autonomous Research Agents [104.38175629103235]
  自律的な研究エージェントは実験を設計し、結果を評価し、レポートを書き、科学的結果とそれを支持する証拠の両方を制御できる。 これは、意図した目標を達成することなく、報酬基準を満たす、報酬ハックのリスクを生み出す。 そこで本研究では,ハッキングが許可された場合,その方法がいかに効果的かつ検出可能か,LCMレビューパネルが意思決定と理由を返却した場合にどのように適応するか,などについて検討する。
  論文  参考訳（メタデータ） (2026-09-23T17:54:01Z)
• What Changes When Fact-Verification Scores Improve? Evidence and Answer Accounting Across Trained Verifiers and LLMs [10.720985236309462]
  FEVEROUSでは、厳格なスコアは、提出された証拠の正しい回答と完全な注釈付き証拠グループによるクレームの割合である。 4つの訓練されたDeBERTaチェックポイントと7,890のクレームで、DCUFの証拠をUnifEEの証拠に置き換え、厳格なスコアを9.61ポイント引き上げた。 この効果は、予め規定されたクロスデータセットの基準に満たないが、いくつかの間隔は2点の小さな効果境界を超えて広がる。
  論文  参考訳（メタデータ） (2026-09-22T21:02:40Z)
• Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning [55.264863369127774]
  現在の方法では、それぞれの正しいロールアウトを単一の報酬ビットに減らし、隠れた状態間で共有される幾何学的構造を無視している。 本稿では,RLトレーニングにおけるアンカートークンにおける正ロールアウトの最終層を,トレーニングと推論の両方においてゼロオーバーヘッドで整列する補助損失関数Hidden-Alignを提案する。 8つの数学的推論ベンチマークでは、Hidden-AlignはDAPOベースラインの平均パス@1をQwen3-1.7B, 4B, 14Bで3.8, 6.2, 5.4ポイント改善し、3つのスケールで一貫したパス@kゲインを得る。
  論文  参考訳（メタデータ） (2026-06-02T06:51:15Z)
• Step-wise Rubric Rewards for LLM Reasoning [72.17879367869503]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデルの推論を改善するために広く使われている。 正しい回答の18.2%は間違っているが、肯定的な報酬がある。 6つの数学的推論ベンチマークで、SRaRはRaRの平均精度を3.57ポイント改善した。
  論文  参考訳（メタデータ） (2026-05-17T07:08:14Z)
• Beyond Reasoning: Reinforcement Learning Unlocks Parametric Knowledge in LLMs [59.62441340813425]
  我々は、強化学習がパラメトリック知識の直接的リコールを改善するかどうかを検討する。 3つのモデルファミリと複数の事実QAベンチマークで、RLの平均相対利得は27%である。 機械的には、RLは主に新しい事実を得るのではなく、既存の知識の確率質量を再分配する。
  論文  参考訳（メタデータ） (2026-05-08T02:40:12Z)
• CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
  検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。 エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。 CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
  論文  参考訳（メタデータ） (2025-12-22T16:34:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。