論文の概要: SOAR: Source-Aware Reinforcement Learning with Precise Credit Assignment for Search Agents

• arxiv url: http://arxiv.org/abs/2610.13157v1
• Date: Fri, 09 Oct 2026 07:45:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.460093
• Title: SOAR: Source-Aware Reinforcement Learning with Precise Credit Assignment for Search Agents
• Title（参考訳）: SOAR: 検索エージェントの正確なクレジット割り当てによるソースアウェア強化学習
• Abstract要約: 捜査員の強化学習は、しばしば証拠の製作に悩まされる。 この製法は、信頼できない内的知識に対する過度な信頼から生じると我々は主張する。 我々は、モノリシック推論をソース-明示的な軌道に変換するパラダイムであるSOARを提案する。
• 参考スコア（独自算出の注目度）: 71.61782222110747
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning (RL) for search agents often suffers from evidence fabrication, a failure mode where agents bypass external information ($E_{ext}$) and fabricate an incorrect answer. We argue that this fabrication arises from an over-reliance on unreliable internal knowledge ($E_{int}$) as shortcuts due to the inherent opacity of reasoning trajectories. To address this, we propose SOAR (SOurce-Aware Reinforcement learning), a paradigm that transforms monolithic reasoning into source-explicit trajectories. SOAR (i) disentangles $E_{ext}$ and $E_{int}$ into parallel, observable streams via a Source-Aware Workflow, and (ii) incorporates Source-Consistent Reward to guide the policy evolution. By making information-source attribution explicit, SOAR enables precise credit assignment between different knowledge streams. Evaluations show that SOAR outperforms baselines on 3B and 7B backbones by 7.3% and 5.4%, while reducing evidence fabrication by 74.8%. These confirm that SOAR significantly improves performance on knowledge-intensive benchmarks while effectively mitigating evidence fabrication, fostering more faithful and grounded reasoning with enhanced robustness.
• Abstract（参考訳）: 検索エージェントのための強化学習(RL)は、しばしば証拠作成(エージェントが外部情報(E_{ext}$)をバイパスし、誤った回答を作る失敗モード)に悩まされる。 この構成は、推論軌跡の固有の不透明さによるショートカットとして、信頼できない内部知識(E_{int}$)の過度な信頼から生じると論じる。 これを解決するために、モノリシック推論をソース-明示的な軌道に変換するパラダイムであるSOAR(SOurce-Aware Reinforcement Learning)を提案する。 SOAR (i)$E_{ext}$と$E_{int}$を、Source-Aware Workflowを介して並列で観測可能なストリームに切り離し、 (II)政策の進化を導くために、ソース・一貫性・リワード(source-Consistent Reward)を組み込む。 情報ソースの属性を明確にすることで、SOARは異なる知識ストリーム間の正確なクレジット割り当てを可能にします。 SOARは、3Bと7Bのバックボーンのベースラインを7.3%と5.4%で上回り、証拠の製作を74.8%削減している。 これらのことは、SOARが知識集約型ベンチマークのパフォーマンスを著しく改善し、エビデンスの作成を効果的に緩和し、堅牢性を高めたより忠実で根底的な推論を促進することを確認している。

関連論文リスト

• DeepRefine: Agent-Compiled Knowledge Refinement via Reinforcement Learning [60.35032268606525]
  エージェントコンパイルされた知識ベースは、下流タスクにおいて、大きな言語モデル(LLM)エージェントに対して永続的な外部知識を提供する。 しかし、その品質は、不完全性、不完全性、浮揚性によって体系的に制限される
  論文  参考訳（メタデータ） (2026-05-11T12:48:31Z)
• Ace-Skill: Bootstrapping Multimodal Agents with Prioritized and Clustered Evolution [57.04954428528267]
  我々は,自己進化型マルチモーダルエージェントのためのロールアウトアロケーションと知識組織を共同で最適化する,共同進化型フレームワークであるAce-Skillを紹介する。 Ace-Skillは、プライオリティ化されたサンプルと遅延分解能のトラッキングを組み合わせることで、情報的かつ十分にマスターされたサンプルにロールアウトを集中させる。 サンプリングと組織化を改善することで、Ace-Skillは自己進化を、より情報に富んだロールアウトが高品質な知識を生み出す、活発なサイクルに変えます。
  論文  参考訳（メタデータ） (2026-05-09T11:12:54Z)
• Beyond Reasoning: Reinforcement Learning Unlocks Parametric Knowledge in LLMs [59.62441340813425]
  我々は、強化学習がパラメトリック知識の直接的リコールを改善するかどうかを検討する。 3つのモデルファミリと複数の事実QAベンチマークで、RLの平均相対利得は27%である。 機械的には、RLは主に新しい事実を得るのではなく、既存の知識の確率質量を再分配する。
  論文  参考訳（メタデータ） (2026-05-08T02:40:12Z)
• Reinforce to Learn, Elect to Reason: A Dual Paradigm for Video Reasoning [17.78591587115095]
  Reinforce to Learn, Elect to Reason (RLER) は、信頼できる回答から証拠を得るために学習を分離する二重パラダイムである。 RLERはすべてのベンチマークで最先端を達成し、ベースモデルよりも平均6.3%改善されている。
  論文  参考訳（メタデータ） (2026-04-06T03:01:52Z)
• Leveraging LLM Parametric Knowledge for Fact Checking without Retrieval [60.25608870901428]
  信頼性は、大規模言語モデル(LLM)上に構築されたエージェントAIシステムの中核研究課題である 本研究では,任意の自然言語クレームの検証に焦点をあて,検索なしで事実チェックを行うタスクを提案する。
  論文  参考訳（メタデータ） (2026-03-05T18:42:51Z)
• IR$^3$: Contrastive Inverse Reinforcement Learning for Interpretable Detection and Mitigation of Reward Hacking [67.20568716300272]
  Reinforcement Learning from Human Feedback (RLHF)は強力なLDMアライメントを実現するが、報酬ハッキングを導入することができる。 IR3(Interpretable Reward Reconstruction and Rectification)は,RLHFモデルを用いた暗黙的目標をリバースエンジニアリングし,解釈し,外科的に修復するフレームワークである。 我々は、IR3が地道報酬と0.89の相関を達成し、90%以上の精度でハッキング機能を識別し、元のモデルの3%以内の機能を維持しながら、ハッキングの挙動を著しく低減することを示した。
  論文  参考訳（メタデータ） (2026-02-23T01:14:53Z)
• LIR$^3$AG: A Lightweight Rerank Reasoning Strategy Framework for Retrieval-Augmented Generation [12.734342155120979]
  RAGマルチホップQAタスクにおける推論モデルの推論戦略について検討する。 その結果, 推論モデルでは, 検索知識と内部知識を統合化するための構造化戦略が採用されていることがわかった。 本稿では,RAGのための軽量Rerank Reasoning Strategy Frameworkを提案する。
  論文  参考訳（メタデータ） (2025-12-20T11:53:37Z)
• PoU: Proof-of-Use to Counter Tool-Call Hacking in DeepResearch Agents [24.502121097996294]
  Retrieval-augmented Generation (RAG) エージェントは、外部ツールを通じて、自律的な情報検索機能を備えた大規模言語モデルを拡張する。 以前見過ごされた障害モードであるTool-Call Hacking(ツールコールハッキング)を識別します。 提案するProof-of-Use(PoU)フレームワークは,検索された証拠,推論トレース,最終回答間の因果関係の検証を行う。
  論文  参考訳（メタデータ） (2025-10-13T02:45:37Z)
• Learning to Extract Rational Evidence via Reinforcement Learning for Retrieval-Augmented Generation [37.47571308389908]
  Retrieval-Augmented Generation (RAG) はLarge Language Models (LLM) の精度を効果的に向上させる それまでの手法では、明確な思考なしに証拠を直接抽出し、重要な手がかりをフィルタリングし、一般化に苦慮する危険性がある。 本稿では,(1)検索内容中の潜在的手がかりを明示的に推論し,(2)質問に答えるのに有用なキー手がかりを省略しないよう意識的に抽出することによる合理的証拠の抽出を学習するEvi Omniを提案する。
  論文  参考訳（メタデータ） (2025-07-21T13:03:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。