論文の概要: PoU: Proof-of-Use to Counter Tool-Call Hacking in DeepResearch Agents

• arxiv url: http://arxiv.org/abs/2510.10931v1
• Date: Mon, 13 Oct 2025 02:45:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 18:06:30.159042
• Title: PoU: Proof-of-Use to Counter Tool-Call Hacking in DeepResearch Agents
• Title（参考訳）: PoU:DeepResearchエージェントのツールコールハッキング対策
• Authors: SHengjie Ma, Chenlong Deng, Jiaxin Mao, Jiadeng Huang, Teng Wang, Junjie Wu, Changwang Zhang, Jun wang,
• Abstract要約: Retrieval-augmented Generation (RAG) エージェントは、外部ツールを通じて、自律的な情報検索機能を備えた大規模言語モデルを拡張する。 以前見過ごされた障害モードであるTool-Call Hacking(ツールコールハッキング)を識別します。 提案するProof-of-Use(PoU)フレームワークは,検索された証拠,推論トレース,最終回答間の因果関係の検証を行う。
• 参考スコア（独自算出の注目度）: 24.502121097996294
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Retrieval-augmented generation (RAG) agents, such as recent DeepResearch-style systems, extend large language models (LLMs) with autonomous information-seeking capabilities through external tools. While reinforcement learning (RL) has enabled impressive multi-step reasoning, we identify a previously overlooked failure mode, Tool-Call Hacking, where agents inflate reward signals by issuing superficially correct tool calls without genuinely leveraging the retrieved evidence. This results in (i) mode collapse into repetitive reliance on a single source and (ii) spurious grounding, where answers are only weakly supported by cited content. To address this, we propose Proof-of-Use (PoU), an evidence-grounded RL framework that enforces verifiable causal links between retrieved evidence, reasoning traces, and final answers. PoU operationalizes this through a unified step-wise contract combining syntactic citation validation, perturbation-based sensitivity rewards, and answer-evidence alignment objectives, ensuring that tool usage remains both interpretable and functionally grounded. Across seven QA benchmarks spanning in-domain, out-of-domain, and out-of-tool-distribution settings, PoU consistently outperforms strong DeepResearch baselines in factual accuracy, evidence faithfulness, and tool-routing balance. These findings highlight the necessity of grounding RL-trained agents not merely in task outcomes but in the causal use of retrieved information, offering a principled path toward trustworthy retrieval-augmented reasoning.
• Abstract（参考訳）: Retrieval-augmented Generation (RAG)エージェント、例えば最近のDeepResearchスタイルのシステムでは、外部ツールを通じて大規模言語モデル(LLM)を自律的な情報検索機能で拡張している。 強化学習(RL)は印象的なマルチステップ推論を実現する一方で、これまで見過ごされていた障害モードであるTool-Call Hackingを識別する。 その結果は (i)モードが1つのソースに繰り返し依存する状態に崩壊し、 (二)引用内容によってのみ回答が弱く抑えられる刺激的な接点 提案するProof-of-Use(PoU)フレームワークは, 得られた証拠の因果関係, 証拠の因果関係, 手がかりの因果関係, 最終回答の検証を行う。 PoUは、統語的引用検証、摂動に基づく感度報酬、および回答証拠のアライメント目的を組み合わせた統合されたステップワイズ契約によってこれを運用し、ツールの使用が解釈可能かつ機能的に基盤化されていることを保証します。 ドメイン内、ドメイン外、およびアウト・オブ・ツール・ディストリビューション設定にまたがる7つのQAベンチマークにおいて、PoUは、事実上の正確性、証拠の忠実性、ツールルーティングバランスにおいて、強力なDeepResearchベースラインを一貫して上回っている。 これらの知見は,RLを訓練したエージェントをタスクアウトだけではなく,検索情報の因果的利用の必要性を浮き彫りにして,信頼性の高い検索強化推論への道筋を提供する。

関連論文リスト

• Veri-R1: Toward Precise and Faithful Claim Verification via Online Reinforcement Learning [53.05161493434908]
  大規模言語モデル(LLM)によるクレーム検証は、その強力な推論能力と透過的な検証プロセスのため、近年注目を集めている。 我々は、LLMが検索エンジンと対話し、その計画、検索、推論行動を明確に形作る報酬信号を受け取ることができるオンライン強化学習フレームワークであるVeri-R1を紹介した。 実験の結果、Veri-R1は最大30%の精度で関節の精度を向上し、エビデンススコアを2倍にし、より大きなモデルを上回ることが示されている。
  論文  参考訳（メタデータ） (2025-10-02T11:49:48Z)
• ReSeek: A Self-Correcting Framework for Search Agents with Instructive Rewards [18.92867715736209]
  本稿では,検索エージェントを訓練するための自己修正フレームワークであるReSeekを提案する。 本フレームワークでは,誤探索経路からエージェントを動的に識別・復元する自己補正機構を導入している。 既存のデータセットにおけるデータ汚染のリスクを軽減するため、FictionalHotを導入する。
  論文  参考訳（メタデータ） (2025-10-01T06:44:28Z)
• Improving Context Fidelity via Native Retrieval-Augmented Reasoning [35.50952279309109]
  大規模言語モデル(LLM)は、しばしば文脈の忠実さと闘い、提供された情報に基づいて質問に答えるときに矛盾する答えを生み出す。 提案するCAREは, LLMに対して, モデル独自の検索機能を用いて, 推論プロセス内での文脈内証拠を明示的に統合するように教える, 新たなネイティブ検索拡張推論フレームワークである。 提案手法では,限定ラベル付きエビデンスデータが必要であり,推論チェーン内の戦略的に検索されたインコンテキストトークンを通じて,検索精度と回答生成性能を著しく向上させる。
  論文  参考訳（メタデータ） (2025-09-17T04:28:07Z)
• EviNote-RAG: Enhancing RAG Models via Answer-Supportive Evidence Notes [39.61443457073034]
  EviNote-RAGは検索ノート・アンサーのワークフローに従うフレームワークである。 生の外部情報を直接推論する代わりに、モデルが最初にサポート・エビデンス・ノートを生成する。 EviNote-RAGは最先端のパフォーマンスを実現し、回答の正確性、トレーニングの安定性、堅牢性、効率性を向上する。
  論文  参考訳（メタデータ） (2025-08-31T14:44:45Z)
• ReVeal: Self-Evolving Code Agents via Iterative Generation-Verification [6.983144806500892]
  ReVealは、明示的な自己検証とツールベースの評価でコード生成をインターリーブするマルチターン強化学習フレームワークである。 モデルの生成と検証機能の共進化をRLトレーニングを通じて促進し、ベースモデルの推論境界を広げる。 また、より深い推論規則へのテストタイムスケーリングを可能にし、推論中にターン数が増加するにつれて、コードは一貫して進化する。
  論文  参考訳（メタデータ） (2025-06-13T03:41:04Z)
• Trust, But Verify: A Self-Verification Approach to Reinforcement Learning with Verifiable Rewards [67.86091419220816]
  大規模言語モデル(LLM)は複雑な推論において非常に有望である。 一般的な問題は表面的な自己回帰であり、モデルが自身の出力をしっかりと検証できない。 本稿では、RISE(Reinforce Reasoning with Self-Verification)という新しいオンラインRLフレームワークについて紹介する。
  論文  参考訳（メタデータ） (2025-05-19T17:59:31Z)
• Retrieval is Not Enough: Enhancing RAG Reasoning through Test-Time Critique and Optimization [58.390885294401066]
  Retrieval-augmented Generation (RAG) は知識基底型大規模言語モデル(LLM)を実現するためのパラダイムとして広く採用されている。 RAGパイプラインは、モデル推論が得られた証拠と整合性を維持するのに失敗することが多く、事実上の矛盾や否定的な結論につながる。 批判駆動アライメント(CDA)に基づく新しい反復的枠組みであるAlignRAGを提案する。 AlignRAG-autoは、動的に洗練を終了し、批判的な反復回数を事前に指定する必要がなくなる自律的な変種である。
  論文  参考訳（メタデータ） (2025-04-21T04:56:47Z)
• ParamMute: Suppressing Knowledge-Critical FFNs for Faithful Retrieval-Augmented Generation [91.20492150248106]
  本研究では,不誠実な生成の背後にある内部メカニズムを解明し,不均等に活性化される中深度フィードフォワードネットワーク(FFN)のサブセットを同定する。 本研究では,不信感関連FFNの活性化を抑制することにより,文脈的忠実度を向上させるフレームワークであるParametric Knowledge Mutingを提案する。 実験結果から,ParamMuteはCoFaithfulQAと確立されたConFiQAベンチマークの両方の信頼度を大幅に向上し,パラメトリックメモリへの依存度を大幅に低下させることが示された。
  論文  参考訳（メタデータ） (2025-02-21T15:50:41Z)
• TrustRAG: Enhancing Robustness and Trustworthiness in Retrieval-Augmented Generation [31.231916859341865]
  TrustRAGは、生成のために取得される前に、悪意のある、無関係なコンテンツを体系的にフィルタリングするフレームワークである。 TrustRAGは、検索精度、効率、攻撃抵抗を大幅に改善する。
  論文  参考訳（メタデータ） (2025-01-01T15:57:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。