論文の概要: Who is the Agent to Blame? Localizing Faithfulness and Citation Mistakes in Agentic Deep Research

• arxiv url: http://arxiv.org/abs/2608.24306v1
• Date: Tue, 25 Aug 2026 09:34:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-26 14:09:34.92389
• Title: Who is the Agent to Blame? Localizing Faithfulness and Citation Mistakes in Agentic Deep Research
• Title（参考訳）: ブロームのエージェントとは何か : エージェントディープリサーチにおける信仰と扇動のミスの局在化
• Abstract要約: ディープリサーチ(DR)システムは、Webから情報を検索して合成する複数のエージェントを編成することで、長い形式の引用レポートを生成する。 循環はこれらの報告の忠実さを評価するための主要なメカニズムであるが、現在のDRシステムでは引用のリコールが不十分である。 そこで本稿では,エージェントが各エラーをローカルにテストすることで,各エラーをピンポイントで検出する手法を提案する。
• 参考スコア（独自算出の注目度）: 75.8770212601511
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep research (DR) systems produce long-form cited reports by orchestrating multiple agents that search and synthesize information from the web. Citations are the primary mechanism for evaluating the faithfulness of these reports, yet current DR systems exhibit poor citation recall. Moreover, improving citation recall is challenging because DR systems are complex multi-agent architectures where information passes through agents like a telephone game, and both content and citations can get corrupted along the way. We propose an evaluation method that pinpoints which agent introduced each error by locally testing agent invocations for faithfulness and verifiability relative to their own inputs. Furthermore, we propose a four-type taxonomy to categorize the discovered errors: hallucination, uncited input reliance, uncited output, or insufficient citations. Applying our method to three top-ranked open-source DR systems, we obtain actionable diagnostics. Almost every agent makes a lot of mistakes with the exception being those that summarize a single document. We find that the dominant error type varies systematically across agents, where the orchestrator mistakes are mostly citation-related. We find that 84.7% of final-report errors in AI-Q originate at the orchestrator, roughly 31% of them hallucinations and the rest citation mistakes. Guided by these insights, we demonstrate that two simple interventions raise citation recall by 5% without degrading output quality.
• Abstract（参考訳）: ディープリサーチ(DR)システムは、Webから情報を検索して合成する複数のエージェントを編成することで、長い形式の引用レポートを生成する。 循環はこれらの報告の忠実さを評価するための主要なメカニズムであるが、現在のDRシステムでは引用のリコールが不十分である。 さらに、DRシステムは電話ゲームのようなエージェントを介して情報を伝達する複雑なマルチエージェントアーキテクチャであるため、引用リコールの改善は困難であり、途中でコンテンツと引用の両方が破損する可能性がある。 そこで本稿では,エージェントが各エラーをローカルにテストすることで,各エラーをピンポイントで検出する手法を提案する。 さらに, 幻覚, 暗黙の入力依存, 暗黙の出力, あるいは不十分な引用という, 発見された誤りを分類する4種類の分類法を提案する。 本手法を3つのトップランクのオープンソースDRシステムに適用し,実用的な診断方法を得た。 ほとんどすべてのエージェントが、単一のドキュメントをまとめたものを除いて、多くの間違いを犯します。 我々は,オーケストレータのミスが主に引用関連であるエージェント間で,支配的なエラータイプが系統的に異なることを発見した。 AI-Qの最終報告エラーの84.7%は、オーケストレータで発生し、その約31%が幻覚、残りは引用ミスである。 これらの知見から,2つの簡単な介入が,出力品質を劣化させることなく,引用リコールを5%向上させることを示した。

関連論文リスト

• Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
  AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。 コードには手書きのコードはなく、人間による注釈もない。 エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
  論文  参考訳（メタデータ） (2026-07-17T17:41:16Z)
• Writing Bug Reports for Software Repair Agents: What Information Matters Most? [45.10027008889631]
  バグレポートのエージェント対応について検討する。 バグレポートを表す441の課題に注目します。 その結果,エージェントファーストレポートは,エージェントの検索・修理スペースを狭める情報から最も恩恵を受けることが示唆された。
  論文  参考訳（メタデータ） (2026-07-10T16:00:57Z)
• What Makes a Good Bug Report for an AI Agent? [8.139494830308486]
  エージェントのための良いバグレポートは、重複するが、人間にとって良い報告ではない。 修正提案、複製スクリプト、リポジトリのソースコード、ローカライゼーション情報は、高い解像度の確率に関連付けられている。 人間の読者にとって長年強調されてきたいくつかの特質、例えば、自然言語のステップで読みやすい記述を再現し、より少ない成功にはほとんど寄与しないか、あるいは相関している。
  論文  参考訳（メタデータ） (2026-07-08T16:13:15Z)
• How Do LLMs Cite? A Mechanistic Interpretation of Attribution in Retrieval-Augmented Generation [3.4562767039451674]
  ファクトイドの質問に答えながらインライン・引用を付加するかを,大規模言語モデルがどう判断するかを示す。 以上より,PopQAでは,これらの臨界頭部のみを増幅または減衰させ,解答精度を損なうことなく69%の急激な頭部を除去できることが示唆された。 結果は、モデルが明らかな推論と内部の計算経路を切断する可能性を明らかにした。
  論文  参考訳（メタデータ） (2026-06-09T07:06:13Z)
• Where Do Deep-Research Agents Go Wrong? Span-Level Error Localization in Agent Trajectories [51.22051230894794]
  最終回答に基づく評価は、エージェントが成功するかどうかを示すが、どの部分の軌道が答えを信頼できないかを示すものではない。 2つのエージェントフレームワーク、3つのバックボーンモデル、3つのベンチマークから2,790の実際のトラジェクトリを収集し、生ログをセマンティックスパンに変換し、エキスパートレビューを通じて有害なエラースパンを注釈付けします。 我々は,エージェントの主張を追跡するクレーム中心の監査フレームワークであるDRIFTを提案する。
  論文  参考訳（メタデータ） (2026-06-01T10:50:26Z)
• BibAgent: An Agentic Framework for Traceable Miscitation Detection in Scientific Literature [21.872874595027824]
  BibAgentは、自動引用検証のためのスケーラブルでエンドツーエンドのエージェントフレームワークである。 検索、推論、アダプティブ・エビデンス・アグリゲーションを統合し、アクセス可能で有料のソースに戦略を適用する。 以上の結果から,BibAgentは引用精度と解釈可能性において,最先端のLarge Language Model(LLM)のベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2026-01-12T16:30:45Z)
• DeepTRACE: Auditing Deep Research AI Systems for Tracking Reliability Across Citations and Evidence [50.97612134791782]
  生成検索エンジンと深層研究のLLMエージェントは、信頼できるソース・グラウンドの合成を約束するが、ユーザーは常に過剰な自信、弱いソーシング、紛らわしい引用の慣行に遭遇する。 DeepTRACEは、社会技術的に基礎をおく新しい監査フレームワークで、コミュニティが特定した失敗事例を、回答テキスト、情報源、引用にまたがる8つの測定可能な次元に変換する。
  論文  参考訳（メタデータ） (2025-09-02T00:32:38Z)
• MCP-Orchestrated Multi-Agent System for Automated Disinformation Detection [84.75972919995398]
  本稿では,関係抽出を用いてニュース記事の偽情報を検出するマルチエージェントシステムを提案する。 提案したエージェントAIシステムは、(i)機械学習エージェント(ロジスティック回帰)、(ii)Wikipedia知識チェックエージェント、(iv)Webスクラッドデータアナライザの4つのエージェントを組み合わせる。 その結果、マルチエージェントアンサンブルはF1スコア0.964で95.3%の精度を達成し、個々のエージェントや従来のアプローチよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2025-08-13T19:14:48Z)
• Which Agent Causes Task Failures and When? On Automated Failure Attribution of LLM Multi-Agent Systems [50.29939179830491]
  LLMマルチエージェントシステムにおける障害帰属は、まだ調査が過小評価されており、労働集約的である。 本稿では,3つの自動故障帰属手法の開発と評価を行い,その欠点と欠点を要約する。 最良の方法は、障害に応答するエージェントを特定する際に53.5%の精度を達成するが、故障の特定には14.2%しか役に立たない。
  論文  参考訳（メタデータ） (2025-04-30T23:09:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。