論文の概要: DeepTRACE: Auditing Deep Research AI Systems for Tracking Reliability Across Citations and Evidence

• arxiv url: http://arxiv.org/abs/2509.04499v1
• Date: Tue, 02 Sep 2025 00:32:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-08 14:27:25.335695
• Title: DeepTRACE: Auditing Deep Research AI Systems for Tracking Reliability Across Citations and Evidence
• Title（参考訳）: DeepTRACE: サイテーションとエビデンスを越えて信頼性を追跡するためのディープリサーチAIシステムの検討
• Authors: Pranav Narayanan Venkit, Philippe Laban, Yilun Zhou, Kung-Hsiang Huang, Yixin Mao, Chien-Sheng Wu,
• Abstract要約: 生成検索エンジンと深層研究のLLMエージェントは、信頼できるソース・グラウンドの合成を約束するが、ユーザーは常に過剰な自信、弱いソーシング、紛らわしい引用の慣行に遭遇する。 DeepTRACEは、社会技術的に基礎をおく新しい監査フレームワークで、コミュニティが特定した失敗事例を、回答テキスト、情報源、引用にまたがる8つの測定可能な次元に変換する。
• 参考スコア（独自算出の注目度）: 50.97612134791782
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative search engines and deep research LLM agents promise trustworthy, source-grounded synthesis, yet users regularly encounter overconfidence, weak sourcing, and confusing citation practices. We introduce DeepTRACE, a novel sociotechnically grounded audit framework that turns prior community-identified failure cases into eight measurable dimensions spanning answer text, sources, and citations. DeepTRACE uses statement-level analysis (decomposition, confidence scoring) and builds citation and factual-support matrices to audit how systems reason with and attribute evidence end-to-end. Using automated extraction pipelines for popular public models (e.g., GPT-4.5/5, You.com, Perplexity, Copilot/Bing, Gemini) and an LLM-judge with validated agreement to human raters, we evaluate both web-search engines and deep-research configurations. Our findings show that generative search engines and deep research agents frequently produce one-sided, highly confident responses on debate queries and include large fractions of statements unsupported by their own listed sources. Deep-research configurations reduce overconfidence and can attain high citation thoroughness, but they remain highly one-sided on debate queries and still exhibit large fractions of unsupported statements, with citation accuracy ranging from 40--80% across systems.
• Abstract（参考訳）: 生成検索エンジンと深層研究のLLMエージェントは、信頼できるソース・グラウンドの合成を約束するが、ユーザーは常に過剰な自信、弱いソーシング、紛らわしい引用の慣行に遭遇する。 DeepTRACEは、社会技術的に基礎をおく新しい監査フレームワークで、コミュニティが特定した失敗事例を、回答テキスト、情報源、引用にまたがる8つの測定可能な次元に変換する。 DeepTRACEは、ステートメントレベルの分析(分解、信頼性スコアリング)を使用し、引用および事実支援行列を構築して、システムがどのように原因を判断し、エンドツーエンドの証拠を属性化するかを監査する。 一般的なパブリックモデル(例えば、GPT-4.5/5、You.com、Perplexity、Copilot/Bing、Gemini)の自動抽出パイプラインと、人間のレーダとの適合性を検証するLCM-judgeを使用して、Web検索エンジンとDeep-Research構成の両方を評価する。 この結果から, 生成検索エンジンと深層調査エージェントは, 議論クエリに対して, 片面, 高い信頼性の応答を頻繁に生成し, それぞれの情報源が支持する文が多数含まれていることが示唆された。 Deep-Researchの設定は、過剰な自信を減らし、高い引用完全性を達成することができるが、議論のクェリに非常に片面的であり、まだサポートされていないステートメントのかなりの部分を示しており、引用精度はシステム全体で40～80%である。

関連論文リスト

• ReportBench: Evaluating Deep Research Agents via Academic Survey Tasks [14.371010711040304]
  ReportBenchは、大規模言語モデル(LLM)によって生成された研究レポートの内容品質を評価するために設計されたベンチマークである。 本評価は,(1)引用文献の質と妥当性,(2)報告内容の忠実さと妥当性の2つの重要な側面に焦点をあてる。
  論文  参考訳（メタデータ） (2025-08-14T03:33:43Z)
• BrowseComp-Plus: A More Fair and Transparent Evaluation Benchmark of Deep-Research Agent [74.10138164281618]
  BrowseComp-Plus(BrowseComp-Plus)は、BrowseCompから派生したベンチマークである。 このベンチマークは、ディープリサーチエージェントと検索方法の総合的な評価とアンタングル解析を可能にする。
  論文  参考訳（メタデータ） (2025-08-08T17:55:11Z)
• DeepResearch Bench: A Comprehensive Benchmark for Deep Research Agents [30.768405850755602]
  DeepResearch Benchは100のPhDレベルの研究タスクからなるベンチマークである。 ディープリサーチエージェントの評価は本質的に複雑で、労働集約的である。 本稿では,人間の判断に強く適合する2つの新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-06-13T13:17:32Z)
• WebThinker: Empowering Large Reasoning Models with Deep Research Capability [60.81964498221952]
  WebThinkerは、大規模な推論モデルに、Webを自律的に検索し、Webページをナビゲートし、推論プロセス中に研究レポートをドラフトする権限を与えるディープリサーチエージェントである。 また、textbf Autonomous Think-Search-and-Draft戦略を採用しており、モデルがシームレスに推論、情報収集、レポート作成をリアルタイムで行うことができる。 我々のアプローチは複雑なシナリオにおけるLEMの信頼性と適用性を高め、より有能で多目的な深層研究システムへの道を開く。
  論文  参考訳（メタデータ） (2025-04-30T16:25:25Z)
• The Extractive-Abstractive Spectrum: Uncovering Verifiability Trade-offs in LLM Generations [40.498553309980764]
  情報共有ツールの妥当性と実用性の間の相互作用について検討する。 ユーザは,大規模言語モデルよりも検索エンジンの方が高いクエリを好んでいることがわかった。
  論文  参考訳（メタデータ） (2024-11-26T12:34:52Z)
• Evaluating Robustness of Generative Search Engine on Adversarial Factual Questions [89.35345649303451]
  生成検索エンジンは、人々がオンラインで情報を求める方法を変える可能性を秘めている。 しかし,既存の大規模言語モデル(LLM)が支援する生成検索エンジンからの応答は必ずしも正確ではない。 検索強化世代は、敵がシステム全体を回避できるため、安全上の懸念を増す。
  論文  参考訳（メタデータ） (2024-02-25T11:22:19Z)
• Evaluating Verifiability in Generative Search Engines [70.59477647085387]
  生成検索エンジンは、インラインの引用とともに、ユーザークエリへの応答を直接生成する。 我々は,一般的な4つの生成検索エンジンの評価を行う。 既存の生成検索エンジンからの応答は流動的であり、情報的に見えるが、しばしばサポートされていない文や不正確な引用を含んでいる。
  論文  参考訳（メタデータ） (2023-04-19T17:56:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。