論文の概要: Towards Trustworthy Report Generation: A Deep Research Agent with Progressive Confidence Estimation and Calibration

• arxiv url: http://arxiv.org/abs/2604.05952v1
• Date: Tue, 07 Apr 2026 14:46:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-08 17:42:09.888712
• Title: Towards Trustworthy Report Generation: A Deep Research Agent with Progressive Confidence Estimation and Calibration
• Title（参考訳）: 信頼できるレポート生成に向けて: 進歩的信頼度推定と校正によるディープリサーチエージェント
• Authors: Yi Yuan, Xuhong Wang, Shanzhe Lei,
• Abstract要約: 本稿では,レポート生成パイプライン内でのプログレッシブな信頼度推定とキャリブレーションを取り入れた新しいディープリサーチエージェントを提案する。 実験結果とケーススタディにより,本手法は解釈可能性を大幅に向上し,ユーザ信頼を著しく向上させることが示された。
• 参考スコア（独自算出の注目度）: 2.8268726984243497
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As agent-based systems continue to evolve, deep research agents are capable of automatically generating research-style reports across diverse domains. While these agents promise to streamline information synthesis and knowledge exploration, existing evaluation frameworks-typically based on subjective dimensions-fail to capture a critical aspect of report quality: trustworthiness. In open-ended research scenarios where ground-truth answers are unavailable, current evaluation methods cannot effectively measure the epistemic confidence of generated content, making calibration difficult and leaving users susceptible to misleading or hallucinated information. To address this limitation, we propose a novel deep research agent that incorporates progressive confidence estimation and calibration within the report generation pipeline. Our system leverages a deliberative search model, featuring deep retrieval and multi-hop reasoning to ground outputs in verifiable evidence while assigning confidence scores to individual claims. Combined with a carefully designed workflow, this approach produces trustworthy reports with enhanced transparency. Experimental results and case studies demonstrate that our method substantially improves interpretability and significantly increases user trust.
• Abstract（参考訳）: エージェントベースのシステムが進化を続けるにつれて、ディープリサーチエージェントはさまざまなドメインにまたがる研究スタイルのレポートを自動的に生成することができる。 これらのエージェントは情報合成と知識探索の合理化を約束するが、既存の評価フレームワークは典型的には主観的次元に基づいており、レポート品質の重要な側面を捉えている。 地味な回答が得られないオープンエンド研究シナリオでは、現在の評価手法では、生成されたコンテンツのエピステマティックな信頼度を効果的に測定することができず、校正を困難にし、誤解を招く情報や幻覚的情報に敏感なユーザーを残している。 この制限に対処するため,レポート生成パイプライン内に進行的信頼度推定とキャリブレーションを組み込んだ新しいディープリサーチエージェントを提案する。 本システムは,信頼度スコアを個々のクレームに割り当てつつ,検証された証拠のアウトプットを根拠として,深層検索とマルチホップ推論を特徴とする熟考探索モデルを活用する。 慎重に設計されたワークフローと組み合わせることで、透明性を高めた信頼できるレポートを生成する。 実験結果とケーススタディにより,本手法は解釈可能性を大幅に向上し,ユーザ信頼を著しく向上させることが示された。

関連論文リスト

• Leveraging LLM Parametric Knowledge for Fact Checking without Retrieval [60.25608870901428]
  信頼性は、大規模言語モデル(LLM)上に構築されたエージェントAIシステムの中核研究課題である 本研究では,任意の自然言語クレームの検証に焦点をあて,検索なしで事実チェックを行うタスクを提案する。
  論文  参考訳（メタデータ） (2026-03-05T18:42:51Z)
• BrowseConf: Confidence-Guided Test-Time Scaling for Web Agents [58.05949210993854]
  本研究では,長期にわたる行動の後,言語化された信頼度スコアを用いて,検索エージェントが自身の信頼を伝達できるかどうかを検討する。 本研究では,信頼度スコアを用いて回答の質を判断し,信頼度レベルに達するまで再度試すテスト時間スケーリング(TTS)手法を提案する。
  論文  参考訳（メタデータ） (2025-10-27T15:58:51Z)
• Mind the Generation Process: Fine-Grained Confidence Estimation During LLM Generation [63.49409574310576]
  大規模言語モデル(LLM)は自信過剰を示し、信頼度の高いスコアを誤った予測に割り当てる。 本研究では,テキスト生成中に高精度できめ細かな信頼スコアを提供する信頼度推定手法であるFineCEを紹介する。 論文で使用されたコードとすべてのベースラインはGitHubで公開されている。
  論文  参考訳（メタデータ） (2025-08-16T13:29:35Z)
• Aurora: Are Android Malware Classifiers Reliable and Stable under Distribution Shift? [51.12297424766236]
  AURORAは、その信頼性と運用上のレジリエンスに基づいて、マルウェア分類器を評価するためのフレームワークである。 AURORAは、ポイント・イン・タイムのパフォーマンスを超えるように設計されたメトリクスのセットによって補完される。 さまざまなドリフトのデータセットにわたるSOTAフレームワークの脆弱性は、ホワイトボードへの復帰の必要性を示唆している。
  論文  参考訳（メタデータ） (2025-05-28T20:22:43Z)
• ParamMute: Suppressing Knowledge-Critical FFNs for Faithful Retrieval-Augmented Generation [91.20492150248106]
  本研究では,不誠実な生成の背後にある内部メカニズムを解明し,不均等に活性化される中深度フィードフォワードネットワーク(FFN)のサブセットを同定する。 本研究では,不信感関連FFNの活性化を抑制することにより,文脈的忠実度を向上させるフレームワークであるParametric Knowledge Mutingを提案する。 実験結果から,ParamMuteはCoFaithfulQAと確立されたConFiQAベンチマークの両方の信頼度を大幅に向上し,パラメトリックメモリへの依存度を大幅に低下させることが示された。
  論文  参考訳（メタデータ） (2025-02-21T15:50:41Z)
• Confidence Under the Hood: An Investigation into the Confidence-Probability Alignment in Large Language Models [14.5291643644017]
  信頼性・確率アライメントの概念を紹介します。 モデルの内部と信頼感の一致を調査する。 分析したモデルのうち、OpenAIのGPT-4は信頼性と信頼性のアライメントが最強であった。
  論文  参考訳（メタデータ） (2024-05-25T15:42:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。