論文の概要: HiEviDR-Bench: A Benchmark for Hierarchical Evidence Aggregation in Deep Research

• arxiv url: http://arxiv.org/abs/2607.25151v1
• Date: Mon, 27 Jul 2026 23:50:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-29 20:50:42.661972
• Title: HiEviDR-Bench: A Benchmark for Hierarchical Evidence Aggregation in Deep Research
• Title（参考訳）: HiEviDR-Bench: ディープラーニングにおける階層的エビデンス集約のベンチマーク
• Abstract要約: 我々は,Deep Researchにおける階層的エビデンス・アグリゲーションを評価するためのベンチマークであるHiEviDR-Benchを紹介する。 HiEviDR-Benchは、エビデンスの選択、クロスソースリンク、アグリゲーションをキャプチャする明示的なエビデンスグラフを持つ各インスタンスを表す。 報告品質,エビデンストレーサビリティ,引用精度,クレーム検証,回答正当性という5次元のトレーサビリティ指向評価フレームワークを開発した。
• 参考スコア（独自算出の注目度）: 52.87128503345243
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep research requires models to retrieve, connect, and synthesize evidence from large-scale heterogeneous sources to answer complex queries and produce analytical reports. Existing benchmarks mainly evaluate final outcomes, such as answer correctness, report quality, or citation alignment, while providing limited visibility into whether evidence is correctly selected, linked, and aggregated into supported claims and conclusions. To address this gap, we introduce HiEviDR-Bench, a benchmark for evaluating Hierarchical Evidence Aggregation in Deep Research. HiEviDR-Bench covers open-domain and academic-domain settings under both text-only and multimodal conditions, and represents each instance with an explicit evidence graph that captures evidence selection, cross-source linking, and aggregation from evidence to intermediate claims and final conclusions. Based on this formulation, we develop a traceability-oriented evaluation framework with five dimensions: report quality, evidence traceability, citation accuracy, claim verification, and answer correctness, together with a progressive gating mechanism for fine-grained error localization. HiEviDR-Bench contains 2,000 human-validated questions with evidence graphs across multiple difficulty levels. Experiments on 16 representative multimodal large language models show that, although many systems achieve strong report quality, their performance drops markedly on citation accuracy, claim construction, and answer correctness. Further analysis shows that the main bottlenecks lie in evidence identification and intermediate claim construction, revealing that strong surface-level report quality does not necessarily imply grounded multi-stage reasoning on our benchmark.
• Abstract（参考訳）: ディープリサーチは、複雑なクエリに答え、分析レポートを生成するために、大規模な異種源からの証拠を検索、接続、合成するモデルを必要とする。 既存のベンチマークは、回答の正しさ、報告の品質、引用アライメントなどの最終結果を評価し、証拠が正しく選択され、リンクされ、支持されたクレームと結論に集約されるかどうかを限定的に可視化する。 このギャップに対処するために,Deep Research における階層的エビデンス・アグリゲーションを評価するベンチマーク HiEviDR-Bench を紹介する。 HiEviDR-Benchは、テキストのみおよびマルチモーダル条件下でのオープンドメインと学術ドメインの設定をカバーし、エビデンスの選択、クロスソースリンク、エビデンスからのアグリゲーションから中間クレームと最終結論までをキャプチャーする明示的なエビデンスグラフで各インスタンスを表現している。 この定式化に基づいて,レポート品質,エビデンストレーサビリティ,引用精度,クレーム検証,解答正当性という5次元のトレーサビリティ指向評価フレームワークと,詳細な誤差ローカライゼーションのためのプログレッシブゲーティング機構を開発した。 HiEviDR-Benchには、複数の難易度にまたがるエビデンスグラフを持つ、2000人の有能な質問が含まれている。 16の代表的なマルチモーダル大言語モデルに対する実験では、多くのシステムがレポートの品質を強く達成しているが、その性能低下は、引用精度、クレーム構成、答えの正しさに大きく影響している。 さらに分析した結果, 証拠の同定と中間的クレーム構築に主要なボトルネックがあることが示され, 強い表面レベルの報告品質が必ずしもベンチマーク上のマルチステージ推論を根拠にしているとは限らないことが判明した。

関連論文リスト

• Mr.LHDR: A Benchmark for Multimodal Real-World Long-Horizon Deep Research Agents [72.19038675107662]
  ミスターL(Mr. L)は、検証可能な証拠の長い、既約の連鎖について、現実世界の深い研究を評価するためのベンチマークである。 各質問は隠されたノード関係グラフから構築され、平均12.1の中間結論を必要とする。
  論文  参考訳（メタデータ） (2026-09-10T09:47:44Z)
• GraphLoom: Reliability-Calibrated Graph Evidence Routing for Multimodal KG-RAG [4.035350563640088]
  信頼性校正型マルチモーダル知識グラフRAGフレームワークであるGraphLoomを,コンパクトかつ忠実なエビデンスルーティングのために提案する。 取得したすべての証拠をジェネレータに注入する代わりに、GraphLoomは信頼性に配慮したサブグラフ検索を実行する。 我々は、強力なマルチモーダルRAG、グラフ検索、オープンソースのビジョン言語ベースラインに対して、回答の品質と証拠の忠実さが一貫した向上を示す。
  論文  参考訳（メタデータ） (2026-08-15T06:02:23Z)
• TVIR: Building Deep Research Agents Towards Text--Visual Interleaved Report Generation [63.89818340842003]
  TVIR (Text-Visual Interleaved Report Generation) は、100名の専門家によるマルチモーダルディープリサーチタスクのベンチマークである。 TVIR-Agentは階層的なマルチエージェントフレームワークで、アウトラインの構築と画像検索のための強力なベースラインとして機能する。 テキストアセスメントとビジュアルアセスメントを組み合わせたデュアルパスアセスメントフレームワークを開発した。
  論文  参考訳（メタデータ） (2026-06-01T14:35:14Z)
• Towards Verifiable Multimodal Deep Research: A Multi-Agent Harness for Interleaved Report Generation [74.0621258662676]
  レポート生成のためのマルチエージェントハーネスであるPtahを提案する。 Ptahは計画、研究、執筆段階を通じて、ユーザクエリからレンダリングされたWebレポートまでのライフサイクルを編成する。 検証エージェントがハーネスの受け入れ機能として機能し、ワークフロー全体を通して事実的接地、引用の忠実性、相互の整合性を強制する。
  論文  参考訳（メタデータ） (2026-05-28T12:40:34Z)
• VISTAQA: Benchmarking Joint Visual Question Answering and Pixel-Level Evidence [26.0945130521806]
  既存のベンチマークでは、テキストによる回答の正当性または画素レベルのローカライゼーションを分離して評価している。 本稿では,視覚的質問応答に基づく自由形式の回答正当性と画素レベルの証拠を共同評価するためのベンチマークであるVISTAQAを紹介する。 GROVEは, テキストの精度と接地品質を, サンプルごとの幾何平均で組み合わせることで, 関節の正しさを強制する指標である。
  論文  参考訳（メタデータ） (2026-05-20T03:44:06Z)
• Stateful Evidence-Driven Retrieval-Augmented Generation with Iterative Reasoning [7.701766930531068]
  Stateful Evidence-Driven RAG with Iterative Reasoningは、質問応答をプログレッシブなエビデンス蓄積プロセスとしてモデル化するフレームワークである。 このフレームワークは、ギャップと競合を特定するためにエビデンス駆動の欠陥分析を行い、クエリを反復的に洗練し、その後の検索をガイドする。 複数の質問応答ベンチマークの実験では、標準的なRAGとマルチステップベースラインよりも一貫した改善が示されている。
  論文  参考訳（メタデータ） (2026-03-25T06:57:49Z)
• Multimodal Fact-Level Attribution for Verifiable Reasoning [80.60864342985748]
  マルチモーダル大言語モデル(MLLM)は、多段階推論と長文生成を含む実世界のタスクにますます利用されている。 既存のマルチモーダルグラウンドベンチマークと評価手法は、複雑なマルチモーダル推論における属性評価に失敗する。 我々は、直接観察以上の推論を必要とする設定において、ファクトレベルのマルチモーダル属性を評価するためのベンチマークであるMuRGAtを紹介する。
  論文  参考訳（メタデータ） (2026-02-12T03:10:02Z)
• MARA: A Multimodal Adaptive Retrieval-Augmented Framework for Document Question Answering [51.19392014547221]
  検索型マルチモーダル文書QAは,視覚的にリッチな文書から複雑なマルチモーダル構造を持つ関連情報を識別し,統合することを目的としている。 現在のアプローチは、サージェントなコンテンツを見渡すクエリに依存しないドキュメント表現に依存しています。 本稿では,クエリ適応生成を導入したMultimodal Adaptive Retrieval-Augmented (MARA)フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-01T12:27:40Z)
• MMDeepResearch-Bench: A Benchmark for Multimodal Deep Research Agents [37.98503734345155]
  MMDR-Bench(MMDR-Bench)は、21のドメインにまたがる140の専門的なタスクのベンチマークである。 MMDR-Benchは以前の設定と比較して、明確な証拠を用いたレポートスタイルの合成を強調している。 報告品質のためのF-LLM適応評価(FLAE)、引用的根拠のアライメントのためのTRACE(Trustworthy Retrieval-Aligned Citation Evaluation)、テキスト・視覚的整合性のためのMOSAIC(Multimodal Support-Aligned Integrity Check)を提案する。
  論文  参考訳（メタデータ） (2026-01-18T10:41:33Z)
• Unstructured Evidence Attribution for Long Context Query Focused Summarization [53.08341620504465]
  固定粒度の場合よりも、より関連性が高く一貫した証拠を得るために、非構造的(すなわち任意の長さのスパン)な証拠を抽出することを提案する。 既存のシステムが、非構造的証拠をコピーし、適切に引用するのにどのように苦労しているかを示す。
  論文  参考訳（メタデータ） (2025-02-20T09:57:42Z)
• Unleashing Potential of Evidence in Knowledge-Intensive Dialogue Generation [37.29386687125705]
  知識集約対話生成(u-EIDG)におけるエビデンスを効果的に統合する枠組みを提案する。 具体的には,Large Language Models (LLM) のパワーを活用し,ラベルのないデータから信頼性のあるエビデンスラベルを抽出する自動エビデンス生成フレームワークを提案する。 これらのエビデンスラベルを利用することで、検索されたパスから関連するエビデンスを効果的に識別する信頼性のあるエビデンス指標をトレーニングする。
  論文  参考訳（メタデータ） (2023-09-15T13:13:30Z)
• AmbiFC: Fact-Checking Ambiguous Claims with Evidence [57.7091560922174]
  実世界の情報ニーズから10kクレームを抽出したファクトチェックデータセットであるAmbiFCを提示する。 アンビFCの証拠に対する主張を比較する際に,曖昧さから生じる不一致を分析した。 我々は,このあいまいさをソフトラベルで予測するモデルを開発した。
  論文  参考訳（メタデータ） (2021-04-01T17:40:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。