論文の概要: Mr.LHDR: A Benchmark for Multimodal Real-World Long-Horizon Deep Research Agents

• arxiv url: http://arxiv.org/abs/2609.11318v1
• Date: Thu, 10 Sep 2026 09:47:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-11 23:53:35.29604
• Title: Mr.LHDR: A Benchmark for Multimodal Real-World Long-Horizon Deep Research Agents
• Title（参考訳）: Mr.LHDR:マルチモーダル・リアル・ワールド・ロング・ホライゾン・ディープ・リサーチ・エージェントのベンチマーク
• Abstract要約: Mr.Lは、検証可能な証拠の長い、既約の連鎖について、現実世界の深い研究を評価するためのベンチマークである。 各質問は隠されたノード関係グラフから構築され、平均12.1の中間結論を必要とする。
• 参考スコア（独自算出の注目度）: 72.19038675107662
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep research agents are increasingly capable of web search, tool use, multimodal evidence analysis, and information synthesis. However, existing benchmarks mainly evaluate medium-horizon exploration and rarely test whether agents can sustain long, dependency-heavy research processes. We introduce Mr.LHDR (Multimodal real-world Long-Horizon Deep Research), a benchmark for evaluating real-world deep research over long, irreducible chains of interdependent evidence across eight categories. Each question is constructed from a hidden Node-Relation graph and requires an average of 12.1 necessary intermediate conclusions with a mean dependency depth of 10.4 before reaching a short, unique, and verifiable answer. Questions incorporate multimodal evidence, including images, maps, PDFs, logos, charts, tables, and video frames, with at least one non-text element that changes the reasoning state. Mr.LHDR evaluates both final answers and the correctness of intermediate conclusions under annotated dependencies. We evaluate general models, deep research systems, and agent frameworks using Overall Accuracy (OA), Strict Accuracy (SA), Checklist Score (CS), and Dependency-Aware Checklist Score (DACS). Results show that even the strongest system achieves only 43.1% OA and 34.3% SA, indicating that final-answer accuracy substantially overestimates complete research success. Removing images reduces DACS by 12.6 points, demonstrating the importance of multimodal evidence, while SA consistently declines as reasoning chains become longer. These findings reveal sustained, dependency-consistent evidence integration, rather than isolated fact retrieval, as a key bottleneck for current deep research agents.
• Abstract（参考訳）: ディープリサーチエージェントは、Web検索、ツールの使用、マルチモーダルエビデンス分析、情報合成の能力が高まっている。 しかし、既存のベンチマークは、主に中水平探査を評価し、エージェントが長期にわたる依存性の多い研究プロセスを維持できるかどうかを検査することは滅多にない。 我々は,Mr.LHDR(Multimodal real-world Long-Horizon Deep Research)を紹介する。これは,8つのカテゴリにまたがる相互依存的な証拠の鎖の長い非既約鎖について,現実世界のディープリサーチを評価するためのベンチマークである。 各質問は、隠れたノード関係グラフから構築され、平均的な依存性深さが10.4である平均的な12.1の中間結論を必要とする。 質問には、画像、地図、PDF、ロゴ、チャート、テーブル、ビデオフレームを含むマルチモーダルな証拠が含まれており、少なくとも1つの非テキスト要素は推論状態を変化させている。 Mr.LHDRは、注釈付き依存の下での最終回答と中間結論の正しさの両方を評価する。 我々は,総合的精度 (OA) , Strict Accuracy (SA) , Checklist Score (CS) および Dependency-Aware Checklist Score (DACS) を用いた一般モデル, ディープリサーチシステム, エージェントフレームワークの評価を行った。 その結果、最強のシステムでさえ43.1%のOAと34.3%のSAしか達成せず、最終回答の精度が研究全体の成功をかなり過大評価していることがわかった。 画像の除去はDACSを12.6ポイント削減し、マルチモーダルな証拠の重要性を示す一方、SAは推論鎖が長くなるにつれて一貫して減少する。 これらの結果から, 孤立した事実検索ではなく, 持続的, 従属的な証拠統合が, 現在の深層研究機関にとって重要なボトルネックであることが明らかとなった。

関連論文リスト

• Diagnosing Search Behavior and Failure Modes in Long-Horizon Search Agents [63.2133766267587]
  ディープサーチエージェントは、証拠収集のために検索クエリを反復的に発行することで、難解な情報検索質問に答える。 本研究では,長軸探索エージェントの軌跡レベル診断を用いてこれらの質問について検討する。 我々は,各探索ステップで得られた証拠を評価し,エージェントの行動の2つの段階を分離する。
  論文  参考訳（メタデータ） (2026-08-03T08:46:48Z)
• HiEviDR-Bench: A Benchmark for Hierarchical Evidence Aggregation in Deep Research [52.87128503345243]
  我々は,Deep Researchにおける階層的エビデンス・アグリゲーションを評価するためのベンチマークであるHiEviDR-Benchを紹介する。 HiEviDR-Benchは、エビデンスの選択、クロスソースリンク、アグリゲーションをキャプチャする明示的なエビデンスグラフを持つ各インスタンスを表す。 報告品質,エビデンストレーサビリティ,引用精度,クレーム検証,回答正当性という5次元のトレーサビリティ指向評価フレームワークを開発した。
  論文  参考訳（メタデータ） (2026-07-27T23:50:46Z)
• Towards Verifiable Multimodal Deep Research: A Multi-Agent Harness for Interleaved Report Generation [74.0621258662676]
  レポート生成のためのマルチエージェントハーネスであるPtahを提案する。 Ptahは計画、研究、執筆段階を通じて、ユーザクエリからレンダリングされたWebレポートまでのライフサイクルを編成する。 検証エージェントがハーネスの受け入れ機能として機能し、ワークフロー全体を通して事実的接地、引用の忠実性、相互の整合性を強制する。
  論文  参考訳（メタデータ） (2026-05-28T12:40:34Z)
• MiroEval: Benchmarking Multimodal Deep Research Agents in Process and Outcome [109.15093810810214]
  MiroEvalはディープリサーチシステムのベンチマークおよび評価フレームワークである。 ベンチマークは、実際のユーザニーズに基づいて100のタスクで構成されている。 提案した評価スイートは3つの相補的な次元に沿って深層研究システムを評価する。
  論文  参考訳（メタデータ） (2026-03-30T13:16:03Z)
• MMDeepResearch-Bench: A Benchmark for Multimodal Deep Research Agents [37.98503734345155]
  MMDR-Bench(MMDR-Bench)は、21のドメインにまたがる140の専門的なタスクのベンチマークである。 MMDR-Benchは以前の設定と比較して、明確な証拠を用いたレポートスタイルの合成を強調している。 報告品質のためのF-LLM適応評価(FLAE)、引用的根拠のアライメントのためのTRACE(Trustworthy Retrieval-Aligned Citation Evaluation)、テキスト・視覚的整合性のためのMOSAIC(Multimodal Support-Aligned Integrity Check)を提案する。
  論文  参考訳（メタデータ） (2026-01-18T10:41:33Z)
• Characterizing Deep Research: A Benchmark and Formal Definition [24.523394260858822]
  本稿では,Deep Research (DR) タスクの形式的特徴付けと,DRシステムの性能評価のためのベンチマークを提案する。 ディープリサーチのコアとなる特徴は、レポートスタイルのアウトプットの生成ではなく、検索プロセスで必要となる概念に対する高いファンアウトである、と我々は主張する。
  論文  参考訳（メタデータ） (2025-08-06T08:09:28Z)
• Benchmarking Deep Search over Heterogeneous Enterprise Data [73.55304268238474]
  検索強化生成(RAG)の形式を評価するための新しいベンチマークを提案する。 RAGは、多種多様な、しかし関連するソースに対して、ソースを意識したマルチホップ推論を必要とする。 製品計画、開発、サポートステージをまたいだビジネスをシミュレートする合成データパイプラインを使用して構築します。
  論文  参考訳（メタデータ） (2025-06-29T08:34:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。