論文の概要: Towards Knowledgeable Deep Research: Framework and Benchmark
- arxiv url: http://arxiv.org/abs/2604.07720v1
- Date: Thu, 09 Apr 2026 02:06:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-10 18:34:05.636631
- Title: Towards Knowledgeable Deep Research: Framework and Benchmark
- Title(参考訳): 知識に富んだディープリサーチに向けて:フレームワークとベンチマーク
- Authors: Wenxuan Liu, Zixuan Li, Bai Long, Chunmao Zhang, Fenghui Zhang, Zhuo Chen, Wei Li, Yuxin Zuo, Fei Wang, Bingbing Xu, Xuhui Jiang, Jin Zhang, Xiaolong Jin, Jiafeng Guo, Tat-Seng Chua, Xueqi Cheng,
- Abstract要約: 本稿では、DRエージェントが構造化知識と非構造化知識の両方でレポートを生成する必要があるKDR(Knowledable Deep Research)を紹介する。
テキスト,図形,テーブルをコヒーレントなマルチモーダルレポートに統合するマルチエージェントアーキテクチャであるHybrid Knowledge Analysis Framework (HKA)を提案する。
実験の結果,HKAは汎用および知識中心の指標において,既存のDRエージェントよりも一貫して優れていた。
- 参考スコア(独自算出の注目度): 104.62831153939352
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Deep Research (DR) requires LLM agents to autonomously perform multi-step information seeking, processing, and reasoning to generate comprehensive reports. In contrast to existing studies that mainly focus on unstructured web content, a more challenging DR task should additionally utilize structured knowledge to provide a solid data foundation, facilitate quantitative computation, and lead to in-depth analyses. In this paper, we refer to this novel task as Knowledgeable Deep Research (KDR), which requires DR agents to generate reports with both structured and unstructured knowledge. Furthermore, we propose the Hybrid Knowledge Analysis framework (HKA), a multi-agent architecture that reasons over both kinds of knowledge and integrates the texts, figures, and tables into coherent multimodal reports. The key design is the Structured Knowledge Analyzer, which utilizes both coding and vision-language models to produce figures, tables, and corresponding insights. To support systematic evaluation, we construct KDR-Bench, which covers 9 domains, includes 41 expert-level questions, and incorporates a large number of structured knowledge resources (e.g., 1,252 tables). We further annotate the main conclusions and key points for each question and propose three categories of evaluation metrics including general-purpose, knowledge-centric, and vision-enhanced ones. Experimental results demonstrate that HKA consistently outperforms most existing DR agents on general-purpose and knowledge-centric metrics, and even surpasses the Gemini DR agent on vision-enhanced metrics, highlighting its effectiveness in deep, structure-aware knowledge analysis. Finally, we hope this work can serve as a new foundation for structured knowledge analysis in DR agents and facilitate future multimodal DR studies.
- Abstract(参考訳): ディープリサーチ(Dep Research, DR)は、LLMエージェントが総合的なレポートを生成するために、多段階の情報検索、処理、推論を自律的に行うことを要求する。
構造化されていないWebコンテンツに主眼を置いている既存の研究とは対照的に、DRタスクは構造化知識を付加的に活用して、強固なデータ基盤を提供し、定量計算を容易にし、詳細な分析を行う必要がある。
本稿では,この新たな課題を,DRエージェントが構造化知識と非構造化知識の両方でレポートを生成する必要があるKDR(Knowledable Deep Research)と呼ぶ。
さらに,Hybrid Knowledge Analysis framework (HKA) を提案する。HKAはマルチエージェントアーキテクチャであり,テキスト,図,表をコヒーレントなマルチモーダルレポートに統合する。
鍵となる設計は構造化知識分析器(Structured Knowledge Analyzer)で、コーディングモデルと視覚言語モデルの両方を使って図形、表、およびそれに対応する洞察を生成する。
KDR-Benchは9つのドメインをカバーし,41のエキスパートレベルの質問を含むとともに,多数の構造化知識リソース(例えば,1,252テーブル)を組み込んでいる。
さらに、各質問に対する主要な結論とキーポイントを注釈し、汎用性、知識中心性、視覚強調性を含む評価指標の3つのカテゴリを提案する。
実験結果から,HKAは汎用的および知識中心の指標において既存のDRエージェントよりも一貫して優れており,また視力強化された指標ではジェミニDRエージェントよりも優れており,深い構造認識の知識分析におけるその効果が強調されている。
最後に、この研究がDRエージェントの構造的知識分析の新たな基盤となり、将来のマルチモーダルDR研究を促進することを願っている。
関連論文リスト
- Dr.Mi-Bench: A Modular-integrated Benchmark for Scientific Deep Research Agent [52.876617746453995]
ミ・ベンチ博士(Dr.Mi-Bench)は、科学深層研究(DR)エージェントのためのモジュール統合ベンチマークである。
Dr.Mi-Evalはモジュラー統合評価パラダイムである。
論文 参考訳(メタデータ) (2025-11-30T17:16:47Z) - Deep Research: A Systematic Survey [118.82795024422722]
Deep Research (DR)は、大規模言語モデルの推論能力と検索エンジンなどの外部ツールを組み合わせることを目的としている。
本調査は,深層研究システムの包括的かつ体系的な概要を提示する。
論文 参考訳(メタデータ) (2025-11-24T15:28:28Z) - ResearchRubrics: A Benchmark of Prompts and Rubrics For Evaluating Deep Research Agents [11.666923792025313]
Deep Research(DR)は、大規模言語モデルを活用して、オープンなクエリに対処する新興エージェントアプリケーションである。
我々はResearchRubricsを紹介します。これは2,800時間以上の人的労働時間で構築されたDRの標準ベンチマークです。
また,DRタスクを3つの軸(概念的幅,論理的ネスト,探索)に沿って分類する,新たな複雑性フレームワークを提案する。
論文 参考訳(メタデータ) (2025-11-10T23:07:14Z) - Understanding DeepResearch via Reports [41.60038455664918]
DeepResearchは、高度な推論とマルチツール統合を通じて専門家レベルの研究を行う、変革的なAIパラダイムである。
これらのシステムを評価することは、オープンな研究シナリオと、独立した機能に焦点を当てた既存のベンチマークのため、依然として極めて難しい。
DeepResearch-ReportEvalは、DeepResearchシステムを最も代表的なアウトプットで評価するための総合的なフレームワークである。
論文 参考訳(メタデータ) (2025-10-09T07:03:43Z) - A Rigorous Benchmark with Multidimensional Evaluation for Deep Research Agents: From Answers to Reports [24.09178055088843]
Deep Research Agents (DRA)は、タスク分解、クロスソース検索、多段階推論、構造化出力の能力を示す。
本稿では,DRAとレポートスタイルの応答に適した厳密なベンチマークと多次元評価フレームワークを提案する。
このフレームワークは、DRAが生成した長期レポートの総合的な評価を可能にし、セマンティックな品質、トピックの焦点、検索の信頼性のための総合的なスコアリング指標を統合する。
論文 参考訳(メタデータ) (2025-10-02T16:40:02Z) - KnowCoder-V2: Deep Knowledge Analysis [64.63893361811968]
我々は、深い知識分析能力を持つ深層研究を支援するtextbfKnowledgeable textbfDeep textbfResearch (textbfKDR) フレームワークを提案する。
大規模なドメイン関連データをオフラインで体系的な知識にプリプロセスするために、独立した知識組織フェーズを導入する。
そして、オンラインの方法で複雑な知識計算を行うための、新たな推論ステップによって、ディープリサーチを拡張します。
論文 参考訳(メタデータ) (2025-06-07T18:01:25Z) - StructRAG: Boosting Knowledge Intensive Reasoning of LLMs via Inference-time Hybrid Information Structurization [94.31508613367296]
Retrieval-augmented Generation(RAG)は、大規模言語モデル(LLM)を効果的に強化する鍵となる手段である。
本稿では,手前のタスクに対して最適な構造型を識別し,元の文書をこの構造化形式に再構成し,その結果に基づいて回答を推測するStructRAGを提案する。
実験の結果、StructRAGは最先端のパフォーマンスを実現し、特に挑戦的なシナリオに優れていた。
論文 参考訳(メタデータ) (2024-10-11T13:52:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。