論文の概要: Benchmarking Hybrid Deep Research Across Database Querying and Web Search

• arxiv url: http://arxiv.org/abs/2609.09410v1
• Date: Tue, 08 Sep 2026 20:05:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.806349
• Title: Benchmarking Hybrid Deep Research Across Database Querying and Web Search
• Title（参考訳）: データベースクエリとWeb検索におけるハイブリッドディープリサーチのベンチマーク
• Abstract要約: HybridDeepResearchは、Web検索とリレーショナルデータベースの両方が完全な検証可能な回答を形成する必要がある最初のベンチマークである。 GLM-5.2、Claude-Sonnet-4.6、GPT-5のような最先端モデルはハードサブセットで50-54%のPass@8しか達成していない。 その結果、方向推論は平行交叉よりもかなり難しいことが判明した。
• 参考スコア（独自算出の注目度）: 35.12550152156569
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While autonomous agents have made significant strides in "deep research" by iteratively navigating the open web to synthesize information, real-world problem-solving is rarely confined to a single environment. Complex analytical tasks inherently require agents to weave together evidence from both ambiguous unstructured text (e.g., the open web) and highly precise structured data (e.g., relational databases). However, existing benchmarks evaluate these modalities in isolation, failing to capture the critical "handoff" - the ability to preserve constraints when moving evidence between systems. We introduce HybridDeepResearch, to our knowledge the first deep-research benchmark that requires both web search and SQL to form a complete, verifiable answer. The benchmark contains 380 tool-dependent tasks grounded in LiveSQLBench-Base-Lite databases and public web corpora, validated through automated checks and human review, and covering three reasoning patterns: SQL2S, S2SQL, and Parallel. Evaluations across proprietary and open-weight models under various agentic scaffolds reveal that even state-of-the-art models like GLM-5.2, Claude-Sonnet-4.6 and GPT-5 achieve only about 50-54% Pass@8 on the hard subset. Notably, results show that directional reasoning is substantially more difficult than parallel intersection, highlighting that bridging structured and unstructured information spaces without losing constraints remains a major open challenge for agentic systems. Code and datasets are publicly available at GitHub (https://github.com/Snowflake-AI-Research/HybridDeepResearch) and Hugging Face (https://huggingface.co/datasets/Snowflake/HybridDeepResearch).
• Abstract（参考訳）: 自律的なエージェントは、情報の合成のためにオープンウェブを反復的にナビゲートすることで「ディープリサーチ」に大きな進歩を遂げてきたが、現実の問題解決は単一の環境に限られることは滅多にない。 複雑な分析タスクは、エージェントがあいまいな非構造化テキスト(例:オープンウェブ)と高度に正確な構造化データ(例:リレーショナルデータベース)の両方から証拠を織り込む必要がある。 しかしながら、既存のベンチマークでは、これらのモダリティを独立して評価しており、システム間で証拠を移動する際に制約を保存する能力である重要な"ハンドオフ"をキャプチャできなかった。 私たちはHybridDeepResearchを導入し、Web検索とSQLの両方が完全な検証可能な回答を形成する必要がある最初のディープリサーチベンチマークを知識にしました。 ベンチマークには、LiveSQLBench-Base-LiteデータベースとパブリックWebコーパスに基盤を置く380のツール依存タスク、自動チェックとヒューマンレビューによる検証、SQL2S、S2SQL、Parallelの3つの推論パターンが含まれている。 GLM-5.2、Claude-Sonnet-4.6、GPT-5のような最先端のモデルでさえ、ハードサブセットでは50-54%のPass@8しか達成していない。 特に、方向推論は並列交叉よりもかなり難しいことを示し、制約を失わずにブリッジングされた情報空間と非構造化された情報空間がエージェントシステムにとって大きな課題であることを示している。 コードとデータセットはGitHub(https://github.com/Snowflake-AI-Research/HybridDeepResearch)とHugging Face(https://huggingface.co/datasets/Snowflake/HybridDeepResearch)で公開されている。

関連論文リスト

• DuMate-DeepResearch: An Auditable Multi-Agent System with Recursive Search and Rubric-Grounded Reasoning [58.09293442211248]
  Deep Research(DR)は、複雑でオープンな研究課題に取り組むための新しいエージェントパラダイムとして登場した。 本稿では,Qianfan Agent Foundry上に構築されたマルチエージェントDRフレームワークであるDuMate-DeepResearchを紹介する。
  論文  参考訳（メタデータ） (2026-06-05T14:10:48Z)
• Web2BigTable: A Bi-Level Multi-Agent LLM System for Internet-Scale Information Search and Extraction [38.55682016152131]
  textbfWeb2BigTableはWebツーテーブル検索のためのマルチエージェントフレームワークである。 Web2BigTableは、WideSearchの新たな最先端をセットし、Avg@4 Success Rate of textbf38.50$7.5times$ second at 5.10、Row F1 of textbf63.53 (+25.03 over second best)、Item F1 of textbf80.12 (+14.42 over second best)に到達した。 また、XBench の深度指向探索にも一般化する。
  論文  参考訳（メタデータ） (2026-04-29T21:43:16Z)
• ORBIT: Scalable and Verifiable Data Generation for Search Agents on a Tight Budget [56.6320292944541]
  ORBITは20Kの推論集約クエリと短い検証可能な回答を備えたトレーニングデータセットである。 私たちのフレームワーク、コード、データセットはオープンソースで公開されています。
  論文  参考訳（メタデータ） (2026-04-01T17:42:41Z)
• APEX-SQL: Talking to the data via Agentic Exploration for Text-to-SQL [39.76924093980244]
  APEX-動詞化は、パラダイムを受動的翻訳からエージェント探索に移行するフレームワークである。 提案フレームワークでは,実データにおける基底モデル推論に仮説検証ループを用いる。
  論文  参考訳（メタデータ） (2026-02-11T07:50:47Z)
• Enterprise Deep Research: Steerable Multi-Agent Deep Research for Enterprise Analytics [75.4712507893024]
  Enterprise Deep Research (EDR)は、適応的なクエリ分解のためのマスタープランニングエージェントを統合するマルチエージェントシステムである。 4つの専門的な検索エージェント(General, Academic, GitHub, LinkedIn)と、データ駆動インサイトのための可視化エージェントも含まれている。 EDRは、オプショナル・イン・ザ・ループ・ステアリング・ガイダンスによる研究の方向性を反映する。
  論文  参考訳（メタデータ） (2025-10-20T17:55:11Z)
• Open Data Synthesis For Deep Research [17.22470203913576]
  我々は、階層的制約満足度問題として検証可能な回答でDeep Researchタスクを定式化する。 既存のベンチマーク(Natural Questions、HotpotQAなど)は、この複雑さを捉えていない。 スケーラブルでスケーラブルな複雑なDeep ResearchタスクであるInfoSeekを紹介します。
  論文  参考訳（メタデータ） (2025-08-30T06:02:56Z)
• Benchmarking Deep Search over Heterogeneous Enterprise Data [73.55304268238474]
  検索強化生成(RAG)の形式を評価するための新しいベンチマークを提案する。 RAGは、多種多様な、しかし関連するソースに対して、ソースを意識したマルチホップ推論を必要とする。 製品計画、開発、サポートステージをまたいだビジネスをシミュレートする合成データパイプラインを使用して構築します。
  論文  参考訳（メタデータ） (2025-06-29T08:34:59Z)
• Text2VectorSQL: Towards a Unified Interface for Vector Search and SQL Queries [36.92547259037192]
  構造化されていないデータの拡散は、従来のデータベースインフラに根本的な課題をもたらす。 Text-to-BIRDは構造化データへのアクセスを民主化しているが、セマンティッククエリやマルチモーダルクエリを解釈することはできない。 構造化データと非構造化データの両方をシームレスに問合せする統合自然言語を確立するための新しいタスクであるText2 Vectorを導入・形式化する。
  論文  参考訳（メタデータ） (2025-06-29T03:17:42Z)
• DeepDiver: Adaptive Search Intensity Scaling via Open-Web Reinforcement Learning [73.68685269970844]
  WebPuzzleはトレーニングと275サンプルテストベンチマークで、ライブインターネット上での情報検索を評価する。 我々は、検索強度スケーリング(SIS)を育成する強化学習フレームワークであるDeepDiverを開発した。 我々は,DeepDiverのカリキュラムをコールドスタートSFTからよく設計されたRLプロシージャに詳述し,その探索方針がクローズドドクエリからロングフォームライティングなどのオープンエンドジェネレーションへと一般化したことを示す。
  論文  参考訳（メタデータ） (2025-05-30T08:15:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。