論文の概要: Delegation Intelligence in Deep Search: A Controllable Framework for Disentangled Capability Diagnosis
- arxiv url: http://arxiv.org/abs/2607.23524v1
- Date: Sun, 26 Jul 2026 07:45:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-28 22:34:15.141145
- Title: Delegation Intelligence in Deep Search: A Controllable Framework for Disentangled Capability Diagnosis
- Title（参考訳）: ディープサーチにおけるデリゲーションインテリジェンス:拡張能力診断のための制御可能なフレームワーク
- Abstract要約: 我々はディープサーチでデリゲーションインテリジェンスを形式化し、それを補完的な次元に分解する。
文書地上のリバースエンジニアリングに基づく制御可能な合成パイプラインを開発した。
具体的インスタンス化として,不整合評価プロトコルとともにDelegSearchBenchを構築する。
- 参考スコア（独自算出の注目度）: 28.136201050290648
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep search is becoming a core capability of modern agent systems, yet it is typically evaluated solely based on end-to-end answer accuracy. This coupled evaluation paradigm entangles retrieval quality, long-context comprehension, evidence verification, and tool-use decisions, making it difficult to determine whether a model truly knows when and how to delegate information seeking to search. To this end: (1) We formalize this meta-capability as Delegation Intelligence in deep search and decompose it into complementary dimensions-Search Decision-Making (recognizing information insufficiency and deciding whether, when, and how to search) and Information Synthesis and Verification (aggregating evidence from multiple sources, judging source reliability, and synthesizing information under noisy, potentially adversarial conditions). (2) To enable disentangled and reproducible measurement, we develop a controllable synthesis pipeline built on document-grounded reverse engineering. This yields a general recipe for constructing controlled deep-search evaluations rather than a single fixed dataset. (3) As a concrete instantiation, we construct DelegSearchBench, together with a disentangled evaluation protocol that isolates each capability dimension by varying document composition and tool access. (4) Across representative models, we demonstrate that deep-search competence cannot be adequately characterized by final-answer accuracy alone...
- Abstract（参考訳）: ディープサーチは現代のエージェントシステムのコア機能になりつつあるが、通常はエンドツーエンドの回答精度に基づいて評価される。
この複合評価パラダイムは,検索品質,長期コンテキスト理解,エビデンス検証,ツール使用判断を絡み合わせて,モデルが真にいつ,どのように検索を求める情報を委譲するかを判断することが困難である。
この目的のために,1) 深層探索におけるデリゲーションインテリジェンスとしてこのメタ能力を形式化し,それを補完的な次元に分解する:探索決定(情報不足を認識し,いつ,どのように検索するかを判断する)と情報合成と検証(複数の情報源から証拠を収集し,情報源の信頼性を判断し,ノイズの多い,潜在的に敵対的な条件下で情報を合成する)。
2) 不整合・再現可能な計測を可能にするため,文書地盤の逆工学に基づく制御可能な合成パイプラインを構築した。
これにより、単一の固定データセットではなく、制御されたディープ検索評価を構築するための一般的なレシピが得られる。
(3)具体的インスタンス化として,文書構成やツールアクセスの異なる各機能ディメンテーションを分離する不整合評価プロトコルとともに,DelegSearchBenchを構築した。
(4)代表モデル全体では、探索能力は最終回答精度だけでは適切に評価できないことを示す。
関連論文リスト
- Is Deep Research Reliable? Misleading Knowledge Induces False Conclusions [9.637869857678925]
MisKnow-Agentは、Deep Researchタスクのための誤解を招く知識の構築と検証のためのフレームワークである。
最終報告では,誤解を招く知識の露出に制限がある場合さえも,虚偽の結束が引き起こされることが示唆された。
以上の結果から,信頼性の高いDeep Researchには,モデルレベルとフレームワークレベルの両方で証拠検証と修正能力が必要であることが示唆された。
論文 参考訳（メタデータ） (2026-07-23T03:28:08Z) - DuMate-DeepResearch: An Auditable Multi-Agent System with Recursive Search and Rubric-Grounded Reasoning [58.09293442211248]
Deep Research(DR)は、複雑でオープンな研究課題に取り組むための新しいエージェントパラダイムとして登場した。
本稿では,Qianfan Agent Foundry上に構築されたマルチエージェントDRフレームワークであるDuMate-DeepResearchを紹介する。
論文 参考訳（メタデータ） (2026-06-05T14:10:48Z) - Total Recall QA: A Verifiable Evaluation Suite for Deep Research Agents [46.528475077428745]
本稿では,ディープリサーチエージェントを評価するための要件リストとオプション特性について述べる。
我々は Wikidata-Wikipedia を実世界の情報源として構築したディープリサーチベンチマーク TRQA を構築した。
論文 参考訳（メタデータ） (2026-03-19T05:58:46Z) - DeepSearchQA: Bridging the Comprehensiveness Gap for Deep Research Agents [10.197402632091551]
DeepSearchQAは、難しい多段階情報検索タスクのエージェントを評価する900プロンプトのベンチマークである。
このデータセットは、エージェントが複雑な検索計画を実行し、完全な回答リストを生成する能力を評価するように設計されている。
論文 参考訳（メタデータ） (2026-01-28T19:20:47Z) - DeepResearchEval: An Automated Framework for Deep Research Task Construction and Agentic Evaluation [56.886936435727854]
DeepResearchEvalは、ディープリサーチタスク構築とエージェント評価のための自動化フレームワークである。
タスク構築のために,多様なユーザプロファイルに固定された現実的で複雑な研究タスクを生成するペルソナ駆動パイプラインを提案する。
評価には,タスク固有の評価次元,基準,重みを動的に導出する適応的ポイントワイド品質評価と,引用が欠落した場合でもWeb検索によるレポート文の自動抽出と検証を行うアクティブ・ファクト・チェッキングの2つの要素からなるエージェントパイプラインを提案する。
論文 参考訳（メタデータ） (2026-01-14T18:38:31Z) - DeepSynth-Eval: Objectively Evaluating Information Consolidation in Deep Survey Writing [53.85037373860246]
本稿では,情報統合能力を客観的に評価するためのベンチマークであるDeep Synth-Evalを紹介する。
一般チェックリスト(実例)と制約チェックリスト(構造体)を用いたきめ細かい評価プロトコルを提案する。
その結果,エージェント型プラン・アンド・ライトは単ターン生成よりも大幅に優れていた。
論文 参考訳（メタデータ） (2026-01-07T03:07:52Z) - Demystifying deep search: a holistic evaluation with hint-free multi-hop questions and factorised metrics [89.1999907891494]
We present WebDetective, a benchmark of hint-free multi-hop questions with a control Wikipedia sandbox。
25の最先端モデルに対する我々の評価は、すべてのアーキテクチャにまたがる体系的な弱点を明らかにしている。
私たちはエージェントワークフローであるEvidenceLoopを開発し、ベンチマークが特定する課題を明示的にターゲットしています。
論文 参考訳（メタデータ） (2025-10-01T07:59:03Z) - WebResearcher: Unleashing unbounded reasoning capability in Long-Horizon Agents [72.28593628378991]
WebResearcherは、マルコフ決定プロセスとしてディープリサーチを再構築する反復的なディープリサーチパラダイムである。
WebResearcherは最先端のパフォーマンスを実現し、フロンティアのプロプライエタリシステムを超えています。
論文 参考訳（メタデータ） (2025-09-16T17:57:17Z) - Unmasking Synthetic Realities in Generative AI: A Comprehensive Review of Adversarially Robust Deepfake Detection Systems [4.359154048799454]
ディープフェイク拡散合成メディアは、デジタルセキュリティ、誤情報緩和、アイデンティティ保護に挑戦する。
本研究の体系的レビューでは, 再現性のある実装の透明性と検証を重視した, 最先端のディープフェイク検出手法の評価を行う。
1) 統計的異常や階層的特徴抽出を利用した完全合成メディアの検出,(2) 視覚的アーティファクトや時間的不整合といったマルチモーダルな手がかりを用いた実コンテンツ中の操作された領域の局在化。
論文 参考訳（メタデータ） (2025-07-24T22:05:52Z) - DeepfakeBench: A Comprehensive Benchmark of Deepfake Detection [55.70982767084996]
ディープフェイク検出の分野で見落とされがちな課題は、標準化され、統一され、包括的なベンチマークがないことである。
DeepfakeBenchと呼ばれる,3つの重要なコントリビューションを提供するディープフェイク検出のための,最初の包括的なベンチマークを提示する。
DeepfakeBenchには15の最先端検出方法、9CLデータセット、一連のDeepfake検出評価プロトコルと分析ツール、包括的な評価ツールが含まれている。
論文 参考訳（メタデータ） (2023-07-04T01:34:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。