論文の概要: From Intent to Evidence: A Categorical Approach for Structural Evaluation of Deep Research Agents

• arxiv url: http://arxiv.org/abs/2603.25342v1
• Date: Thu, 26 Mar 2026 11:37:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-27 20:52:48.268031
• Title: From Intent to Evidence: A Categorical Approach for Structural Evaluation of Deep Research Agents
• Title（参考訳）: インテントからエビデンスへ:ディープリサーチエージェントの構造評価のためのカテゴリー的アプローチ
• Authors: Shuoling Liu, Zhiquan Tan, Kun Yi, Hui Wu, Yihan Li, Jiangpeng Yan, Liyuan Chen, Kai Chen, Qiang Yang,
• Abstract要約: 深層研究エージェント(DRA)は、複雑な情報合成のための有望なパラダイムとして登場した。 我々は、DRAの挙動を圏論のレンズを通して形式化し、構造保存マップの合成として深層研究ワークフローをモデル化する。 エージェントを4つの解釈可能な軸に沿ってストレステストするために設計された296の質問を持つメカニズム認識ベンチマークを導入する。
• 参考スコア（独自算出の注目度）: 25.080554451314683
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although deep research agents (DRAs) have emerged as a promising paradigm for complex information synthesis, their evaluation remains constrained by ad hoc empirical benchmarks. These heuristic approaches do not rigorously model agent behavior or adequately stress-test long-horizon synthesis and ambiguity resolution. To bridge this gap, we formalize DRA behavior through the lens of category theory, modeling deep research workflow as a composition of structure-preserving maps (functors). Grounded in this theoretical framework, we introduce a novel mechanism-aware benchmark with 296 questions designed to stress-test agents along four interpretable axes: traversing sequential connectivity chains, verifying intersections within V-structure pullbacks, imposing topological ordering on retrieved substructures, and performing ontological falsification via the Yoneda Probe. Our rigorous evaluation of 11 leading models establishes a persistently low baseline, with the state-of-the-art achieving only a 19.9\% average accuracy, exposing the difficulty of formal structural stress-testing. Furthermore, our findings reveal a stark dichotomy in the current AI capabilities. While advanced deep research pipelines successfully redefine dynamic topological re-ordering and exhibit robust ontological verification -- matching pure reasoning models in falsifying hallucinated premises -- they almost universally collapse on multi-hop structural synthesis. Crucially, massive performance variance across tasks exposes a lingering reliance on brittle heuristics rather than a systemic understanding. Ultimately, this work demonstrates that while top-tier autonomous agents can now organically unify search and reasoning, achieving a generalized mastery over complex structural information remains a formidable open challenge.\footnote{Our implementation will be available at https://github.com/tzq1999/CDR.
• Abstract（参考訳）: 深層研究エージェント (DRA) は複雑な情報合成のための有望なパラダイムとして登場したが、その評価はアドホックな実証的ベンチマークによって制約されている。 これらのヒューリスティックなアプローチは、エージェントの挙動を厳密にモデル化したり、適切にストレステストされたロングホライゾン合成やあいまいさ解決をモデル化しない。 このギャップを埋めるために、DRAの挙動を圏論のレンズを通して形式化し、深層研究のワークフローを構造保存マップ(ファンクター)の合成としてモデル化する。 この理論の枠組みを基礎として, 逐次接続チェーンのトラバース, V構造プルバック内の交点の検証, 取得したサブ構造へのトポロジ的順序付け, および Yoneda Probe によるオントロジ的ファルシフィケーションの実行という, 4つの解釈可能な軸に沿ってエージェントをストレステストするために設計された296の質問を用いたメカニズム対応ベンチマークを導入する。 11の先行モデルに対する厳密な評価は、定常的に低いベースラインを確立し、最先端技術は平均19.9%の精度しか達成せず、形式的な構造的ストレステストの難しさを露呈する。 さらに,現在のAI能力の2分の一が判明した。 先進的な深層研究パイプラインは、動的トポロジカルな再オーダーを再定義し、堅牢な存在論的検証(falsifying hallucinated premisesにおける純粋な推論モデルと一致する)を成功裏に実施する一方で、マルチホップ構造合成において、ほぼ普遍的に崩壊する。 重要なことに、タスク間の大規模なパフォーマンスのばらつきは、体系的な理解よりも脆いヒューリスティックスに依存している。 最終的にこの研究は、トップレベルの自律エージェントが、検索と推論を有機的に統一できる一方で、複雑な構造情報に対する汎用的な熟達を達成することは、恐ろしいほどオープンな課題であることを示している。 実装はhttps://github.com/tzq 1999/CDRで公開される。

関連論文リスト

• Topo-R1: Detecting Topological Anomalies via Vision-Language Models [42.86510112477789]
  トポロジカルな正確性は、血管、神経線維、道路網などの構造にとって重要である。 我々は,様々なトポロジ的異常を検証可能なアノテーションで合成する自動データキュレーションパイプラインを開発した。 次に、トポロジを意識した視覚言語モデルを実現するフレームワークであるTopo-R1を紹介する。
  論文  参考訳（メタデータ） (2026-03-13T15:05:04Z)
• On Multi-Step Theorem Prediction via Non-Parametric Structural Priors [50.16583672681106]
  本研究では,インコンテキスト学習(ICL)のレンズによる学習自由な定理予測について検討する。 本稿では,過去の解の時間的依存関係を有向グラフとしてエンコードし,推論中に探索空間を効果的に引き起こす明示的なトポロジ的制約を課すTheorem Precedence Graphsを提案する。 FormalGeo7kベンチマークの実験から,本手法は89.29%の精度を実現し,ICLベースラインを著しく上回り,最先端の教師付きモデルに適合することがわかった。
  論文  参考訳（メタデータ） (2026-03-05T06:08:50Z)
• Guided Verifier: Collaborative Multimodal Reasoning via Dynamic Process Supervision [11.159231524113764]
  マルチモーダル大規模言語モデル(MLLM)の複雑な推論能力を高めるための重要なメカニズムとして強化学習(RL)が登場した。 本稿では,これらの構造的制約に対処する textbfGuided Verifier フレームワークを提案する。 我々は,マルチモーダル幻覚をターゲットとした特殊なデータ合成パイプラインを開発し,プロセスレベルの負の textbfCoRe データセットとtextbfCorrect-guide textbfReasoning トラジェクトリを構築し,ガイド付き検証器を訓練する。
  論文  参考訳（メタデータ） (2026-02-04T07:38:42Z)
• OMG-Agent: Toward Robust Missing Modality Generation with Decoupled Coarse-to-Fine Agentic Workflows [9.617220633655716]
  textbfunderlineOmni-textbfunderlineModality textbfunderlineGeneration Agent (textbfOMG-Agent)について述べる。
  論文  参考訳（メタデータ） (2026-02-04T02:25:40Z)
• DeepSynth-Eval: Objectively Evaluating Information Consolidation in Deep Survey Writing [53.85037373860246]
  本稿では,情報統合能力を客観的に評価するためのベンチマークであるDeep Synth-Evalを紹介する。 一般チェックリスト(実例)と制約チェックリスト(構造体)を用いたきめ細かい評価プロトコルを提案する。 その結果,エージェント型プラン・アンド・ライトは単ターン生成よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2026-01-07T03:07:52Z)
• The Causal Round Trip: Generating Authentic Counterfactuals by Eliminating Information Loss [4.166536642958902]
  構造再構成誤差(SRE)を除去して因果音を発生させる最初の拡散型フレームワークであるBELM-MDCMを紹介する。 我々の研究は、古典的因果論の厳密さと近代的な生成モデルのパワーを調和させる。
  論文  参考訳（メタデータ） (2025-11-07T13:37:23Z)
• VAR: Visual Attention Reasoning via Structured Search and Backtracking [49.427842994857635]
  構造化された検索としてグラウンドド推論をリキャストするフレームワークであるVisual Attention Reasoningを紹介する。 VARは、推論プロセスを2つの重要な段階に分解する。 我々は、我々の7BモデルであるVAR-7Bが、幻覚と安全性のベンチマークの包括的なスイートに新しい最先端を設定していることを示します。
  論文  参考訳（メタデータ） (2025-10-21T13:18:44Z)
• Unifying Tree Search Algorithm and Reward Design for LLM Reasoning: A Survey [92.71325249013535]
  線形木探索はLarge Language Model (LLM) 研究の基盤となっている。 本稿では,検索アルゴリズムを3つのコアコンポーネントに分解する統合フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-11T03:29:18Z)
• WebWeaver: Structuring Web-Scale Evidence with Dynamic Outlines for Open-Ended Deep Research [73.58638285105971]
  本稿では,AIエージェントが膨大なWebスケール情報を洞察に富むレポートに合成しなければならない複雑な課題であるtextbfopen-ended Deep Research (OEDR) に取り組む。 人間の研究プロセスをエミュレートする新しいデュアルエージェントフレームワークである textbfWebWeaver を紹介する。 私たちのフレームワークは、DeepResearch Bench、DeepConsult、DeepResearchGymなど、主要なOEDRベンチマークにまたがる最先端の新たなベンチマークを確立しています。
  論文  参考訳（メタデータ） (2025-09-16T17:57:21Z)
• Causality can systematically address the monsters under the bench(marks) [64.36592889550431]
  ベンチマークはさまざまなバイアス、アーティファクト、リークに悩まされている。 モデルは、調査の不十分な障害モードのため、信頼できない振る舞いをする可能性がある。 因果関係はこれらの課題を体系的に解決するための 理想的な枠組みを提供します
  論文  参考訳（メタデータ） (2025-02-07T17:01:37Z)
• Conformable Convolution for Topologically Aware Learning of Complex Anatomical Structures [38.20599800950335]
  トポロジ的一貫性を明示するために設計された新しい畳み込み層であるConformable Convolutionを紹介する。 Topological Posterior Generator (TPG)モジュールは、重要なトポロジ的特徴を特定し、畳み込み層をガイドする。 本稿では,構造物の相互接続性維持が重要となるセグメンテーション作業におけるフレームワークの有効性を示す。
  論文  参考訳（メタデータ） (2024-12-29T22:41:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。