論文の概要: DUDA-Bench: Benchmarking LLM Agents on Multimodal Data-Driven Urban Diagnosis

• arxiv url: http://arxiv.org/abs/2610.09374v1
• Date: Wed, 07 Oct 2026 03:29:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.696257
• Title: DUDA-Bench: Benchmarking LLM Agents on Multimodal Data-Driven Urban Diagnosis
• Title（参考訳）: DUDA-Bench:マルチモーダルデータ駆動型都市診断におけるLCMエージェントのベンチマーク
• Abstract要約: 都市診断は異質な観察を統合し、都市問題を特定し、影響を受けた地域をローカライズし、貢献要因を調査する。 我々は,多段階のエージェントワークフローとしてデータ駆動型都市診断を形式化する階層的かつインタラクティブなベンチマークであるDUDA-Benchを紹介する。
• 参考スコア（独自算出の注目度）: 10.811391509431255
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Urban diagnosis integrates heterogeneous observations to identify urban problems, localize affected areas, and investigate contributing factors, informing evidence-based urban planning and management. However, its reliance on labor-intensive, case-specific expert workflows limits scalability and reuse, motivating the exploration of agent-based execution. To evaluate this capability, we introduce DUDA-Bench, a hierarchical and interactive benchmark that formalizes data-driven urban diagnosis as a multi-stage agent workflow. It comprises 86 atomic and 22 workflow tasks spanning four analytical stages, grounded in multimodal data from 12 cities covering five urban problem types. Evaluations of seven backbone models and five agent systems reveal a substantial gap between isolated analytical competence and end-to-end diagnosis, with system benefits varying across backbones. Trajectory analysis shows that unresolved evidence gaps propagate across stages, while successful recovery involves revising assumptions and actions using feedback. These findings highlight limitations in coordinating analytical capabilities across stages, particularly adaptive planning, evidence integration, and verification. More broadly, DUDA-Bench provides a framework for translating expert analytical workflows into hierarchical agent tasks and process-aware evaluation, supporting systematic assessment of end-to-end analytical capabilities.
• Abstract（参考訳）: 都市診断は異質な観察を統合し、都市問題を特定し、影響を受けた地域をローカライズし、貢献要因を調査し、エビデンスに基づく都市計画と管理を行う。 しかしながら、労働集約的でケース固有の専門家ワークフローに依存しているため、スケーラビリティと再利用が制限され、エージェントベースの実行の探索が動機となっている。 データ駆動型都市診断を多段階のエージェントワークフローとして形式化する階層的かつインタラクティブなベンチマークであるDUDA-Benchを導入する。 4つの分析段階にまたがる86の原子と22のワークフロータスクで構成されており、5つの都市問題タイプをカバーする12都市のマルチモーダルデータに基づいている。 7つのバックボーンモデルと5つのエージェントシステムの評価は、分離された分析能力とエンドツーエンドの診断の間に大きなギャップがあることを示し、システムによる利点はバックボーンによって異なる。 軌道分析は、未解決の証拠ギャップが段階的に伝播し、回復にはフィードバックを用いて仮定や行動を修正することが含まれることを示している。 これらの知見は、特に適応計画、エビデンス統合、検証といった段階にわたる分析能力の調整の限界を浮き彫りにしている。 より広範に、DUDA-Benchは、専門家分析ワークフローを階層的なエージェントタスクとプロセス認識評価に翻訳するフレームワークを提供し、エンドツーエンドの分析能力の体系的な評価をサポートする。

関連論文リスト

• A Hybrid Agentic AI Framework for Intelligent Supply Chain Analytics [3.3292687565862535]
  本稿では、ビジネス意思決定と技術専門のギャップを埋めるサプライチェーン分析のためのエージェントシステムを提案する。 このシステムは探索分析と決定論的デリゲートの両方をサポートし、プランナーはアドホックな質問と構造化されたプロセスの間を移行できる。 その結果,マルチエージェント設計では90%の精度が得られ,単一のエージェントベースラインと競合することがわかった。
  論文  参考訳（メタデータ） (2026-09-11T21:59:30Z)
• Exploring the Semantic Gap in Agentic Data Systems: A Formative Study of Operationalization Failures in Analytical Workflows [4.267594643533591]
  本稿では,エージェント生成分析概念における動作不良に関するクロスドメイン形式研究について述べる。 分析の結果, 比較基盤化, プロセス推論, 定量的推論, 役割混乱, 政策基盤化の5段階が得られた。 これらの結果は、ユーザレベルの分析概念とワークフロー生成システムで利用可能な情報とのセマンティックなギャップを示唆している。
  論文  参考訳（メタデータ） (2026-07-01T11:49:50Z)
• A Survey on Foundations and Frontiers of Multimodal Agentic Frameworks: Techniques and Applications [148.85885339822232]
  大型言語モデル(LLM)は機関の研究の波を加速させた。 LLMは、画像、オーディオ、ビデオを含む様々なモダリティを処理し、統合することで、現実の応用性を向上させることができる。 この調査は,エージェントフレームワークの中核機能モジュール間のマルチモーダリティの影響を分析することによって,ギャップを埋める。
  論文  参考訳（メタデータ） (2026-06-28T17:03:12Z)
• Beyond Individual Intelligence: Surveying Collaboration, Failure Attribution, and Self-Evolution in LLM-based Multi-Agent Systems [65.90791804095561]
  マルチエージェントシステムは、特殊エージェント間の構造化された協調を通じてこの問題に対処するが、より厳密な調整は、あまり検討されていないリスクを増幅する。 既存の調査では、個々のエージェント能力、マルチエージェントのコラボレーション、エージェントの自己進化を別々にカバーしている。 この調査は4つの因果関係のあるステージを中心にまとめられた統一されたレビューを提供する。これはLIFEの進展(Lay the capabilities foundation)、協力によるエージェントの統合、帰属による障害の発見、自律的な自己改善によるEvolveである。
  論文  参考訳（メタデータ） (2026-05-14T14:36:13Z)
• Overcoming the "Impracticality" of RAG: Proposing a Real-World Benchmark and Multi-Dimensional Diagnostic Framework [2.2782316435989562]
  企業環境における検索・拡張生成システムの性能評価は多次元・複合的要因によって管理される。 既存の学術ベンチマークでは、これらのインターロックの課題を体系的に診断することができない。 本研究は, 4軸の難易度分類を定義し, 企業RAGベンチマークに組み込んで, 潜在的なシステムの弱点を診断する多次元診断フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-04-03T02:10:37Z)
• Pitfalls in Evaluating Interpretability Agents [91.49742416116635]
  我々は,実験を反復的に設計し,仮説を洗練するエージェントシステムを構築した。 我々の研究は、複雑な自動解釈可能性システムを評価する上での根本的な課題を実証している。
  論文  参考訳（メタデータ） (2026-03-20T16:27:17Z)
• BeyondSWE: Can Current Code Agent Survive Beyond Single-Repo Bug Fixing? [61.247730037229815]
  BeyondSWEは2つの軸 – 解像度スコープと知識スコープ – に沿って既存の評価を拡張する包括的なベンチマークです。 外部知識の役割を解明するために,ディープ検索とコーディング能力を統合するフレームワークであるSearchSWEを開発した。 この作業は、現実的で挑戦的な評価ベンチマークと、より有能なコードエージェントに向けた研究を進めるための柔軟なフレームワークの両方を提供する。
  論文  参考訳（メタデータ） (2026-03-03T17:52:01Z)
• CoMMa: Contribution-Aware Medical Multi-Agents From A Game-Theoretic Perspective [17.875369977050926]
  オンコロジー決定支援タスクに取り組むために,コントリビューション・アウェア・メディカル・マルチエージェント (CoMMa) を提案する。 スペシャリストは分割された証拠を操作し、堅牢な意思決定のためのゲーム理論の目的を通して調整する。 多様なオンコロジーベンチマークに基づいて評価されたCoMMaは、データ分散およびロールベースのマルチエージェントベースラインよりも高い精度と安定したパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2026-02-09T20:04:58Z)
• AgentBoard: An Analytical Evaluation Board of Multi-turn LLM Agents [74.16170899755281]
  本稿では,LLMエージェントの分析的評価に適したオープンソース評価フレームワークであるAgentBoardを紹介する。 AgentBoardは、インクリメンタルな進歩と包括的な評価ツールキットをキャプチャする、きめ細かい進捗率のメトリクスを提供する。 これはLLMエージェントの能力と限界に光を当てるだけでなく、その性能の解釈可能性も最前線に広める。
  論文  参考訳（メタデータ） (2024-01-24T01:51:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。