論文の概要: AgentVQA: A Unified Benchmark for Agentic Visual Understanding

• arxiv url: http://arxiv.org/abs/2610.31494v1
• Date: Thu, 22 Oct 2026 16:13:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.471753
• Title: AgentVQA: A Unified Benchmark for Agentic Visual Understanding
• Title（参考訳）: AgentVQA:エージェント視覚理解のための統一ベンチマーク
• Abstract要約: 視覚言語モデル(VLM)は、様々な設定で幅広いタスクを実行できるが、エージェント的文脈でのそれらのパフォーマンスはよく分かっていない。 シミュレータや実環境におけるオンライン評価は,対話型エージェントのパフォーマンス測定には不可欠だが,コストがかかり,スケールが困難である。 本稿では,5つのエージェントドメインにわたる現実的なエージェントシナリオ上でVLMを評価するためのオフラインベンチマークであるAgentVQAを紹介する。
• 参考スコア（独自算出の注目度）: 7.663960700809988
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-language models (VLMs) can perform a broad range of tasks across diverse settings, yet their performance in agentic contexts remains poorly understood. Although online evaluations in simulators and real-world environments are essential for measuring interactive agent performance, they are costly and challenging to scale. Complementary offline VQA benchmarks can enable faster and more reliable comparisons across agentic domains, yet existing benchmarks remain limited and fragmented. To address this gap, we introduce AgentVQA, an offline benchmark for evaluating VLMs on realistic agentic scenarios across five agent domains: Web Agents, Robotics, Egocentric Videos, Games, and Spatial Planning. We build AgentVQA by manually selecting 1000 challenging, real-world agent examples from 23 source datasets and adapting them for reliable offline evaluation. The resulting benchmark preserves realistic scenarios from interactive environments across diverse domains, and its model rankings track those from corresponding online evaluations. Across the 22 evaluated models, the best achieves only 58.5% accuracy. Our cross-domain analysis shows that errors are driven primarily by failures to ground and maintain accurate representations of the current and evolving visual state, including localizing relevant UI elements, interpreting motion, tracking state changes over time, and inferring 3D spatial relationships, rather than by task misinterpretation or downstream logical reasoning.
• Abstract（参考訳）: 視覚言語モデル(VLM)は、様々な設定で幅広いタスクを実行できるが、エージェント的文脈でのそれらのパフォーマンスはよく分かっていない。 シミュレータや実環境におけるオンライン評価は対話型エージェントのパフォーマンス測定に不可欠であるが、費用がかかりスケールが困難である。 補完的なオフラインVQAベンチマークはエージェントドメイン間の高速で信頼性の高い比較を可能にするが、既存のベンチマークは限定的で断片化されている。 このギャップに対処するために,Web Agents, Robotics, Egocentric Videos, Games, Space Planningという5つのエージェントドメインにわたる現実的なエージェントシナリオ上でVLMを評価するためのオフラインベンチマークであるAgentVQAを紹介した。 我々は23のソースデータセットから1000の課題のある実世界のエージェントを手動で選択し、それらを信頼性の高いオフライン評価に適応させることでAgentVQAを構築する。 その結果得られたベンチマークは、さまざまなドメインにわたる対話的な環境から現実的なシナリオを保存し、そのモデルランキングは、対応するオンライン評価からそれらを追跡する。 評価された22のモデル全体では、最高は58.5%の精度しか達成していない。 我々のクロスドメイン分析は、エラーが主に現在の視覚状態の正確な表現と維持の失敗によって引き起こされることを示している。例えば、関連するUI要素のローカライズ、動作の解釈、時間とともにの状態の変化の追跡、タスクの誤解釈や下流論理的推論による3次元空間的関係の推測などである。

関連論文リスト

• DuMateBench: Evaluating Autonomous Agents in Complex Real-World Workflows [69.12339622053588]
  我々はDuMateBenchを紹介した。DuMateBenchは匿名化およびプライバシスクリーニングによるユーザセッションから再構築されたリアルセッションベンチマークである。 結果として得られたベンチマークは、8つの広いシナリオにまたがる200のタスクと、17のきめ細かい機能カテゴリで構成されている。 これらのタスクは、Isufficient、Unstable、Noisyの3種類の環境複雑性を注入した、分離されたDockerコンテナで実行します。
  論文  参考訳（メタデータ） (2026-08-27T02:36:23Z)
• GTA: Generating Long-Horizon Tasks for Web Agents at Scale [82.43869456830664]
  我々は、クローリング、検索ベースのシード、コンテキスト内生成、自動品質管理を統合したスケーラブルなフレームワーク、GTAを導入する。 eコマース、政府、フォーラム、ニュースをカバーする50以上のウェブサイトでパイプラインをインスタンス化し、マルチリンガルとマルチホップをカバーしています。 i) マルチホップWebエージェントタスク生成の形式化、(ii) 自動データ生成のための効率的で検証されたパイプラインの提案、(iii) 再現可能な評価を伴う動的ベンチマークのリリースである。
  論文  参考訳（メタデータ） (2026-05-28T01:05:50Z)
• Agentic CLEAR: Automating Multi-Level Evaluation of LLM Agents [12.703661629160571]
  本稿では,自動的,動的,かつ使いやすい評価フレームワークであるAgentic CLEARを提案する。 エージェントの動作に関するテキストによる洞察を3つのレベル(システム、トレース、ノード)で生成する。 Agentic CLEARは可観測層の上で動作し、シームレスな統合と直感的なUIを特徴とする。
  論文  参考訳（メタデータ） (2026-05-21T15:26:02Z)
• AJ-Bench: Benchmarking Agent-as-a-Judge for Environment-Aware Evaluation [71.49152943451328]
  我々は,AJ-Benchベンチマークを導入し,ドメイン検索,データシステム,グラフィカルユーザインタフェースの3つの領域にまたがるエージェント・アズ・ア・Judgeを評価する。 実験ではLLM-as-a-Judgeベースラインよりも一貫したパフォーマンス向上を示し、エージェントベースの検証においてかなりオープンな課題を明らかにした。
  論文  参考訳（メタデータ） (2026-04-20T13:23:38Z)
• VisualTrans: A Benchmark for Real-World Visual Transformation Reasoning [10.497961559068493]
  ビジュアルトランスフォーメーション推論(VTR)は、知的エージェントが動的シーンを理解するための重要な認知能力である。 既存のベンチマークは、sim-to-realギャップ、タスクの複雑さの制限、不完全な推論カバレッジに悩まされている。 VisualTransは、現実世界の人間とオブジェクトのインタラクションシナリオにおいて、VTR用に特別に設計された最初の包括的なベンチマークである。
  論文  参考訳（メタデータ） (2025-08-06T03:07:05Z)
• REAL: Benchmarking Autonomous Agents on Deterministic Simulations of Real Websites [9.58858258192147]
  実世界のWebサイトの決定論的シミュレーションにおけるマルチターンエージェント評価のためのベンチマークおよびフレームワークであるREALを紹介する。 また、日々の複雑なユーザインタラクションを反映した112の実践的なタスクからなるベンチマークもリリースしています。 我々のフレームワークは、新しいタスクの容易な統合、再現可能な評価、スケーラブルな後学習データ生成をサポートします。
  論文  参考訳（メタデータ） (2025-04-15T18:22:55Z)
• The BrowserGym Ecosystem for Web Agent Research [151.90034093362343]
  BrowserGymエコシステムは、Webエージェントの効率的な評価とベンチマークの必要性の高まりに対処する。 本稿では,Webエージェント研究のためのBrowserGymベースの拡張エコシステムを提案する。 大規模なマルチベンチマークWebエージェント実験を初めて実施し、6つのWebエージェントベンチマークで6つの最先端LCMの性能を比較した。
  論文  参考訳（メタデータ） (2024-12-06T23:43:59Z)
• TestAgent: Automatic Benchmarking and Exploratory Interaction for Evaluating LLMs in Vertical Domains [19.492393243160244]
  大規模言語モデル(LLM)は、高度に専門化された垂直ドメインにデプロイされることが多い。 既存の垂直領域の評価は、通常、静的な単一ターンデータセットの労働集約的な構築に依存している。 垂直領域における自動ベンチマークと探索動的評価のためのフレームワークであるTestAgentを提案する。
  論文  参考訳（メタデータ） (2024-10-15T11:20:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。