論文の概要: What Limits Virtual Agent Application? OmniBench: A Scalable Multi-Dimensional Benchmark for Essential Virtual Agent Capabilities

• arxiv url: http://arxiv.org/abs/2506.08933v1
• Date: Tue, 10 Jun 2025 15:59:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-11 15:11:42.773738
• Title: What Limits Virtual Agent Application? OmniBench: A Scalable Multi-Dimensional Benchmark for Essential Virtual Agent Capabilities
• Title（参考訳）: 仮想エージェントアプリケーションとは何か? OmniBench: 本質的な仮想エージェント機能のためのスケーラブルな多次元ベンチマーク
• Authors: Wendong Bu, Yang Wu, Qifan Yu, Minghe Gao, Bingchen Miao, Zhenkui Zhang, Kaihang Pan, Yunfei Li, Mengze Li, Wei Ji, Juncheng Li, Siliang Tang, Yueting Zhuang,
• Abstract要約: 我々は、制御可能な複雑性のタスクを合成するための自動パイプラインを備えたクロスプラットフォームグラフベースのベンチマークであるOmniBenchを紹介した。 OmniEvalは、サブタスクレベルの評価、グラフベースのメトリクス、および10機能にわたる包括的なテストを含む多次元評価フレームワークである。 我々のデータセットには、20のシナリオにわたる36万のグラフ構造化タスクが含まれており、人間の受け入れ率は91%に達する。
• 参考スコア（独自算出の注目度）: 56.646832992178105
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As multimodal large language models (MLLMs) advance, MLLM-based virtual agents have demonstrated remarkable performance. However, existing benchmarks face significant limitations, including uncontrollable task complexity, extensive manual annotation with limited scenarios, and a lack of multidimensional evaluation. In response to these challenges, we introduce OmniBench, a self-generating, cross-platform, graph-based benchmark with an automated pipeline for synthesizing tasks of controllable complexity through subtask composition. To evaluate the diverse capabilities of virtual agents on the graph, we further present OmniEval, a multidimensional evaluation framework that includes subtask-level evaluation, graph-based metrics, and comprehensive tests across 10 capabilities. Our synthesized dataset contains 36k graph-structured tasks across 20 scenarios, achieving a 91\% human acceptance rate. Training on our graph-structured data shows that it can more efficiently guide agents compared to manually annotated data. We conduct multidimensional evaluations for various open-source and closed-source models, revealing their performance across various capabilities and paving the way for future advancements. Our project is available at https://omni-bench.github.io/.
• Abstract（参考訳）: マルチモーダル大言語モデル(MLLM)が進歩するにつれ、MLLMベースの仮想エージェントは顕著な性能を示した。 しかし、既存のベンチマークでは、制御不能なタスクの複雑さ、限られたシナリオによる広範な手動アノテーション、多次元評価の欠如など、重大な制限に直面している。 これらの課題に対応するために,サブタスク合成による制御可能な複雑性のタスクを合成するための自動パイプラインを備えた,自己生成型クロスプラットフォームグラフベースのベンチマークであるOmniBenchを紹介した。 グラフ上の仮想エージェントの多様な機能を評価するために,サブタスクレベルの評価,グラフベースのメトリクス,10機能にわたる包括的なテストを含む多次元評価フレームワークであるOmniEvalを紹介する。 我々の合成データセットは、20のシナリオにまたがる36万のグラフ構造化タスクを含む。 グラフ構造化データのトレーニングは、手動で注釈付けされたデータよりも効率的にエージェントをガイドできることを示しています。 我々は,様々なオープンソースおよびクローズドソースモデルの多次元評価を行い,その性能を様々な能力にわたって明らかにし,今後の進歩への道を開く。 私たちのプロジェクトはhttps://omni-bench.github.io/で公開されています。

関連論文リスト

• FormFactory: An Interactive Benchmarking Suite for Multimodal Form-Filling Agents [36.11725924594441]
  現在のオンラインフォームフィリングツールは概ねルールベースであり、汎用的で生成性に欠ける。 本稿では,Webベースのインターフェース,バックエンド評価モジュール,データセットで構成される対話型ベンチマークスイートであるFormFactoryを提案する。 本ベンチマークでは,多種多様な実世界のシナリオを網羅し,多種多様なフィールドフォーマットを取り入れ,高忠実度なフォームインタラクションをシミュレートする。
  論文  参考訳（メタデータ） (2025-06-02T10:34:57Z)
• Agent-X: Evaluating Deep Multimodal Reasoning in Vision-Centric Agentic Tasks [94.19506319646376]
  本稿では,実世界のマルチモーダル環境での視覚中心エージェント評価のためのベンチマークであるAgent-Xを紹介する。 Agent-Xは、828のエージェントタスクと、イメージ、マルチイメージ比較、ビデオ、命令テキストを含む、真の視覚的コンテキストを備えている。 その結果、GPT、Gemini、Qwenファミリーを含む最高のパフォーマンスモデルでさえ、多段階視覚タスクの解決に苦慮していることが明らかとなった。
  論文  参考訳（メタデータ） (2025-05-30T17:59:53Z)
• EmbodiedEval: Evaluate Multimodal LLMs as Embodied Agents [57.4686961979566]
  EmbodiedEvalは、組み込みタスクを持つMLLMの総合的かつインタラクティブな評価ベンチマークである。 多様性が大幅に向上した既存のAIタスクの幅広い範囲をカバーする。 EmbodiedEval における最先端MLLM の評価を行い,人体作業における人体レベルと比較して有意に不足していることがわかった。
  論文  参考訳（メタデータ） (2025-01-21T03:22:10Z)
• 3DBench: A Scalable 3D Benchmark and Instruction-Tuning Dataset [13.808860456901204]
  3DBenchと呼ばれる大規模命令チューニングデータセットを伴って,スケーラブルな3Dベンチマークを導入する。 具体的には、オブジェクトレベルからシーンレベルまで、幅広い空間的・意味的なスケールにまたがるベンチマークを確立する。 我々は、スケーラブルな3D命令チューニングデータセットを自動構築するための厳格なパイプラインを提案し、合計0.23百万QAペアが生成される10の多様なマルチモーダルタスクをカバーしている。
  論文  参考訳（メタデータ） (2024-04-23T02:06:10Z)
• VisualWebArena: Evaluating Multimodal Agents on Realistic Visual Web Tasks [93.85005277463802]
  VisualWebArenaは、マルチモーダルWebエージェントのパフォーマンスを現実的なタスクで評価するために設計されたベンチマークである。 このベンチマークを実行するには、イメージテキスト入力を正確に処理し、自然言語命令を解釈し、ユーザが定義した目的を達成するためにウェブサイト上でアクションを実行する必要がある。
  論文  参考訳（メタデータ） (2024-01-24T18:35:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。