論文の概要: OmniGUI: Benchmarking GUI Agents in Omni-Modal Smartphone Environments

• arxiv url: http://arxiv.org/abs/2605.18758v1
• Date: Fri, 03 Apr 2026 08:57:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-25 12:34:33.917346
• Title: OmniGUI: Benchmarking GUI Agents in Omni-Modal Smartphone Environments
• Title（参考訳）: OmniGUI:Omni-Modalスマートフォン環境におけるGUIエージェントのベンチマーク
• Authors: Felix Henry, Xiaochen Lin, Jiangyou Zhu, Yangfan, Bingqian Zhang, Min Chen, Shiyu Huang,
• Abstract要約: 我々はOmniGUIを紹介した。OmniGUIは、Omniモードのスマートフォン環境でGUIエージェントを評価するために設計された最初のステップレベルベンチマークである。 データセットには、29のアプリケーションにわたる709のエキスパートデモエピソード(2,579のアクションステップ)が含まれている。 我々の経験的評価は、現在のモデルは視覚的に静的なタスクに能力を示すが、その動作予測性能は同期時間と聴覚信号を必要とする環境において著しく低下することを示している。
• 参考スコア（独自算出の注目度）: 5.613789567241434
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Current benchmarks for graphical user interface (GUI) agents predominantly rely on static screenshots. However, real-world smartphone interaction routinely requires agents to process transient audio cues and temporal video dynamics that are tightly coupled with the moment of action. To bridge this gap, we introduce OmniGUI, the first step-level benchmark designed to evaluate GUI agents in omni-modal smartphone environments. OmniGUI provides continuous, interleaved multimodal inputs comprising static images, synchronous audio, and video clips at every action step. The dataset encompasses 709 expert-demonstrated episodes (2,579 action steps) across 29 applications, systematically annotated with objective multimodal dependency levels. Because dedicated omni-modal GUI agent frameworks are currently in their nascent stage, we select foundational omni-modal models capable of natively processing interleaved inputs to serve as agent proxies for our initial baselines. Our empirical evaluation reveals that while current models exhibit competency on visually static tasks, their action prediction performance degrades significantly in environments requiring synchronous temporal and auditory signals. Furthermore, ablation studies isolate specific operational bottlenecks, notably cross-modal interference when processing task-irrelevant environmental noise. The complete dataset, evaluation pipeline, and baseline prompts are provided in the supplementary material. Project page: https://omni-gui.github.io.
• Abstract（参考訳）: グラフィカルユーザインタフェース(GUI)エージェントの現在のベンチマークは、主に静的スクリーンショットに依存している。 しかし、現実世界のスマートフォンとのインタラクションでは、エージェントが過渡的なオーディオキューや、アクションの瞬間と密結合した時間的ビデオダイナミクスを処理する必要がある。 このギャップを埋めるために、オムニGUIは、オムニモードのスマートフォン環境でGUIエージェントを評価するために設計された最初のステップレベルのベンチマークである。 OmniGUIは、静的イメージ、同期オーディオ、ビデオクリップを含む連続的でインターリーブされたマルチモーダル入力を、すべてのアクションステップで提供する。 このデータセットは、29のアプリケーションにまたがる709のエキスパートによるエピソード(2,579のアクションステップ)を包含する。 現在、オムニモーダルGUIエージェントフレームワークは初期段階にあるため、インターリーブされた入力をネイティブに処理できる基本オムニモーダルモデルを選択し、初期ベースラインのエージェントプロキシとして機能する。 我々の経験的評価は、現在のモデルは視覚的に静的なタスクに能力を示すが、その動作予測性能は同期時間と聴覚信号を必要とする環境において著しく低下することを示している。 さらに、アブレーション研究は特定の運用上のボトルネック、特にタスク非関連環境騒音の処理におけるクロスモーダル干渉を分離する。 補足材料には、完全なデータセット、評価パイプライン、ベースラインプロンプトが提供される。 プロジェクトページ: https://omni-gui.github.io

関連論文リスト

• AutoGUI-v2: A Comprehensive Multi-Modal GUI Functionality Understanding Benchmark [32.66632642377623]
  AutoGUI-v2は、深いGUI機能の理解と相互作用結果の予測を評価するために設計されたベンチマークである。 我々は、スクリーンショットを階層的な機能領域に解析する新しいVLM-ヒューマン協調パイプラインを用いて、ベンチマークを構築した。 AutoGUI-v2は、リージョンと要素レベルのセマンティクス、グラウンド、動的状態予測のエージェントを厳格にテストする。
  論文  参考訳（メタデータ） (2026-04-27T13:06:27Z)
• ANCHOR: Branch-Point Data Generation for GUI Agents [52.22377425487]
  デスクトップ環境向けのエンドツーエンドGUIエージェントは、大量の高品質なインタラクションデータを必要とする。 本稿では,拡張フレームワークであるAnchorについて紹介する。このフレームワークは,小規模で検証済みのシードデモから,スケーラブルなデスクトップ監視をブートストラップする。 OSWorldとWindowsAgentArenaの標準デスクトップベンチマークの実験では、拡張されたコーパスに微調整されたモデルが一貫した改善を実現している。
  論文  参考訳（メタデータ） (2026-02-06T19:55:26Z)
• What Limits Virtual Agent Application? OmniBench: A Scalable Multi-Dimensional Benchmark for Essential Virtual Agent Capabilities [56.646832992178105]
  我々は、制御可能な複雑性のタスクを合成するための自動パイプラインを備えたクロスプラットフォームグラフベースのベンチマークであるOmniBenchを紹介した。 OmniEvalは、サブタスクレベルの評価、グラフベースのメトリクス、および10機能にわたる包括的なテストを含む多次元評価フレームワークである。 我々のデータセットには、20のシナリオにわたる36万のグラフ構造化タスクが含まれており、人間の受け入れ率は91%に達する。
  論文  参考訳（メタデータ） (2025-06-10T15:59:38Z)
• Aguvis: Unified Pure Vision Agents for Autonomous GUI Interaction [69.57190742976091]
  Aguvisは、自律的なGUIエージェントのためのビジョンベースのフレームワークである。 クロスプラットフォームのインタラクションを標準化し、内部モノローグによる構造化推論を取り入れている。 オフラインおよび実世界のオンラインベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-12-05T18:58:26Z)
• GUI-World: A Video Benchmark and Dataset for Multimodal GUI-oriented Understanding [73.9254861755974]
  本稿では,人間のMLLMアノテーションを巧みに作成するGUI-Worldという新しいデータセットを提案する。 各種GUIコンテンツの理解において,画像LLMやビデオLLMなどの最先端MLLMの能力を評価する。
  論文  参考訳（メタデータ） (2024-06-16T06:56:53Z)
• You Only Look at Screens: Multimodal Chain-of-Action Agents [37.118034745972956]
  Auto-GUIは、インターフェースと直接対話するマルチモーダルソリューションである。 そこで本研究では,エージェントが実行すべきアクションを決定するためのチェーン・オブ・アクション手法を提案する。 我々は,30$Kのユニークな命令を持つ新しいデバイス制御ベンチマークAITWに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2023-09-20T16:12:32Z)
• Dynamic Graph Representation Learning for Video Dialog via Multi-Modal Shuffled Transformers [89.00926092864368]
  音声・視覚シーン認識ダイアログタスクのためのセマンティクス制御型マルチモーダルシャッフルトランスフォーマー推論フレームワークを提案する。 また,フレーム内推論層を用いた動的シーングラフ表現学習パイプラインを提案する。 その結果,全ての評価指標について最先端の性能を示すことができた。
  論文  参考訳（メタデータ） (2020-07-08T02:00:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。