論文の概要: SimuWoB: Simulating Real-World Mobile Apps for Fast and Faithful GUI Agent Benchmarking

• arxiv url: http://arxiv.org/abs/2605.25160v1
• Date: Sun, 24 May 2026 16:33:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:18.924105
• Title: SimuWoB: Simulating Real-World Mobile Apps for Fast and Faithful GUI Agent Benchmarking
• Title（参考訳）: SimuWoB: 高速かつ忠実なGUIエージェントベンチマークのための実世界のモバイルアプリのシミュレーション
• Authors: Guohong Liu, Jialei Ye, Pengzhi Gao, Wei Liu, Jian Luan, Yunxin Liu, Yuanchun Li,
• Abstract要約: SimuWoBは、さまざまなタイプと難易度にまたがる120の課題タスクを備えた、モバイルGUIエージェントのための完全な総合ベンチマークである。 我々は高忠実度タスクと環境を合成する堅牢な仮想環境生成フレームワークを構築した。 我々は、最先端のモバイルGUIエージェントについて包括的な実験を行う。
• 参考スコア（独自算出の注目度）: 23.006082521142137
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mobile GUI agents powered by large language models have progressed rapidly, creating urgent needs for realistic and comprehensive evaluation. Existing benchmarks prioritize reproducibility but are often limited to open-source apps or file-operation tasks for the difficulty of constructing rewards on real applications, leaving a gap between benchmark settings and real-world usage. Moreover, most benchmarks focus on basic grounding and navigation, with limited coverage of complex, long-horizon interactions. To address these limitations, we introduce SimuWoB, a fully synthetic benchmark for mobile GUI agents with 120 challenging tasks spanning diverse types and difficulty levels. We build a robust virtual environment generation framework that synthesizes high-fidelity tasks and environments, and automatically provides valid rewards for each task. Each environment is deployed as a backend-free webpage accessible via URL, enabling efficient and reproducible evaluation. We conduct comprehensive experiments on several state-of-the-art mobile GUI agents. The average success rate is only 27.92%, dropping to 17.82% on long-horizon tasks, which reveals substantial weaknesses in current agents under complex scenarios. Evaluation result comparison with real-world sample tasks demonstrate that agent assessments based on our synthetic environment generalize well. We further provide diagnostic insights across key capability dimensions and discuss implications for future mobile GUI agent development.
• Abstract（参考訳）: 大規模言語モデルを利用したモバイルGUIエージェントは急速に進歩し、現実的で包括的な評価のための緊急ニーズを生み出している。 既存のベンチマークは再現性を優先するが、実際のアプリケーションで報酬を構築するのが難しいため、しばしばオープンソースのアプリやファイル操作タスクに制限される。 さらに、ほとんどのベンチマークは基礎的な接地とナビゲーションに重点を置いており、複雑な長い水平相互作用をカバーしている。 これらの制限に対処するために、SimuWoBを紹介した。これはモバイルGUIエージェントのための完全に総合的なベンチマークで、多種多様なタイプと難易度にまたがる120の課題がある。 高忠実度タスクと環境を合成し,各タスクに有効な報酬を自動的に提供する,堅牢な仮想環境生成フレームワークを構築している。 それぞれの環境は、URLを介してアクセス可能なバックエンドのないWebページとしてデプロイされ、効率的で再現可能な評価を可能にします。 我々は、最先端のモバイルGUIエージェントについて包括的な実験を行う。 平均成功率は27.92%に過ぎず、17.82%に減少し、複雑なシナリオ下での現在のエージェントの重大な弱点が明らかになる。 実世界のサンプルタスクと比較した結果,我々の合成環境に基づくエージェントアセスメントが良好に一般化されることが示された。 さらに、重要な機能範囲の診断的洞察を提供し、将来のモバイルGUIエージェント開発における影響について論じる。

関連論文リスト

• MobileBench-OL: A Comprehensive Chinese Benchmark for Evaluating Mobile GUI Agents in Real-World Environment [17.207878975582556]
  MobileBench-OLは、80の中国アプリから1080タスクのオンラインベンチマークである。 エージェントのタスク実行、複雑な推論、ノイズロバスト性を測定する。 MobileBench-OLは、現実世界の要件を満たすための重要な改善の余地を示している。
  論文  参考訳（メタデータ） (2026-01-28T07:49:48Z)
• Terminal-Bench: Benchmarking Agents on Hard, Realistic Tasks in Command Line Interfaces [126.23612941699565]
  Terminal-Bench 2.0は、現実世界の問題に触発されたコンピュータ端末環境における89のタスクからなるベンチマークである。 ベンチマークでは、フロンティアモデルとエージェントのスコアが65%未満であることが示されています。 将来的にはhttps://www.tbench.ai/で開発者や研究者を支援するために、データセットと評価ハーネスを公開しています。
  論文  参考訳（メタデータ） (2026-01-17T01:29:30Z)
• MobileWorld: Benchmarking Autonomous Mobile Agents in Agent-User Interactive and MCP-Augmented Environments [19.665566262516275]
  AndroidWorldは、再現可能な環境と決定論的評価のために、主要なベンチマークとして登場した。 MobileWorldは、201タスクを通じて現実世界の使用を反映するように設計された、はるかに難しいベンチマークである。
  論文  参考訳（メタデータ） (2025-12-22T14:31:28Z)
• VitaBench: Benchmarking LLM Agents with Versatile Interactive Tasks in Real-world Applications [20.065087936770215]
  実世界の環境に根ざした多目的対話型タスクのエージェントを評価するベンチマークであるVitaBenchを紹介する。 VitaBenchは、66のツールを含む、これまでで最も複雑な生命維持シミュレーション環境を持つエージェントを提示する。 総合評価の結果,最も先進的なモデルでさえ,クロスシナリオタスクにおいて30%の成功率しか達成できないことがわかった。
  論文  参考訳（メタデータ） (2025-09-30T16:33:49Z)
• What Limits Virtual Agent Application? OmniBench: A Scalable Multi-Dimensional Benchmark for Essential Virtual Agent Capabilities [56.646832992178105]
  我々は、制御可能な複雑性のタスクを合成するための自動パイプラインを備えたクロスプラットフォームグラフベースのベンチマークであるOmniBenchを紹介した。 OmniEvalは、サブタスクレベルの評価、グラフベースのメトリクス、および10機能にわたる包括的なテストを含む多次元評価フレームワークである。 我々のデータセットには、20のシナリオにわたる36万のグラフ構造化タスクが含まれており、人間の受け入れ率は91%に達する。
  論文  参考訳（メタデータ） (2025-06-10T15:59:38Z)
• The BrowserGym Ecosystem for Web Agent Research [151.90034093362343]
  BrowserGymエコシステムは、Webエージェントの効率的な評価とベンチマークの必要性の高まりに対処する。 本稿では,Webエージェント研究のためのBrowserGymベースの拡張エコシステムを提案する。 大規模なマルチベンチマークWebエージェント実験を初めて実施し、6つのWebエージェントベンチマークで6つの最先端LCMの性能を比較した。
  論文  参考訳（メタデータ） (2024-12-06T23:43:59Z)
• SPA-Bench: A Comprehensive Benchmark for SmartPhone Agent Evaluation [89.24729958546168]
  スマートフォンエージェントは、ユーザーがデバイスを効率的に制御するのを助けるためにますます重要になっている。 We present SPA-Bench, a comprehensive SmartPhone Agent Benchmark designed to evaluate (M)LLM-based agent。
  論文  参考訳（メタデータ） (2024-10-19T17:28:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。