論文の概要: Benchmarking General Mobile Assistants in Challenging Real-World Scenarios
- arxiv url: http://arxiv.org/abs/2608.27477v1
- Date: Fri, 21 Aug 2026 12:17:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-31 17:16:04.074673
- Title: Benchmarking General Mobile Assistants in Challenging Real-World Scenarios
- Title（参考訳）: 実世界のシナリオにおける一般的なモバイルアシスタントのベンチマーク
- Abstract要約: 我々は,現実のシナリオに挑戦する上で,一般的なモバイルアシスタントを評価するためのベンチマークであるGMAを提案する。
GMAは、ライフスタイル共有や旅行計画といった領域にまたがるオープンソースプロジェクトに基づく7つのアプリケーションと、4つの困難層にわたる300のタスクを導入している。
タスクの複雑さが増すにつれて、パフォーマンスが大幅に低下し、現在のエージェントは現実的なユーザ要求を確実に扱えないことが分かりました。
- 参考スコア（独自算出の注目度）: 30.863445606315874
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Graphical user interfaces have emerged as an important environment for evaluating autonomous AI agents on multimodal interactive tasks. Existing benchmarks such as AndroidWorld and MobileWorld provide strong foundations for mobile agent evaluation, but their application coverage and task design do not yet fully capture the diversity and complexity of realistic mobile use. We present GMA, a benchmark for evaluating general mobile assistants in challenging real-world scenarios. GMA introduces seven applications based on open-source projects, spanning domains such as lifestyle sharing and travel planning, and 300 tasks across four difficulty tiers, from atomic actions to complex multi-step workflows. We evaluate eight frontier models and find that performance declines substantially as task complexity increases, with current agents remaining far from reliably handling realistic user requirements. We further conduct controlled ablation studies of agent harness choices, including context retention and explicit state tracking, under a shared environment, model setting, and task taxonomy. Results show that appropriate harness design can meaningfully improve performance, particularly on demanding workflows, while the effectiveness of specific designs can vary across foundation models. Overall, GMA complements existing benchmarks by expanding application coverage and task complexity, providing a challenging testbed for evaluating mobile agents and studying how harness design supports reliable execution in complex mobile workflows.
- Abstract（参考訳）: グラフィカルなユーザインタフェースは、マルチモーダルな対話タスクで自律的なAIエージェントを評価するための重要な環境として登場した。
AndroidWorldやMobileWorldのような既存のベンチマークは、モバイルエージェント評価の強力な基盤を提供するが、アプリケーションのカバレッジとタスク設計はまだ、現実的なモバイル利用の多様性と複雑さを完全に捉えていない。
我々は,現実のシナリオに挑戦する上で,一般的なモバイルアシスタントを評価するためのベンチマークであるGMAを提案する。
GMAは、ライフスタイル共有や旅行計画といったドメインにまたがるオープンソースプロジェクトに基づく7つのアプリケーションと、アトミックアクションから複雑なマルチステップワークフローまで、4つの難易度階層にわたる300のタスクを導入している。
我々は8つのフロンティアモデルを評価し、タスクの複雑さが増大するにつれて性能が大幅に低下し、現在のエージェントは現実的なユーザ要求を確実に扱うには程遠かった。
さらに、共用環境、モデル設定、タスク分類において、文脈保持と明示的な状態追跡を含むエージェントハーネス選択の制御されたアブレーション研究を行う。
その結果、適切なハーネス設計は、特に要求されるワークフローにおいて、パフォーマンスを有意義に向上させることができる一方で、特定の設計の有効性は基礎モデルによって異なることが示された。
全体として、GMAはアプリケーションカバレッジとタスクの複雑さを拡張し、モバイルエージェントを評価する上で困難なテストベッドを提供し、複雑なモバイルワークフローで設計が信頼性の高い実行をサポートする方法を研究することで、既存のベンチマークを補完する。
関連論文リスト
- Running the Gauntlet: Re-evaluating the Capabilities of Agents Beyond Familiar Environments [67.2234316079859]
GauntletBenchは、挑戦的なシナリオでエージェントの一般化を評価するためのWebベースのベンチマークである。
調査されていない5つのプロフェッショナルアプリケーションにわたる3つの機能(時間的知覚、グラフィカルな理解、そして3D推論)に焦点を当てている。
実験結果から,フロンティアエージェントシステムは人間レベルの性能を達成するには程遠いことが判明した。
論文 参考訳（メタデータ） (2026-06-12T12:32:24Z) - SpatialWorld: Benchmarking Interactive Spatial Reasoning of Multimodal Agents in Real-World Tasks [73.92333717662558]
SpaceWorldは、複雑な現実世界のタスクにおけるマルチモーダルエージェントのインタラクティブな空間的理解を評価するためのベンチマークである。
多様なドメイン(例えば、家庭のルーチン、旅行、社会協力など)にまたがる760の人称タスクが特徴である。
信頼性評価のために、各タスクは、人間検証された初期状態、参照軌跡、端末状態検証器を含む。
論文 参考訳（メタデータ） (2026-06-08T15:51:51Z) - SimuWoB: Simulating Real-World Mobile Apps for Fast and Faithful GUI Agent Benchmarking [23.006082521142137]
SimuWoBは、さまざまなタイプと難易度にまたがる120の課題タスクを備えた、モバイルGUIエージェントのための完全な総合ベンチマークである。
我々は高忠実度タスクと環境を合成する堅牢な仮想環境生成フレームワークを構築した。
我々は、最先端のモバイルGUIエージェントについて包括的な実験を行う。
論文 参考訳（メタデータ） (2026-05-24T16:33:14Z) - TongSIM: A General Platform for Simulating Intelligent Machines [59.27575233453533]
エボディード・インテリジェンス(Embodied Intelligence)は、現実的なシミュレートされた環境における訓練エージェントに焦点を当てる。
TongSIMは、エンボディエージェントのトレーニングと評価のための高忠実で汎用的なプラットフォームである。
論文 参考訳（メタデータ） (2025-12-23T10:00:43Z) - MobileWorld: Benchmarking Autonomous Mobile Agents in Agent-User Interactive and MCP-Augmented Environments [19.665566262516275]
AndroidWorldは、再現可能な環境と決定論的評価のために、主要なベンチマークとして登場した。
MobileWorldは、201タスクを通じて現実世界の使用を反映するように設計された、はるかに難しいベンチマークである。
論文 参考訳（メタデータ） (2025-12-22T14:31:28Z) - EIFBENCH: Extremely Complex Instruction Following Benchmark for Large Language Models [64.70546873396624]
大規模言語モデル(LLM)を評価するためのEIFBENCH(Extremely Complex Instruction following Benchmark)を提案する。
EIFBENCHにはマルチタスクシナリオが含まれており、多様なタスクタイプを同時に総合的に評価することができる。
また,LLMのマルチタスクワークフローを正確に満たす能力を高めるために,セグメントポリシー最適化(SegPO)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2025-06-10T02:39:55Z) - Unlocking Smarter Device Control: Foresighted Planning with a World Model-Driven Code Execution Approach [82.27842884709378]
本研究では,自然言語理解と構造化推論を優先し,エージェントの環境に対するグローバルな理解を高める枠組みを提案する。
本手法は,従来の手法,特にタスク成功率の44.4%向上を達成している。
論文 参考訳（メタデータ） (2025-05-22T09:08:47Z) - SPA-Bench: A Comprehensive Benchmark for SmartPhone Agent Evaluation [89.24729958546168]
スマートフォンエージェントは、ユーザーがデバイスを効率的に制御するのを助けるためにますます重要になっている。
We present SPA-Bench, a comprehensive SmartPhone Agent Benchmark designed to evaluate (M)LLM-based agent。
論文 参考訳（メタデータ） (2024-10-19T17:28:48Z) - MobileExperts: A Dynamic Tool-Enabled Agent Team in Mobile Devices [17.702068044185086]
本稿では,ツールの定式化とマルチエージェントコラボレーションを初めて導入するMobileExpertsを紹介する。
我々は,専門家同士の協調関係を確立するための二重層計画機構を開発する。
実験の結果,MobileExpertsはすべてのインテリジェンスレベルにおいて優れた性能を示し,推論コストの22%削減を実現している。
論文 参考訳（メタデータ） (2024-07-04T13:12:19Z) - Benchmarking Mobile Device Control Agents across Diverse Configurations [19.01954948183538]
B-MoCAは、モバイルデバイス制御エージェントの評価と開発のためのベンチマークである。
我々は,大規模言語モデル (LLM) やマルチモーダル LLM を用いたエージェントを含む多種多様なエージェントをベンチマークする。
これらのエージェントは、簡単なタスクの実行の熟練度を示す一方で、複雑なタスクにおけるパフォーマンスの低さは、将来の研究が有効性を改善するための重要な機会を浮き彫りにしている。
論文 参考訳（メタデータ） (2024-04-25T14:56:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。