論文の概要: Same Tasks, Different Apps: Why Mobile GUI Agents Fail to Generalize?
- arxiv url: http://arxiv.org/abs/2609.34139v1
- Date: Mon, 28 Sep 2026 02:21:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-04 06:36:43.739805
- Title: Same Tasks, Different Apps: Why Mobile GUI Agents Fail to Generalize?
- Title（参考訳）: 同じタスク、異なるアプリ: なぜモバイルGUIエージェントは一般化できないのか?
- Abstract要約: 我々はAnyAppBenchを紹介した。AnyAppBenchはカテゴリ制御されたAndroidのライブベンチマークで、アプリケーション間の一般化を評価する。
10の機能カテゴリ、100のタスクテンプレート、520のタスク-アプリケーションペアで52のアプリケーションに対応している。
13のエージェントにまたがって、元のアプリケーションの成功は、同じ目標を持った新しいアプリケーションに確実に転送されないことが分かりました。
- 参考スコア（独自算出の注目度）: 20.490400870497687
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Mobile GUI agents deployed in real settings must work across different applications that support the same functionality. Most existing benchmarks test each task in only one app, so a high score can mean the agent understands the task, or only that it knows that particular app. We introduce AnyAppBench, a category-controlled live Android benchmark that evaluates cross-application generalization while keeping the user goal fixed. It spans 10 functional categories, 100 task templates, and 520 task--application pairs over 52 applications. Agents run from raw instructions and with app-independent sub-goals, and a VLM judge labels every failed run under a fixed failure taxonomy whose reliability is measured by human annotation. We find that, across 13 agents, success on the original application does not transfer reliably to new applications with the same goal. Furthermore, providing high-level sub-goal decomposition produces only small, category-dependent changes that do not close the gap, and the mix of failure types changes with the target interface. Based on those insights, we believe the AnyAppBench benchmark provides an important stepping stone toward robust real-world deployment of mobile GUI agents. Our code, data and the leaderboard can be found at the project website https://anyappbench.github.io/.
- Abstract（参考訳）: 実際の設定でデプロイされるモバイルGUIエージェントは、同じ機能をサポートする異なるアプリケーション間で動作しなければなりません。
ほとんどの既存のベンチマークは、各タスクを1つのアプリでテストするので、高いスコアは、エージェントがそのタスクを理解している、あるいは特定のアプリを知っていることのみを意味する可能性がある。
我々はAnyAppBenchを紹介した。AnyAppBenchはカテゴリ管理されたAndroidベンチマークで、ユーザ目標の修正を維持しながら、アプリケーション間の一般化を評価する。
10の機能カテゴリ、100のタスクテンプレート、520のタスク-アプリケーションペアで52のアプリケーションに対応している。
エージェントは生の命令から実行され、アプリに依存しないサブゴールで実行され、VLM判事は、人間のアノテーションによって信頼性が測定される固定された障害分類の下で、すべての障害実行をラベル付けする。
13のエージェントにまたがって、元のアプリケーションの成功は、同じ目標を持った新しいアプリケーションに確実に転送されないことが分かりました。
さらに、ハイレベルなサブゴール分解を提供することで、ギャップを埋めない小さなカテゴリに依存した変更しか生成せず、障害タイプとターゲットインターフェースが混在する。
これらの知見に基づいて、AnyAppBenchベンチマークは、モバイルGUIエージェントの堅牢な実環境展開に向けた重要な一歩だと信じています。
私たちのコード、データ、およびリーダーボードはプロジェクトのWebサイトhttps://anyappbench.github.io/.com/で確認できます。
関連論文リスト
- RecreationWorld: Scalable and Verifiable Environments for Hybrid Computer-Use Agents [53.51359930826217]
真のデジタルワークには、端から端まで積み重ねるのではなく、両方をインターリーブする必要があります。
インターフェースを探索し、ソフトウェアを実装し、それらのアーティファクトを実行し、視覚的に検証するタイミングを自律的に決定するハイブリッドCUAについて研究する。
レクリエーションを中心に構築された5プラットフォームフレームワークであるRecreationWorldを紹介します。
論文 参考訳（メタデータ） (2026-09-18T17:00:56Z) - Cross-Platform vs Native Mobile Development: An Empirical Study of Software Quality Trade-offs [51.56484100374058]
クロスプラットフォームのモバイルフレームワークはコードの再利用、デリバリサイクルの短縮、実装の労力の削減を約束する。
この記事では、同じ植物管理アプリケーションの5つの実装を比較する。ネイティブiOS、ネイティブAndroid、Flutter、React Native、Kotlin Multiplatform。
この研究は、時間的挙動、実装のフットプリント、ソースコードの組織、および観測可能なレンダリング応答性を調べる。
論文 参考訳（メタデータ） (2026-09-18T09:33:33Z) - JarvisGUI: Towards Cross-Device GUI Agents with Dynamic Task Composition [51.15720718264743]
プラットフォーム間の協調的なインタラクションを必要とするデバイス間通信におけるGUIエージェントの評価を行う動的ベンチマークであるJarvisGUIを紹介する。
JarvisGUIは、GUIタスクを軽量な型システムの下で入力出力変換として定式化し、複数ステップのクロスデバイス変換を自動的に構成する。
我々は、最先端のオープンソースGUIエージェントが、実際の使用に必要な状態遷移認識、クロスプラットフォームのコンテキスト推論、長期水平依存性管理に苦労していることを示します。
論文 参考訳（メタデータ） (2026-09-09T16:59:59Z) - APPSim-Bench: Bridging Real-world Apps and Reproducible Evaluation for Mobile GUI Agents [29.43824786048825]
移動エージェントは自然言語命令からタスクを実行することができるが、その評価は現実的かつ再現性の高いものにすることは困難である。
既存のベンチマークは、これらの目標をトレードオフするのに対して、ライブの商用アプリは、推奨、広告、アカウント、コンテンツの変更から制御不能なバリエーションを導入している。
本稿では,タスク関連インタラクションロジックを保持する制御可能なシミュレートアプリを通じて,このトレードオフに対処するAppSim-Benchを提案する。
論文 参考訳（メタデータ） (2026-09-07T16:25:13Z) - AppWorld-UL: Benchmarking Diverse Agent-User Interactions for Tool-Use [38.67550182213879]
AppWorld-ULは、多様なエージェント-ユーザインタラクションを必要とする516の課題のベンチマークである。
我々の評価によると、最先端のLLMであるClaude Opus 4.7は、AppWorld-ULでわずか48.6%の成功しか達成していない。
このことは、ベンチマークの難しさと、ユーザ・イン・ザ・ループ・ツール・エージェントの研究を前進させる可能性を示している。
論文 参考訳（メタデータ） (2026-07-10T16:55:04Z) - ScarfBench: A Benchmark for Cross-Framework Application Migration in Enterprise Java [11.354549034103075]
ScarfBenchは、エンタープライズJavaアプリケーションの振る舞いを保存するクロスフレームワークマイグレーションのためのベンチマークである。
Spring、Jakarta EE、Quarkusにまたがる、専門家による実装トリプルから構築されている。
ベンチマーク、ハーネス、エージェントトレースはhttps://scarfbench.info.comで公開しています。
論文 参考訳（メタデータ） (2026-05-07T16:05:35Z) - OpenApps: Simulating Environment Variations to Measure UI-Agent Reliability [49.99934595922838]
自律的なUIエージェントの約束を実現する上では、信頼性が重要です。
6つのアプリを備えた軽量なオープンソースエコシステムであるOpenAppsを開発しています。
我々は、7つの主要なマルチモーダルエージェントの信頼性を研究するために、1万以上の独立した評価を実行する。
論文 参考訳（メタデータ） (2025-11-25T19:00:22Z) - GUIOdyssey: A Comprehensive Dataset for Cross-App GUI Navigation on Mobile Devices [47.98821056800437]
クロスプラットフォームなモバイルGUIナビゲーションのためのデータセットであるGUIOdysseyを提示する。
GuiOdysseyは8,334エピソードで構成され、平均15.3ステップで6つのモバイルデバイス、212の異なるアプリ、1,357のアプリの組み合わせをカバーしている。
我々は,履歴リサンプラーモジュールを備えた長期横断ナビゲーションのための探索的マルチモーダルエージェントであるOdysseyAgentを開発した。
論文 参考訳（メタデータ） (2024-06-12T17:44:26Z) - Autonomous Large Language Model Agents Enabling Intent-Driven Mobile GUI
Testing [17.24045904273874]
そこで我々は,Android用の自動GUIテストエージェントであるDroidAgentを提案する。
これはLarge Language Modelと、長期記憶や短期記憶などのサポートメカニズムに基づいている。
DroidAgentは61%のアクティビティカバレッジを達成したが、現在の最先端のGUIテスト技術では51%だった。
論文 参考訳（メタデータ） (2023-11-15T01:59:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。