論文の概要: From Tapping to Hopping: Augmenting Mobile GUI Agents with App-Native Deeplinks
- arxiv url: http://arxiv.org/abs/2609.30887v1
- Date: Fri, 25 Sep 2026 06:50:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 18:27:51.261996
- Title: From Tapping to Hopping: Augmenting Mobile GUI Agents with App-Native Deeplinks
- Title（参考訳）: タップからホッピング: App-Native DeeplinksによるモバイルGUIエージェントの拡張
- Abstract要約: ひとつのディープリンク呼び出しは、画面ごとのGUIアクションのシーケンスを置き換えることができる。
直接ナビゲーションやGUIアクションにディープリンクを使用し、他のオンスクリーン操作やフォールバックを行うハイブリッドインタラクションを導入する。
- 参考スコア（独自算出の注目度）: 27.01497375242283
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Mobile GUI agents complete tasks using GUI actions like taps and swipes. These actions are broadly applicable across applications, but reaching a navigation interface. A single deeplink call can replace a sequence of screen-by-screen GUI actions. We therefore introduce hybrid interaction, using deeplinks for direct navigation and GUI actions for other on-screen operations and fallback. To enable this, we discover candidate deeplinks through static analysis, validate them on real devices, and describe their observed landing screens. This process creates a verified and grounded deeplink catalog that pairs each working deeplink with a description of its landing screen. Using this catalog, we introduce GUI-Hopper, a improves task success in commercial applications on real devices, further demonstrating the benefits of hybrid interaction.
- Abstract（参考訳）: モバイルGUIエージェントは、タップやスワイプのようなGUIアクションを使ってタスクを完了します。
これらのアクションはアプリケーション全体に広く適用できますが、ナビゲーションインターフェースに到達します。
ひとつのディープリンク呼び出しは、画面ごとのGUIアクションのシーケンスを置き換えることができる。
そこで私たちは、ディープリンクを使って直接ナビゲーションやGUIアクションをオンスクリーン操作やフォールバックなど、ハイブリッドなインタラクションを導入しました。
これを実現するため、静的解析により候補ディープリンクを発見し、実機上で検証し、観測されたランディングスクリーンを記述する。
このプロセスは検証済みのディープリンクカタログを作成し、それぞれのディープリンクをランディングスクリーンの説明と組み合わせる。
このカタログを用いて、実際のデバイス上での商用アプリケーションにおけるタスク成功を改善するGUI-Hopperを導入し、さらにハイブリッドインタラクションの利点を実証する。
関連論文リスト
- JarvisGUI: Towards Cross-Device GUI Agents with Dynamic Task Composition [51.15720718264743]
プラットフォーム間の協調的なインタラクションを必要とするデバイス間通信におけるGUIエージェントの評価を行う動的ベンチマークであるJarvisGUIを紹介する。
JarvisGUIは、GUIタスクを軽量な型システムの下で入力出力変換として定式化し、複数ステップのクロスデバイス変換を自動的に構成する。
我々は、最先端のオープンソースGUIエージェントが、実際の使用に必要な状態遷移認識、クロスプラットフォームのコンテキスト推論、長期水平依存性管理に苦労していることを示します。
論文 参考訳（メタデータ） (2026-09-09T16:59:59Z) - SwipeGen: Bridging the Execution Gap in GUI Agents via Human-like Swipe Synthesis [11.291868789244496]
人間のスワイプ動作を定量的な次元に分解し,人間のスワイプ操作を合成する自動パイプラインSwipeGenを提案する。
このパイプラインに基づいて、GUIエージェントのスワイプ実行能力を評価するための最初のベンチマークを構築し、リリースする。
対話実行機能を強化したGUIエージェントであるGUISwiperを提案する。
論文 参考訳（メタデータ） (2026-01-26T09:35:10Z) - MobileGUI-RL: Advancing Mobile GUI Agent through Reinforcement Learning in Online Environment [63.62778707277929]
MobileGUI-RLは、オンライン環境でGUIエージェントをトレーニングするスケーラブルなフレームワークである。
自己探索とフィルタリングを通じて学習可能なタスクのカリキュラムを合成する。
GRPOをGUIナビゲーションに適応させ、軌道認識の利点と複合報酬を付与する。
論文 参考訳（メタデータ） (2025-07-08T07:07:53Z) - SeeAction: Towards Reverse Engineering How-What-Where of HCI Actions from Screencasts for UI Automation [27.642643976716716]
本研究では,11個のコマンドと11個のウィジェットを認識可能なディープラーニングベースのコンピュータビジョンモデルを提案する。
7260のビデオアクションペアによる大規模なデータセットをラベル付けし、Word、Zoom、Firefox、Photoshop、Windows 10の設定とのインタラクションを記録します。
論文 参考訳（メタデータ） (2025-03-17T07:07:38Z) - Falcon-UI: Understanding GUI Before Following User Instructions [57.67308498231232]
インテリジェンスフリーなGUIナビゲーションデータセットであるInsight-UIデータセットを導入し、GUI環境のモデル理解を強化する。
Insight-UIデータセットはCommon Crawlコーパスから自動的に生成され、さまざまなプラットフォームをシミュレートする。
我々は、最初Insight-UIデータセットで事前訓練され、その後AndroidおよびWeb GUIデータセットで微調整されたGUIエージェントモデルFalcon-UIを開発した。
論文 参考訳（メタデータ） (2024-12-12T15:29:36Z) - GUI-World: A Video Benchmark and Dataset for Multimodal GUI-oriented Understanding [73.9254861755974]
本稿では,人間のMLLMアノテーションを巧みに作成するGUI-Worldという新しいデータセットを提案する。
各種GUIコンテンツの理解において,画像LLMやビデオLLMなどの最先端MLLMの能力を評価する。
論文 参考訳（メタデータ） (2024-06-16T06:56:53Z) - GUIOdyssey: A Comprehensive Dataset for Cross-App GUI Navigation on Mobile Devices [47.98821056800437]
クロスプラットフォームなモバイルGUIナビゲーションのためのデータセットであるGUIOdysseyを提示する。
GuiOdysseyは8,334エピソードで構成され、平均15.3ステップで6つのモバイルデバイス、212の異なるアプリ、1,357のアプリの組み合わせをカバーしている。
我々は,履歴リサンプラーモジュールを備えた長期横断ナビゲーションのための探索的マルチモーダルエージェントであるOdysseyAgentを開発した。
論文 参考訳（メタデータ） (2024-06-12T17:44:26Z) - SeeClick: Harnessing GUI Grounding for Advanced Visual GUI Agents [17.43878828389188]
タスク自動化のためのスクリーンショットのみに依存する新しいビジュアルグラフィカルユーザインタフェース(GUI)エージェントであるSeeClickを提案する。
この課題に対処するため,GUIグラウンディングによるSeeClickの改良を提案し,GUIグラウンディングデータのキュレーションを自動化する手法を考案した。
また、モバイル、デスクトップ、Web環境を含む初めての現実的なGUIグラウンドティングベンチマークであるScreenSpotも作成しました。
論文 参考訳（メタデータ） (2024-01-17T08:10:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。