論文の概要: MobileExplorer: Accelerating On-Device Inference for Mobile GUI Agents via Online Exploration
- arxiv url: http://arxiv.org/abs/2605.26546v1
- Date: Tue, 26 May 2026 04:53:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-27 17:51:41.675519
- Title: MobileExplorer: Accelerating On-Device Inference for Mobile GUI Agents via Online Exploration
- Title（参考訳）: MobileExplorer: オンライン探索によるモバイルGUIエージェントのオンデバイス推論の高速化
- Abstract要約: MobileExplorerは、オンライン探索を通じて、ビジョンベースのモバイルGUIエージェントのデバイス上の推論を加速する。
高速だが簡単なバックトラッキング戦略が失敗した場合に、初期UI状態をロールバックして復元する2段階のメカニズムを設計する。
MobileExplorerは、平均的な推論ステップ数とエンドツーエンドのレイテンシを23%削減し、タスクの成功率を最大5%向上させる。
- 参考スコア（独自算出の注目度）: 3.5101477906303633
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Mobile graphical user interface (GUI) agents enable AI models to autonomously operate smartphones on behalf of users. However, most existing systems focus primarily on optimizing task accuracy and rely on cloud-hosted models for inference, which introduces privacy concerns and network-dependent latency. As a result, fully on-device deployment of mobile GUI agents remains underexplored. We propose MobileExplorer, a new framework that accelerates on-device inference for vision-based mobile GUI agents via online exploration. The key idea is to exploit the long per-step reasoning time of vision-language models (VLMs) by performing lightweight, parallel exploration of UI elements. During model inference, the agent proactively probes semantically relevant UI elements and records these exploration traces as structured memory. To ensure reliable execution in live mobile environments, we design a two-level rollback mechanism that robustly restores the initial UI state when a fast but naive backtracking strategy fails. The collected exploration traces are then summarized into concise contextual hints and injected into the prompt to enhance the subsequent reasoning step. We evaluate MobileExplorer on multiple off-the-shelf devices using the AndroidWorld benchmark, as well as newly designed, more complex tasks and dynamic on-device environments. MobileExplorer reduces the average number of reasoning steps and end-to-end latency by 23\%, while maintaining or improving task success rates by up to 5\%. A video demonstration of MobileExplorer performance in the real world is available at https://youtu.be/thK7MJmdlvM .
- Abstract（参考訳）: モバイルグラフィカルユーザインタフェース(GUI)エージェントは、AIモデルがユーザに代わってスマートフォンを自律的に操作できるようにする。
しかし、既存のシステムのほとんどは、主にタスクの精度の最適化に重点を置いており、プライバシの懸念とネットワーク依存のレイテンシをもたらすクラウドホストモデルに依存している。
結果として、モバイルGUIエージェントの完全なオンデバイスデプロイはまだ未検討のままである。
我々は,モバイルGUIエージェントのデバイス上での推論を,オンライン探索を通じて高速化する新しいフレームワークであるMobileExplorerを提案する。
キーとなるアイデアは、UI要素の軽量で並列な探索を実行することで、視覚言語モデル(VLM)の長いステップごとの推論時間を活用することである。
モデル推論の間、エージェントは積極的に意味のあるUI要素を探索し、これらの探索トレースを構造化メモリとして記録する。
ライブモバイル環境での信頼性を確保するため,高速かつ簡単なバックトラッキング戦略が失敗した場合に,初期UI状態を堅牢に復元する2段階のロールバック機構を設計する。
収集された探索トレースはその後、簡潔な文脈ヒントにまとめられ、プロンプトに注入され、その後の推論ステップが強化される。
AndroidWorldベンチマークを用いて、複数のオフザシェルフデバイス上でMobileExplorerを評価し、新たに設計されたより複雑なタスクとデバイス上の動的環境について検討した。
MobileExplorerは、平均的な推論ステップ数とエンドツーエンドのレイテンシを23倍に削減し、タスクの成功率を最大5倍に維持または改善する。
実世界のMobileExplorerパフォーマンスのデモビデオはhttps://youtu.be/thK7MJmdlvM で公開されている。
関連論文リスト
- OpenMobile: Building Open Mobile Agents with Task and Trajectory Synthesis [98.43366988856592]
高品質なタスク命令とエージェントトラジェクトリを合成するオープンソースフレームワークであるOpenMobileについて述べる。
データに基づいてトレーニングされたエージェントは、3つの動的モバイルエージェントベンチマークで競合する結果を得る。
論文 参考訳（メタデータ） (2026-04-16T14:53:08Z) - MobileWorld: Benchmarking Autonomous Mobile Agents in Agent-User Interactive and MCP-Augmented Environments [19.665566262516275]
AndroidWorldは、再現可能な環境と決定論的評価のために、主要なベンチマークとして登場した。
MobileWorldは、201タスクを通じて現実世界の使用を反映するように設計された、はるかに難しいベンチマークである。
論文 参考訳（メタデータ） (2025-12-22T14:31:28Z) - AUTO-Explorer: Automated Data Collection for GUI Agent [58.58097564914626]
本稿では,アノテーションコストを最小限に抑えた自動データ収集手法であるAuto-Explorerを提案する。
それは、GUI環境を自律的に解析し探索する、シンプルだが効果的な探索メカニズムを組み込んでいる。
収集したデータを用いて,マルチモーダル大規模言語モデル(MLLM)を微調整し,GUI要素基盤テストセットを確立する。
論文 参考訳（メタデータ） (2025-11-09T15:13:45Z) - Hijacking JARVIS: Benchmarking Mobile GUI Agents against Unprivileged Third Parties [19.430061128447022]
本稿では,モバイルGUIエージェントの脆弱性に関する最初の系統的研究について述べる。
本稿では,スケーラブルな攻撃シミュレーションフレームワークであるAgentHazardを紹介した。
動的タスク実行環境と攻撃シナリオの静的データセットの両方からなるベンチマークスイートを開発する。
以上の結果から, 調査対象となったエージェントは, 誤解を招く第三者コンテンツに大きく影響していることが判明した。
論文 参考訳（メタデータ） (2025-07-06T03:31:36Z) - Mobile-Agent-E: Self-Evolving Mobile Assistant for Complex Tasks [85.48034185086169]
Mobile-Agent-Eは、過去の経験を通じて自己進化できる階層的なマルチエージェントフレームワークである。
Mobile-Agent-Eは従来の最先端アプローチよりも22%の絶対的な改善を実現している。
論文 参考訳（メタデータ） (2025-01-20T20:35:46Z) - MobileAgentBench: An Efficient and User-Friendly Benchmark for Mobile LLM Agents [7.4568642040547894]
大規模言語モデル(LLM)ベースのモバイルエージェントは、携帯電話のグラフィカルユーザインタフェース(GUI)と直接対話できることから、ますます人気が高まっている。
学術部門と産業部門の両方で有望な見通しにもかかわらず、既存のモバイルエージェントのパフォーマンスをベンチマークすることに注力する研究はほとんどない。
我々は、広範囲な手動テストの負担を軽減するために、効率的でユーザフレンドリなベンチマークMobileAgentBenchを提案する。
論文 参考訳（メタデータ） (2024-06-12T13:14:50Z) - Mobile-Agent-v2: Mobile Device Operation Assistant with Effective Navigation via Multi-Agent Collaboration [52.25473993987409]
モバイルデバイス操作支援のためのマルチエージェントアーキテクチャであるMobile-Agent-v2を提案する。
アーキテクチャは、計画エージェント、決定エージェント、反射エージェントの3つのエージェントから構成される。
単一エージェントアーキテクチャと比較して,Mobile-Agent-v2ではタスク完了率が30%以上向上していることを示す。
論文 参考訳（メタデータ） (2024-06-03T05:50:00Z) - LlamaTouch: A Faithful and Scalable Testbed for Mobile UI Task Automation [8.998467488526327]
本稿では、デバイス上でのモバイルUIタスク実行と、忠実でスケーラブルなタスク評価のためのテストベッドであるLlamaTouchを提案する。
LlamaTouchは、エージェントが手動でアノテートされた本質的なアプリケーション/システム状態をすべてトラバースするかどうかのみを評価する、新しい評価アプローチを採用している。
LlamaTouchはまた、タスクアノテーションと新しいモバイルエージェントの統合を可能にする。
論文 参考訳（メタデータ） (2024-04-12T15:39:09Z) - Mobile-Agent: Autonomous Multi-Modal Mobile Device Agent with Visual Perception [52.5831204440714]
自律型マルチモーダルモバイルデバイスエージェントMobile-Agentを紹介する。
Mobile-Agentはまず視覚認識ツールを利用して、アプリのフロントエンドインターフェイス内の視覚的要素とテキスト的要素の両方を正確に識別し、特定する。
そして、複雑なオペレーションタスクを自律的に計画し、分解し、ステップバイステップでモバイルアプリをナビゲートする。
論文 参考訳（メタデータ） (2024-01-29T13:46:37Z) - MobileDets: Searching for Object Detection Architectures for Mobile
Accelerators [61.30355783955777]
逆ボトルネック層は、モバイルデバイス上の最先端のオブジェクト検出モデルにおいて、主要なビルディングブロックとなっている。
通常の畳み込みは、アクセラレーターにおけるオブジェクト検出の遅延精度トレードオフを高める強力なコンポーネントである。
我々は、モバイルアクセラレーター全体で最先端の成果を得られるオブジェクト検出モデル、MobileDetsのファミリーを得る。
論文 参考訳（メタデータ） (2020-04-30T00:21:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。