論文の概要: PhoneCLI: From App Interfaces to Callable Commands for Mobile Agents
- arxiv url: http://arxiv.org/abs/2609.35671v2
- Date: Mon, 05 Oct 2026 01:08:41 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-10-06 21:20:04.153456
- Title: PhoneCLI: From App Interfaces to Callable Commands for Mobile Agents
- Title（参考訳）: PhoneCLI: アプリインターフェースからモバイルエージェントのコール可能なコマンドへ
- Abstract要約: PhoneCLIはアプリのGUIナビゲーションを呼び出し可能なコマンドにコンパイルする。
オフラインでPhoneCLIは、外部からターゲットアプリを探索し、画面、インタラクティブな要素、ナビゲーションエッジを意味的に注釈付けされたマップに蒸留する。
オンラインで、エージェントはコマンドを選択し、実行前に検証し、VLMコストゼロでサブ秒間に決定的に実行する。
- 参考スコア（独自算出の注目度）: 7.872314159916069
- License:
- Abstract: Mobile GUI agents operate through a perception--action loop: at each step they screenshot the device, invoke a vision--language model (VLM), and emit an action. It is slow, costly, and brittle, yet most of what it does is navigation---and everyday navigation is static, ordered, and endlessly repeated. We present PhoneCLI, which compiles an app's GUI navigation into callable commands, without any app-internal API, runtime instrumentation, or model training. Offline, PhoneCLI explores a target app from the outside and distills its screens, interactive elements, and navigation edges into a semantically annotated map; each screen yields one deterministic command: a replay sequence that reaches it. Online, the agent selects a command, verifies it before execution, and then executes it deterministically in sub-second time at zero VLM cost; open-ended interaction and every failure of the compiled path fall back to the embedded VLM interpreter, exactly the pure VLM agent, so compilation can only help. On AndroidLab, PhoneCLI improves the task success rate while reducing steps and token consumption, and it transfers to AndroidWorld's official M3A agent with consistent efficiency gains. What PhoneCLI compiles is the app's navigation rather than one run, so it serves new tasks, not only repeated ones.
- Abstract（参考訳）: モバイルGUIエージェントは知覚-アクションループを介して動作し、各ステップでデバイスをスクリーンショットし、視覚言語モデル(VLM)を起動し、アクションを出力する。
動作は遅く、コストがかかり、脆いが、ナビゲーションはほとんどの場合、日々のナビゲーションは静的で、順序付けられ、無限に繰り返される。
アプリのGUIナビゲーションを呼び出し可能なコマンドにコンパイルするPhoneCLIを、アプリケーション内部API、ランタイムインスツルメンテーション、モデルトレーニングなしで提供する。
オフラインでは、PhoneCLIはターゲットアプリを外部から探索し、画面、インタラクティブな要素、ナビゲーションエッジをセマンティックアノテートマップに蒸留する。
オンラインでは、エージェントがコマンドを選択し、実行前に検証し、ゼロのVLMコストでサブ秒間に決定的に実行します。
AndroidLabでは、PhoneCLIはステップとトークン消費を削減しながらタスクの成功率を改善し、一貫した効率向上でAndroidWorldの公式M3Aエージェントに転送する。
PhoneCLIがコンパイルするものは、1回の実行ではなくアプリのナビゲーションです。
関連論文リスト
- LLMs are General Asynchronous Agents [0.5005891834913972]
我々は,ユーザが重複するメモリ状態で推論を定義できる非同期LLMフレームワークを開発した。
Qwen 3.x モデルでは,タスク固有のトレーニングを必要とせず,ビデオ理解,ゲーム,監視の非同期操作が可能であることを実証する。
論文 参考訳（メタデータ） (2026-09-28T15:35:26Z) - From Tapping to Hopping: Augmenting Mobile GUI Agents with App-Native Deeplinks [27.01497375242283]
ひとつのディープリンク呼び出しは、画面ごとのGUIアクションのシーケンスを置き換えることができる。
直接ナビゲーションやGUIアクションにディープリンクを使用し、他のオンスクリーン操作やフォールバックを行うハイブリッドインタラクションを導入する。
論文 参考訳（メタデータ） (2026-09-25T06:50:04Z) - CUA-Universe: A Scalable and Dynamic Environment for Hybrid GUI+CLI Agents [57.098070497654874]
コンピュータ利用エージェントはOSWorldやAndroidWorldのようなベンチマークに進歩してきたが、いまだGUIを通して動作している。
本稿では,スケーラブルな環境間パイプラインCUA-Universeを紹介する。
論文 参考訳（メタデータ） (2026-09-04T17:26:18Z) - FRAMEWORKERS: A Dynamic Multi-Agent Framework for AI-Generated Video Production [55.71860113185132]
本稿では,タスク中心のマルチエージェントフレームワークであるFRAMEWORKERSを紹介した。
Central Directorは、ビデオ生成を動的タスク管理として定式化し、タスクスタックを継続的に編集して、次にどのサブタスクを実行するか、どのサブエージェントを呼び出すかを決定する。
アシスタントは実行層として機能し、選択した各タスクを共有ワークスペースに接地し、必要なアセットとコンテキストを検索し、割り当てられたサブエージェントを呼び出し、結果のアーティファクトを永続化する。
FRAMEWORKERSは、ルーティング精度において強いプランナーよりも優れ、実行時の障害から確実に回復し、目に見えないサブに一般化することを示した。
論文 参考訳（メタデータ） (2026-08-30T14:28:50Z) - AnovaX: A Local, Multi-Agent Voice Assistant with LLM Planning, Typed Executors, and Adaptive Recovery [0.0]
AnovaXは、ユーザのコンピュータ上で完全に動作する、ローカルファーストの小さなアシスタントである。
すべてのツールは、独自のリトライポリシーと共有リソースロックを持つ特別なエージェントクラスに対応する。
コンパニオンサーバは、ローカルWiFi上で電話フレンドリーなリモコンを公開する。
論文 参考訳（メタデータ） (2026-07-16T18:09:36Z) - Beyond the GUI Paradigm: Do Mobile Agents Need the Phone Screen? [23.855513024800526]
モバイルプラットフォームは、デバイスサービスとデータへの直接アクセスを提供するコマンドラインインターフェース(CLI)を公開する。
AndroidWorldとMobileWorldの4つのモデルAPIにまたがる3つのコーディングエージェントを,モバイル固有のポストトレーニングなしで評価する。
私たちは、AndroidWorld(103/116タスクCLI解決可能)で88.8%、MobileWorld(101/117タスクCLI解決可能)で86.3%に達するオラクルCLIソリューションを提供しています。
モバイルCLIエージェントに関する将来の研究をサポートするため、エージェントの実装、オラクルソリューション、CLI-Advantageスイート、評価インフラストラクチャをオープンにします。
論文 参考訳（メタデータ） (2026-06-16T02:36:22Z) - PhoneHarness: Harnessing Phone-Use Agents through Mixed GUI, CLI, and Tool Actions [73.69976712292683]
PhoneHarnessは、検証可能なモバイル上で電話使用エージェントを研究するための混合アクションベンチマークと実行ハーネスである。
そのベンチマークであるPhoneHarness Benchは、エージェントが観測可能な副作用を持つタスクを完了したかどうかを評価する。
この結果から,信頼度の高い電話の自動化は,視覚的GUI制御だけでなく,動作面のルーティングと検証可能な実行に依存することが示唆された。
論文 参考訳（メタデータ） (2026-06-12T15:01:32Z) - WildClawBench: A Benchmark for Real-World, Long-Horizon Agent Evaluation [88.10947115397971]
この研究でWildClawBenchは、6つのテーマのカテゴリにまたがる60の人間によるバイリンガルなマルチモーダルタスクのネイティブランタイムベンチマークである。
各タスクは、約8分間のウォールクロック時間と20以上のツールコールで実行されます。
グラディングはハイブリッドであり、決定論的ルールベースのチェック、副作用の環境状態監査、意味的検証のためのLLM/VLM判定を組み合わせている。
論文 参考訳（メタデータ） (2026-05-11T17:49:43Z) - MobileGUI-RL: Advancing Mobile GUI Agent through Reinforcement Learning in Online Environment [63.62778707277929]
MobileGUI-RLは、オンライン環境でGUIエージェントをトレーニングするスケーラブルなフレームワークである。
自己探索とフィルタリングを通じて学習可能なタスクのカリキュラムを合成する。
GRPOをGUIナビゲーションに適応させ、軌道認識の利点と複合報酬を付与する。
論文 参考訳（メタデータ） (2025-07-08T07:07:53Z) - GUIOdyssey: A Comprehensive Dataset for Cross-App GUI Navigation on Mobile Devices [47.98821056800437]
クロスプラットフォームなモバイルGUIナビゲーションのためのデータセットであるGUIOdysseyを提示する。
GuiOdysseyは8,334エピソードで構成され、平均15.3ステップで6つのモバイルデバイス、212の異なるアプリ、1,357のアプリの組み合わせをカバーしている。
我々は,履歴リサンプラーモジュールを備えた長期横断ナビゲーションのための探索的マルチモーダルエージェントであるOdysseyAgentを開発した。
論文 参考訳（メタデータ） (2024-06-12T17:44:26Z) - AutoDroid: LLM-powered Task Automation in Android [32.241570727243534]
モバイルタスク自動化システムであるAutoDroidを紹介した。
主なコンポーネントは、LLMでUIをブリッジする機能対応UI表現メソッドである。
我々は、メモリ拡張Androidタスク自動化のための新しいベンチマークで、その性能を158の共通タスクで評価した。
論文 参考訳（メタデータ） (2023-08-29T13:02:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。