論文の概要: PhoneWorld: Scaling Phone-Use Agent Environments
- arxiv url: http://arxiv.org/abs/2605.29486v1
- Date: Thu, 28 May 2026 07:14:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-30 02:45:55.885576
- Title: PhoneWorld: Scaling Phone-Use Agent Environments
- Title（参考訳）: PhoneWorld:電話利用エージェント環境のスケーリング
- Abstract要約: PhoneWorldは、実際のGUIトラジェクトリとスクリーンショットをコントロール可能な電話環境に変換する再利用可能なパイプラインである。
読み取り専用アプリコンテンツとミュータブルステートによって、実行可能なモックAndroidアプリを構築する。
16のドメインに34のアプリがあり、検索、ブラウジング、ショッピング、予約、メディア、ソーシャルインタラクションなどの一般的なモバイル行動にまたがっている。
- 参考スコア（独自算出の注目度）: 101.288508963127
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A central bottleneck for phone-use agents is that controllable, reproducible environments covering real mobile behavior are hard to build at scale. Existing mobile-agent benchmarks have made important progress on evaluation, but they do not by themselves provide a scalable way to construct many new phone-use environments. We present PhoneWorld, a reusable pipeline that converts real GUI trajectories and screenshots into controllable phone-use environments, executable tasks, automatic verifiers, and training rollouts. Rather than hand-building one mobile benchmark at a time, PhoneWorld uses real trajectories to recover which screens matter, how screens connect, which interactions must change environment state, and which user goals admit automatic verification. From these signals, it builds runnable mock Android apps backed by read-only app content and mutable state, then derives executable tasks, rule-based verifiers, and training rollouts from the same environments. In its current instantiation, PhoneWorld covers 34 apps across 16 domains, spanning common consumer mobile behaviors such as search, browsing, shopping, booking, media, and social interaction. Under a fixed training budget, replacing 10K steps from an auxiliary AndroidWorld corpus in an AndroidWorld-based baseline with broad PhoneWorld supervision improves all four evaluation benchmarks at once, raising HYMobileBench by 17.7 points, AndroidControl by 6.0 points, AndroidWorld by 14.7 points, and PhoneWorld by 52.5 points. We then study two additional scaling questions: increasing the amount of PhoneWorld supervision strongly improves PhoneWorld performance, and under a fixed PhoneWorld budget, expanding app coverage yields even larger gains. Overall, PhoneWorld shifts the focus from building one mobile benchmark at a time to scaling the supply of phone-use environments themselves.
- Abstract（参考訳）: 携帯電話利用エージェントの主なボトルネックは、実際のモバイル動作をカバーする制御可能な再現可能な環境を大規模に構築することが難しいことである。
既存のモバイルエージェントベンチマークは、評価において重要な進歩を遂げているが、それ自身は、多くの新しい電話環境を構築するためのスケーラブルな方法を提供していない。
我々は,実際のGUIトラジェクトリとスクリーンショットを制御可能な電話環境,実行可能なタスク,自動検証,ロールアウトなどに変換する再利用可能なパイプラインであるPhoneWorldを提案する。
一度に1つのモバイルベンチマークを手作りするのではなく、PhoneWorldは実際のトラジェクトリを使用して、どのスクリーンが重要か、どの画面が接続するか、どのインタラクションが環境状態を変えなければならないか、どのユーザ目標が自動検証を許可するかを復元する。
これらのシグナルから、読み取り専用アプリコンテンツとミュータブルステートによってバックアップされた実行可能なモックAndroidアプリを構築し、実行可能なタスク、ルールベースの検証、同じ環境からのロールアウトのトレーニングを導出する。
現在、PhoneWorldは16のドメインにわたる34のアプリをカバーしており、検索、ブラウジング、ショッピング、予約、メディア、ソーシャルインタラクションといった一般的なモバイル行動にまたがっている。
固定トレーニング予算の下では、AndroidWorldベースのベースラインの補助的なAndroidWorldコーパスからの10Kステップを、幅広いPhoneWorldの監督によって一度に4つの評価ベンチマークを改善し、HYMobileBenchを17.7ポイント、AndroidControlを6.0ポイント、AndroidWorldを14.7ポイント、PhoneWorldを52.5ポイント引き上げている。
さらに、PhoneWorldの監督の量を増やすことで、PhoneWorldのパフォーマンスが大幅に向上し、固定されたPhoneWorld予算の下では、アプリカバレッジの拡大は、さらに大きな利益をもたらします。
全体として、PhoneWorldは、モバイルベンチマークを1つずつ構築することから、携帯電話利用環境自体の供給拡大へと重点を移している。
関連論文リスト
- Learning Panorama-Aware VLA for Mobile Manipulation with Whole-Body Teleoperation [55.724481205135675]
モバイル操作は、視覚言語アクションポリシーに2つの重要な課題を提起する。
我々は全身遠隔操作システムとパノラマ対応VLAポリシーを開発した。
パノラマを意識したバイマンダル操作のための視覚-言語-アクションポリシーであるパノVLAを提案する。
論文 参考訳（メタデータ） (2026-08-03T14:03:26Z) - Xiaomi-GUI-0 Technical Report [39.05385476532886]
Xiaomi-GUI-0は、実際のモバイル環境向けのネイティブなマルチモーダルGUIエージェントである。
教師付き微調整、ステップレベルの強化学習、エージェントによる強化学習という3段階のパイプラインを通じて訓練される。
RealMobileで72.0%、AndroidWorldで78.9%を達成し、実際のタスクにおける実行安定性と異常状態認識を大幅に改善した。
論文 参考訳（メタデータ） (2026-06-30T09:36:35Z) - PhoneBuddy: Training Open Models for Agentic Phone Use [104.23243994660936]
PhoneBuddyは、エージェント電話用のトレーニングレシピとオープンモデルラインである。
実際のGUI使用構造からモックアプリを再構築する、実アプリケーション環境とモックアプリ環境であるPhoneWorldを組み合わせる。
PhoneBuddyはまず、両方の環境で収集されたトラジェクトリから、共有された教師付き微調整ステージを構築し、その後、実アプリケーションRLと混合RLを比較した。
論文 参考訳（メタデータ） (2026-06-22T08:57:54Z) - PhoneHarness: Harnessing Phone-Use Agents through Mixed GUI, CLI, and Tool Actions [73.69976712292683]
PhoneHarnessは、検証可能なモバイル上で電話使用エージェントを研究するための混合アクションベンチマークと実行ハーネスである。
そのベンチマークであるPhoneHarness Benchは、エージェントが観測可能な副作用を持つタスクを完了したかどうかを評価する。
この結果から,信頼度の高い電話の自動化は,視覚的GUI制御だけでなく,動作面のルーティングと検証可能な実行に依存することが示唆された。
論文 参考訳（メタデータ） (2026-06-12T15:01:32Z) - How Mobile World Model Guides GUI Agents? [51.29718003718467]
デルタテキスト、フルテキスト、拡散ベースのイメージ、レンダリング可能なコードという、4つのモードでワールドモデルをトレーニングします。
これらのモデルはMobileWorldBenchとCode2WorldBenchの両方でSoTAのパフォーマンスを達成する。
低アクションエントロピーを持つ過信な移動体エージェントの場合、後部自己反射は限られた利得を与える。
論文 参考訳（メタデータ） (2026-05-11T10:49:31Z) - MobileDev-Bench: A Comprehensive Benchmark for Evaluating Language Models on Mobile Application Development [1.4302803674538154]
Android Native(Java/Kotlin)、React Native(TypeScript)、Flutter(Dart)にまたがる18のプロダクションモバイルアプリケーションから収集された384の現実世界の課題解決タスクからなるベンチマークであるMobileDev-Benchを紹介した。
各タスクは、実行可能テストパッチと開発者が報告した問題にペアリングし、モバイルビルド環境内でモデル生成の修正を完全に自動検証することを可能にする。
GPT-5.2, Claude Sonnet 4.5, Gemini Flash 2.5, Qwen3-Coder の4つの最先端コード対応LCMの評価
論文 参考訳（メタデータ） (2026-03-26T02:31:03Z) - MobileManiBench: Simplifying Model Verification for Mobile Manipulation [70.30578259859512]
MobileManiBenchは、モバイルベースのロボット操作のための大規模なベンチマークである。
MobileManiBenchには、2つのモバイルプラットフォーム(パラレルグリッパーとデキソラスハンドロボット)、2つの同期カメラ(頭と右手首)、630のオブジェクト(オープン、クローズ、プル、プッシュ、ピック)、5つのスキル(オープン、クローズ、プッシュ、ピック)、100以上のタスクが現実的なシーンで実行される。
論文 参考訳（メタデータ） (2026-02-05T02:49:52Z) - MobileBench-OL: A Comprehensive Chinese Benchmark for Evaluating Mobile GUI Agents in Real-World Environment [17.207878975582556]
MobileBench-OLは、80の中国アプリから1080タスクのオンラインベンチマークである。
エージェントのタスク実行、複雑な推論、ノイズロバスト性を測定する。
MobileBench-OLは、現実世界の要件を満たすための重要な改善の余地を示している。
論文 参考訳（メタデータ） (2026-01-28T07:49:48Z) - MobileWorld: Benchmarking Autonomous Mobile Agents in Agent-User Interactive and MCP-Augmented Environments [19.665566262516275]
AndroidWorldは、再現可能な環境と決定論的評価のために、主要なベンチマークとして登場した。
MobileWorldは、201タスクを通じて現実世界の使用を反映するように設計された、はるかに難しいベンチマークである。
論文 参考訳（メタデータ） (2025-12-22T14:31:28Z) - Mobile-Agent-v3: Fundamental Agents for GUI Automation [59.775510710011325]
本稿では,オープンソースエンド・ツー・エンド・モデル間の最先端性能を実現する基礎的なGUIエージェントモデルを提案する。
汎用GUIエージェントフレームワークであるMobile-Agent-v3を提案し,AndroidWorldでは73.3,OSWorldでは37.7に向上した。
論文 参考訳（メタデータ） (2025-08-21T00:39:12Z) - AndroidWorld: A Dynamic Benchmarking Environment for Autonomous Agents [5.044046039265116]
私たちは、20の現実世界のAndroidアプリに116のプログラムタスクに対して報酬信号を提供する、完全に機能するAndroid環境であるAndroidWorldを紹介します。
静的テストセットを提供する既存のインタラクティブ環境とは異なり、AndroidWorldはパラメータ化され自然言語で表現されるタスクを動的に構築する。
私たちの最高のエージェントは、AndroidWorldのタスクの30.6%を完了できます。
論文 参考訳（メタデータ） (2024-05-23T13:48:54Z) - Global Tracking Transformers [76.58184022651596]
グローバル多目的追跡のためのトランスフォーマーに基づく新しいアーキテクチャを提案する。
コアコンポーネントはグローバルなトラッキングトランスフォーマーで、シーケンス内のすべてのフレームからオブジェクトを操作する。
われわれのフレームワークは、最先端の大語彙検出装置にシームレスに統合され、あらゆる物体を追跡できる。
論文 参考訳（メタデータ） (2022-03-24T17:58:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。