論文の概要: Training Open Models for Agentic Phone Use
- arxiv url: http://arxiv.org/abs/2606.23049v1
- Date: Mon, 22 Jun 2026 08:57:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-25 00:31:52.425135
- Title: Training Open Models for Agentic Phone Use
- Title（参考訳）: エージェント電話使用のためのオープンモデルトレーニング
- Abstract要約: PhoneBuddyは、エージェント電話用のトレーニングレシピとオープンモデルラインである。
実際のGUI使用構造からモックアプリを再構築する、実アプリケーション環境とモックアプリ環境であるPhoneWorldを組み合わせる。
PhoneBuddyはまず、両方の環境で収集されたトラジェクトリから、共有された教師付き微調整ステージを構築し、その後、実アプリケーションRLと混合RLを比較した。
- 参考スコア（独自算出の注目度）: 104.23243994660936
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Phones are becoming an important execution surface for general-purpose agents, but training open models for reliable phone use remains difficult because the environment that matters at deployment, real devices running real apps, is slow, stateful, side-effectful, and hard to reset or verify, while scalable mock environments only approximate real behavior. We present PhoneBuddy, a training recipe and open-model line for agentic phone use that combines a real-app environment with a mock-app environment, PhoneWorld, which reconstructs runnable mock apps from real GUI usage structure. PhoneBuddy first builds a shared supervised fine-tuning stage from trajectories collected in both environments, then compares real-app RL against mixed RL across both environments. Across a 150-task human evaluation on real phones spanning apps, mini-apps, and cross-app workflows, task success rate improves from 36.67\% after supervised fine-tuning to 40.67\% after real-app RL and 45.33\% after mixed RL. On AndroidWorld, the same progression rises from 60.3\% to 77.2\% to 83.2\%. These results show that mock-app training is not a replacement for real-app RL, but a complementary source of scalable, resettable, and automatically checked interaction. The gains are strongest on app and mini-app tasks, while long-horizontal cross-app workflows remain an important open challenge.
- Abstract（参考訳）: スマートフォンは汎用エージェントにとって重要な実行面になりつつあるが、デプロイで重要な環境、実際のアプリを実行する実際のデバイス、動作が遅く、ステートフルで、副作用があり、リセットや検証が難しいため、信頼性の高い電話使用のためのオープンモデルのトレーニングは依然として難しい。
我々は,実際のGUI使用構造から実行可能なモックアプリを再構築するPhoneWorldという,実アプリケーション環境とモックアプリ環境を組み合わせたエージェント電話用トレーニングレシピとオープンモデルラインであるPhoneBuddyを紹介する。
PhoneBuddyはまず、両方の環境で収集されたトラジェクトリから、共有された教師付き微調整ステージを構築し、その後、実アプリケーションRLと両環境の混合RLを比較した。
アプリ、ミニアプリ、クロスアプリワークフローにまたがる実電話での150タスクの人間評価では、微調整を監督した後のタスク成功率は36.67\%から、実アプリRL以降の40.67\%、混合RL以降の45.33\%に改善されている。
AndroidWorldでは、60.3\%から77.2\%から83.2\%に上昇している。
これらの結果から,モックアプリトレーニングは実アプリケーションRLの代替ではなく,スケーラブルでリセット可能な,自動チェックされたインタラクションの補完的なソースであることが示唆された。
アプリとミニアプリに力を入れている一方、長期にわたるクロスアプリワークフローは依然として重要な課題だ。
関連論文リスト
- Qwen-UI-Agent Technical Report: Toward Next-Generation Real-World Centric Foundation GUI Agents [27.09949595397669]
Qwen-UI-Agentは、モバイル、コンピュータ利用、Web、DeepSearch環境にまたがる現実世界のファンデーションGUIエージェントである。
統一されたアクション空間はGUI操作とCLIの実行をインターリーブし、単一のモデルターンでバッチアクションを生成する。
オンラインRLは100回を超える軌道のトレーニングをサポートし、1万以上の環境がロールアウトを加速している。
論文 参考訳（メタデータ） (2026-07-30T13:58:41Z) - Xiaomi-GUI-0 Technical Report [39.05385476532886]
Xiaomi-GUI-0は、実際のモバイル環境向けのネイティブなマルチモーダルGUIエージェントである。
教師付き微調整、ステップレベルの強化学習、エージェントによる強化学習という3段階のパイプラインを通じて訓練される。
RealMobileで72.0%、AndroidWorldで78.9%を達成し、実際のタスクにおける実行安定性と異常状態認識を大幅に改善した。
論文 参考訳（メタデータ） (2026-06-30T09:36:35Z) - PhoneHarness: Harnessing Phone-Use Agents through Mixed GUI, CLI, and Tool Actions [73.69976712292683]
PhoneHarnessは、検証可能なモバイル上で電話使用エージェントを研究するための混合アクションベンチマークと実行ハーネスである。
そのベンチマークであるPhoneHarness Benchは、エージェントが観測可能な副作用を持つタスクを完了したかどうかを評価する。
この結果から,信頼度の高い電話の自動化は,視覚的GUI制御だけでなく,動作面のルーティングと検証可能な実行に依存することが示唆された。
論文 参考訳（メタデータ） (2026-06-12T15:01:32Z) - PhoneWorld: Scaling Phone-Use Agent Environments [101.288508963127]
PhoneWorldは、実際のGUIトラジェクトリとスクリーンショットをコントロール可能な電話環境に変換する再利用可能なパイプラインである。
読み取り専用アプリコンテンツとミュータブルステートによって、実行可能なモックAndroidアプリを構築する。
16のドメインに34のアプリがあり、検索、ブラウジング、ショッピング、予約、メディア、ソーシャルインタラクションなどの一般的なモバイル行動にまたがっている。
論文 参考訳（メタデータ） (2026-05-28T07:14:15Z) - AndroidDaily: A Verifiable Benchmark for Mobile GUI Agents on Real-World Closed-Source Applications [36.71396790403699]
94の高周波Androidアプリケーションにまたがる350の日常的タスクからなる大規模ベンチマークであるAndroidDailyを紹介した。
本稿では,3段階の外部ガイドラインに基づくプロセス認識評価システムGRADEを提案する。
GRADEはステップレベルの診断結果を生成し、長い水平なオープンエンドのモバイルインタラクションを、隠れた内部状態に頼ることなく検証可能な評価に変換する。
論文 参考訳（メタデータ） (2026-05-26T23:19:42Z) - ClawGUI: A Unified Framework for Training, Evaluating, and Deploying GUI Agents [54.04035382782041]
textbfClawGUI-RLは、並列仮想環境と実際の物理デバイスの両方をサポートする最初のオープンソースのGUIエージェントRLインフラストラクチャを提供する。
textbfClawGUI-Evalは6つのベンチマークと11以上のモデルで完全に標準化された評価パイプラインを実行する。
textbfClawGUI-Agentは、12以上のチャットプラットフォームを通じて、Android、HarmonyOS、iOSにトレーニングされたエージェントを提供し、ハイブリッドCLI-GUIコントロールとパーソナライズされたパーソナライズされたメモリを提供する。
論文 参考訳（メタデータ） (2026-04-13T17:52:04Z) - Generalization in Online Reinforcement Learning for Mobile Agents [32.98335803990582]
我々は、目に見えないタスクインスタンス、テンプレート、アプリケーションに対してゼロショットの一般化を評価するベンチマークであるtextbfAndroidWorld-Generalizationを紹介する。
AndroidWorld-Generalizationの実験によると、RLは7BパラメータのVLMエージェントを教師付き微調整ベースラインを超えることができる。
サポートと公正な比較のために、環境、タスクスイート、モデル、プロンプト構成、基盤となるインフラストラクチャを含む完全なRLトレーニングシステムをオープンソース化しました。
論文 参考訳（メタデータ） (2026-03-08T03:08:11Z) - Trajectory2Task: Training Robust Tool-Calling Agents with Synthesized Yet Verifiable Data for Complex User Intents [52.30603055218294]
Trajectory2Taskは,3つの現実的なユーザシナリオの下で大規模なツール使用を研究するための,検証可能なデータ生成パイプラインである。
有効なツールコールトラジェクトリを、制御されたインテント適応を伴うユーザ向けタスクに変換する。
我々は、生成された複雑なユーザシナリオタスクに対して、7つの最先端のLCMをベンチマークし、頻繁な障害を観察する。
論文 参考訳（メタデータ） (2026-01-28T00:36:13Z) - MobileWorld: Benchmarking Autonomous Mobile Agents in Agent-User Interactive and MCP-Augmented Environments [19.665566262516275]
AndroidWorldは、再現可能な環境と決定論的評価のために、主要なベンチマークとして登場した。
MobileWorldは、201タスクを通じて現実世界の使用を反映するように設計された、はるかに難しいベンチマークである。
論文 参考訳（メタデータ） (2025-12-22T14:31:28Z) - AppVLM: A Lightweight Vision Language Model for Online App Control [39.91330570886891]
軽量ビジョン言語モデル(VLM)であるAppVLMを紹介する。
まず、AndroidControlデータセットでオフラインでチューニングします。
そして、AndroidWorld環境からデータを収集することで、ポリシーを洗練します。
論文 参考訳（メタデータ） (2025-02-10T12:32:21Z) - Reinforcement Learning for Long-Horizon Interactive LLM Agents [56.9860859585028]
インタラクティブデジタルエージェント(IDA)は、ステートフルなデジタル環境のAPIを利用して、ユーザの要求に応じてタスクを実行する。
対象環境で直接IDAを訓練する強化学習(RL)手法を提案する。
我々は、近似ポリシー最適化のデータおよびメモリ効率の亜種である LOOP を導出する。
論文 参考訳（メタデータ） (2025-02-03T18:35:42Z) - FLaRe: Achieving Masterful and Adaptive Robot Policies with Large-Scale Reinforcement Learning Fine-Tuning [74.25049012472502]
FLaReは、堅牢な事前訓練された表現、大規模なトレーニング、勾配安定化技術を統合する大規模な強化学習フレームワークである。
提案手法は,タスク完了に向けた事前訓練されたポリシーを整列し,これまで実証され,全く新しいタスクや実施状況において,最先端(SoTA)のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2024-09-25T03:15:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。