論文の概要: AppDeltaWorld: Transition-Grounded Delta Code World Model for Mobile GUI Agents

• arxiv url: http://arxiv.org/abs/2608.05891v1
• Date: Thu, 06 Aug 2026 11:15:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-07 17:43:06.746527
• Title: AppDeltaWorld: Transition-Grounded Delta Code World Model for Mobile GUI Agents
• Title（参考訳）: AppDeltaWorld: モバイルGUIエージェントのためのトランジッショングラウンドデルタコードワールドモデル
• Abstract要約: AppDeltaWorldは、移行済のデルタコードワールドモデルで、次のGUIを到達可能なコード更新として予測する。 ワールドモデルとして、AppDeltaWorldは、Code2Worldの評価の下でCMGUIBench-500上で最も忠実である。 World-model-based test-time reinforcement learningは、ポリシー適応を可能にし、実際のアプリと追加のインタラクションなしでさらなる改善を示す。
• 参考スコア（独自算出の注目度）: 46.83090877984068
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mobile GUI agents can operate apps through pixel perception and touch actions, making them a promising interface for collecting and improving long-horizon mobile interaction policies. However, real trajectories are difficult to obtain for sensitive apps and privacy-critical operations. At the same time, existing simulated environments are costly to scale up, and GUI world models still suffer from unstable generation, limited modality coverage, and inconsistent action-transition logic. To address these limitations, we propose AppDeltaWorld, a transition-grounded delta code world model that predicts the next GUI as a reachable code update rather than as an unconstrained image or text description. AppDeltaWorld retrieves app-specific Level-1 HTML references under an action-transition constraint, generates Level-2 executable HTML conditioned on the current screen, action, predicted next-screen text, and retrieved structure, and inserts generated visual assets into image slots before browser rendering. As a world model, AppDeltaWorld achieves the highest fidelity on CMGUIBench-500 under Code2World evaluation, with clear gains in structural layout and UI element reconstruction over image-only and code-only baselines. As a training environment, AppDeltaWorld supports filtered closed-loop SFT data construction that, when combined with public supervision, enables AppDeltaAgent to achieve state-of-the-art performance on AndroidLens and consistent gains on MobileGym and MobileWorld. Moreover, world-model-based test-time reinforcement learning enables policy adaptation and shows further improvements without additional interaction with real apps.
• Abstract（参考訳）: モバイルGUIエージェントは、ピクセル認識とタッチアクションを通じてアプリを操作でき、長期にわたるモバイルインタラクションポリシーの収集と改善のための有望なインターフェースとなる。 しかし、機密性の高いアプリやプライバシクリティカルな操作のために、真の軌道を得るのは難しい。 同時に、既存のシミュレーション環境はスケールアップにコストがかかり、GUIワールドモデルは、不安定な生成、モダリティのカバー範囲の制限、一貫性のないアクション・トランジションロジックに悩まされている。 このような制限に対処するため,私たちは,制約のないイメージやテキスト記述ではなく,次のGUIを到達可能なコード更新として予測する,トランジショングラウンドのデルタコードワールドモデルであるAppDeltaWorldを提案する。 AppDeltaWorldは、アクション遷移制約の下でアプリケーション固有のLevel-1 HTML参照を検索し、現在の画面で条件付けられたLevel-2実行可能HTMLを生成し、アクション、予測された次世代テキスト、検索された構造を生成し、ブラウザレンダリングの前に生成されたビジュアルアセットをイメージスロットに挿入する。 ワールドモデルとして、AppDeltaWorldは、Code2Worldの評価の下でCMGUIBench-500で最も忠実であり、画像のみのベースラインとコードのみのベースラインよりも、構造的レイアウトとUI要素の再構築が明らかに向上している。 トレーニング環境として、AppDeltaWorldはフィルタされたクローズドループSFTデータ構築をサポートしており、パブリックな監視と組み合わせることで、AppDeltaAgentはAndroidLensの最先端のパフォーマンスとMobileGymとMobileWorldの一貫性のあるゲインを達成することができる。 さらに、ワールドモデルに基づくテスト時間強化学習により、ポリシー適応が可能となり、実際のアプリと追加のインタラクションを伴わずに、さらなる改善がもたらされる。

関連論文リスト

• GUI-CC: Benchmarking Contextual Consistency of GUI World Models as Agent Environments [20.28422479068168]
  エージェント環境としてGUIワールドモデルのコンテキスト整合性を評価するベンチマークGUI-CCを紹介する。 我々はGUIOdysseyから500のオフライントラジェクトリタスクを構築し、30のモバイルアプリで200のエミュレータ認証オンラインタスクを構築した。 実験により、信頼性の高い環境シミュレーションは保証されないことが示された。
  論文  参考訳（メタデータ） (2026-08-30T05:19:43Z)
• HyMobileAgent: Data-Environment Co-Scaling for Efficient GUI Agents [57.53434680014667]
  HyMobileAgentはHy3.0-VL-A3B上に開発されたビジョンネイティブ基盤モデルである。 我々は,モバイルインタラクションの重要なボトルネックに対処する,共同データと環境中心のスケーリングフレームワークを開発した。
  論文  参考訳（メタデータ） (2026-07-16T04:12:42Z)
• Xiaomi-GUI-0 Technical Report [39.05385476532886]
  Xiaomi-GUI-0は、実際のモバイル環境向けのネイティブなマルチモーダルGUIエージェントである。 教師付き微調整、ステップレベルの強化学習、エージェントによる強化学習という3段階のパイプラインを通じて訓練される。 RealMobileで72.0%、AndroidWorldで78.9%を達成し、実際のタスクにおける実行安定性と異常状態認識を大幅に改善した。
  論文  参考訳（メタデータ） (2026-06-30T09:36:35Z)
• How Mobile World Model Guides GUI Agents? [51.29718003718467]
  デルタテキスト、フルテキスト、拡散ベースのイメージ、レンダリング可能なコードという、4つのモードでワールドモデルをトレーニングします。 これらのモデルはMobileWorldBenchとCode2WorldBenchの両方でSoTAのパフォーマンスを達成する。 低アクションエントロピーを持つ過信な移動体エージェントの場合、後部自己反射は限られた利得を与える。
  論文  参考訳（メタデータ） (2026-05-11T10:49:31Z)
• Code2World: A GUI World Model via Renderable Code Generation [37.96080847935199]
  我々は、レンダリング可能なコード生成によって次の視覚状態をシミュレートするビジョンフィードバックコーダであるCode2Worldを提案する。 Code2World-8Bは、競合するGPT-5やGemini-3-Pro-Imageに対抗して、パフォーマンスの高い次のUI予測を実現している。
  論文  参考訳（メタデータ） (2026-02-10T14:56:19Z)
• ShowUI-$π$: Flow-based Generative Models as GUI Dexterous Hands [59.222064425122795]
  そこで我々は,GUI dexterous Handとして最初のフローベース生成モデルである ShowUI-$ を開発した。 ShowUI-$$は、たった450万のパラメータで26.98を達成する。
  論文  参考訳（メタデータ） (2025-12-31T16:51:14Z)
• MobileGUI-RL: Advancing Mobile GUI Agent through Reinforcement Learning in Online Environment [63.62778707277929]
  MobileGUI-RLは、オンライン環境でGUIエージェントをトレーニングするスケーラブルなフレームワークである。 自己探索とフィルタリングを通じて学習可能なタスクのカリキュラムを合成する。 GRPOをGUIナビゲーションに適応させ、軌道認識の利点と複合報酬を付与する。
  論文  参考訳（メタデータ） (2025-07-08T07:07:53Z)
• AgentCPM-GUI: Building Mobile-Use Agents with Reinforcement Fine-Tuning [82.42421823672954]
  AgentCPM-GUIは、堅牢で効率的なオンデバイスGUIインタラクションのために構築されている。 私たちのトレーニングパイプラインには、知覚を高めるためのグラウンドアウェア事前トレーニングが含まれています。 AgentCPM-GUIは5つの公開ベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-06-02T07:30:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。