論文の概要: Imagine to Act: High-Fidelity Data Synthesis via Image Editing World Model for Scalable GUI Agent Training
- arxiv url: http://arxiv.org/abs/2610.05861v1
- Date: Mon, 05 Oct 2026 06:28:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 03:42:31.026062
- Title: Imagine to Act: High-Fidelity Data Synthesis via Image Editing World Model for Scalable GUI Agent Training
- Title（参考訳）: 画像編集の世界モデルによる高忠実なデータ合成によるスケーラブルGUIエージェントの訓練
- Abstract要約: Infinite-Dreamerは,ピクセルレベルの画像編集ワールドモデルを利用したシミュレーション不要なデータ合成手法である。
画像編集タスクとしてGUIトランジションを概念化することにより、視覚言語モデル(VLM)を利用して、アクション誘発UI変更を構造化デルタテキストとして記述する。
このモデルを用いて、単一フレームの視覚データと多段階の仮想軌道を生成する。
- 参考スコア（独自算出の注目度）: 6.270679361948244
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Graphical User Interface (GUI) agents have emerged as a promising paradigm for automating complex digital workflows across diverse applications. However, training highly capable and generalizable agents fundamentally relies on massive, high-fidelity visual-action trajectories, which are notoriously difficult to acquire. While human demonstrations are unscalable, existing GUI world models rely on text descriptions or HTML rendering, discarding crucial pixel-level visual details like icons and layout styles. To address this issue, we introduce Infinite-Dreamer, a simulation-free data synthesis method powered by a pixel-level Image Editing World Model. By conceptualizing GUI transitions as image editing tasks, we leverage Vision-Language Models (VLMs) to describe action-induced UI changes as structured delta-text. We then fine-tune an image editing backbone to controllably synthesize realistic screenshot transitions. We utilize this model to generate both single-frame visual robustness data and multi-step imaginary trajectories. To validate the effectiveness of our approach, we fine-tune the Qwen3-VL baseline solely on the synthesized data to obtain Infinite-Actor, and evaluate it on AndroidWorld, MobileWorld, and AndroidControl-Curated benchmarks. Infinite-Actor consistently outperforms the Qwen3-VL baselines across scales: Infinite-Actor-8B improves AndroidWorld Pass@1 by +4.45 and nearly doubles the MobileWorld Pass@3 success rate, while Infinite-Actor-2B improves Pass@1 by +9.05. Code is available at https://github.com/swaydy-n/Infinite-Dreamer.
- Abstract（参考訳）: グラフィカルユーザインタフェース(GUI)エージェントは、様々なアプリケーションにまたがる複雑なデジタルワークフローを自動化するための、有望なパラダイムとして登場した。
しかし、高度に有能で一般化可能なエージェントの訓練は、基本的には、取得が困難である大規模で高忠実な視覚行動軌跡に依存している。
人間のデモはスケールできないが、既存のGUIワールドモデルはテキスト記述やHTMLレンダリングに依存しており、アイコンやレイアウトスタイルのような重要なピクセルレベルの視覚的詳細は捨てている。
この問題に対処するために,画素レベルの画像編集ワールドモデルを用いたシミュレーション不要なデータ合成手法であるInfinite-Dreamerを導入する。
画像編集タスクとしてGUIトランジションを概念化することにより、視覚言語モデル(VLM)を利用して、アクション誘発UI変更を構造化デルタテキストとして記述する。
次に、画像編集バックボーンを微調整し、リアルなスクリーンショット遷移を制御可能にします。
このモデルを用いて、単一フレームの視覚的ロバスト性データと多段階の仮想軌道データを生成する。
提案手法の有効性を検証するため,合成データのみに基づいてQwen3-VLベースラインを微調整し,AndroidWorld,MobileWorld,AndroidControl-Curatedベンチマークで評価した。
Infinite-Actor-8BはAndroidWorld Pass@1を+4.45に改善し、MobileWorld Pass@3の成功率をほぼ2倍にし、Infinite-Actor-2BはPass@1を+9.05に改善した。
コードはhttps://github.com/swaydy-n/ Infinite-Dreamer.comで入手できる。
関連論文リスト
- AppDeltaWorld: Transition-Grounded Delta Code World Model for Mobile GUI Agents [46.83090877984068]
AppDeltaWorldは、移行済のデルタコードワールドモデルで、次のGUIを到達可能なコード更新として予測する。
ワールドモデルとして、AppDeltaWorldは、Code2Worldの評価の下でCMGUIBench-500上で最も忠実である。
World-model-based test-time reinforcement learningは、ポリシー適応を可能にし、実際のアプリと追加のインタラクションなしでさらなる改善を示す。
論文 参考訳（メタデータ） (2026-08-06T11:15:41Z) - Qwen-Image-2.0 Technical Report [121.60016333754231]
Qwen-Image-2.0は、Omni対応の画像生成基盤モデルである。
単一のフレームワーク内で高忠実度生成と正確な画像編集を統一する。
Qwen-Image-2.0 は、生成と編集の両方において、以前の Qwen-Image モデルを大幅に上回っている。
論文 参考訳（メタデータ） (2026-05-11T15:34:56Z) - How Mobile World Model Guides GUI Agents? [51.29718003718467]
デルタテキスト、フルテキスト、拡散ベースのイメージ、レンダリング可能なコードという、4つのモードでワールドモデルをトレーニングします。
これらのモデルはMobileWorldBenchとCode2WorldBenchの両方でSoTAのパフォーマンスを達成する。
低アクションエントロピーを持つ過信な移動体エージェントの場合、後部自己反射は限られた利得を与える。
論文 参考訳（メタデータ） (2026-05-11T10:49:31Z) - FreeScale: Scaling 3D Scenes via Certainty-Aware Free-View Generation [75.74617373156902]
FreeScaleは、限られた現実世界の画像シーケンスを、高品質なトレーニングデータのスケーラブルなソースに変換するフレームワークである。
フィードフォワードNVSモデルのトレーニングをスケールアップし,PSNRにおける2.7dBの顕著なゲインを達成することにより,FreeScaleの有効性を示す。
私たちの仕事は、3Dビジョンの根本的なボトルネックを克服するために、実用的で強力なデータ生成エンジンを提供します。
論文 参考訳（メタデータ） (2026-04-12T08:00:53Z) - Code2World: A GUI World Model via Renderable Code Generation [37.96080847935199]
我々は、レンダリング可能なコード生成によって次の視覚状態をシミュレートするビジョンフィードバックコーダであるCode2Worldを提案する。
Code2World-8Bは、競合するGPT-5やGemini-3-Pro-Imageに対抗して、パフォーマンスの高い次のUI予測を実現している。
論文 参考訳（メタデータ） (2026-02-10T14:56:19Z) - Generative Visual Code Mobile World Models [33.86938466546132]
Mobile Graphical User Interface (GUI) World Models (WMs) は、列車や推論時にモバイルGUIエージェントのパフォーマンスを改善するための有望な道を提供する。
本稿では,1つのビジョンランゲージモデル(VLM)が次のGUI状態を実行可能なWebコードとして予測する,レンダリング可能なコード生成によるビジュアルワールドモデリングを提案する。
我々は,このパラダイム上に構築された最初のオープンウェイトなビジュアルモバイルGUI WMであるgWorldと,コードベースのトレーニングデータを自動生成するデータ生成フレームワーク(gWorld)を紹介する。
論文 参考訳（メタデータ） (2026-02-02T03:12:16Z) - ShowUI-$π$: Flow-based Generative Models as GUI Dexterous Hands [59.222064425122795]
そこで我々は,GUI dexterous Handとして最初のフローベース生成モデルである ShowUI-$ を開発した。
ShowUI-$$は、たった450万のパラメータで26.98を達成する。
論文 参考訳（メタデータ） (2025-12-31T16:51:14Z) - GUI-ReWalk: Massive Data Generation for GUI Agent via Stochastic Exploration and Intent-Aware Reasoning [11.909652592163896]
GUI-ReWalkは、現実的で多様なGUIトラジェクトリを合成するための多段階フレームワークである。
GUI-ReWalkは、ランダム性と構造に対するゴール認識推論を組み合わせることで、人間のコンピュータインタラクションの意図認識、適応性をよりよく反映したデータを生成する。
その結果、GUI-ReWalkは、多様な相互作用フロー、より高い軌道エントロピー、よりリアルなユーザインテントのカバレッジを向上できることを示した。
論文 参考訳（メタデータ） (2025-09-19T08:09:18Z) - Aguvis: Unified Pure Vision Agents for Autonomous GUI Interaction [69.57190742976091]
Aguvisは、自律的なGUIエージェントのためのビジョンベースのフレームワークである。
クロスプラットフォームのインタラクションを標準化し、内部モノローグによる構造化推論を取り入れている。
オフラインおよび実世界のオンラインベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2024-12-05T18:58:26Z) - A Shared Representation for Photorealistic Driving Simulators [83.5985178314263]
本稿では、識別器アーキテクチャを再考することにより、生成画像の品質を向上させることを提案する。
シーンセグメンテーションマップや人体ポーズといったセマンティックインプットによって画像が生成されるという問題に焦点が当てられている。
我々は,意味的セグメンテーション,コンテンツ再構成,および粗い粒度の逆解析を行うのに十分な情報をエンコードする,共有潜在表現を学習することを目指している。
論文 参考訳（メタデータ） (2021-12-09T18:59:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。