論文の概要: AutoGUIWorld: Image Generators as Visual World Models for GUI Agent
- arxiv url: http://arxiv.org/abs/2610.01215v1
- Date: Thu, 01 Oct 2026 07:22:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 01:19:23.963722
- Title: AutoGUIWorld: Image Generators as Visual World Models for GUI Agent
- Title（参考訳）: AutoGUIWorld:GUIエージェントのビジュアルワールドモデルとしてのイメージジェネレータ
- Abstract要約: 本稿では,GUIインタラクショントラジェクトリを,対応するソフトウェア環境のデプロイや実行なしに合成するフレームワークであるAutoGUIWorldを紹介する。
AutoGUIWorldは、オペレーティングシステムコンテキスト、視覚的外観、インターフェース状態の構造化仕様から初期GUIシーンをサンプリングし、それらのシーンで条件付けられたタスクを生成する。
その後、プランナーはアトミックアクションとその意図した視覚効果を指定し、画像生成器は現在のスクリーンショットを反復的に編集してその後の観察を行う。
- 参考スコア（独自算出の注目度）: 24.045452652419858
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: GUI agents require high-quality interaction trajectories to learn how software environments respond to actions, maintain state, and support multi-step workflows. However, the diversity of available trajectories is constrained by the applications, interface states, and workflows accessible in the underlying environments. Expanding this coverage requires deploying increasingly diverse and complex software, with specialized applications imposing additional installation, configuration, and runtime costs. We introduce AutoGUIWorld, a data generation framework that combines the visual priors of image generators with the task knowledge of a planner to synthesize GUI interaction trajectories without deploying or running the corresponding software environments. AutoGUIWorld samples initial GUI scenes from structured specifications of operating-system context, visual appearance, and interface state, and generates tasks conditioned on those scenes. A planner then specifies atomic actions and their intended visual consequences, while an image generator iteratively edits the current screenshot to produce subsequent observations. Action grounding and transition-level quality filtering yield 79,266 spatially annotated step-level training samples across Ubuntu, Windows, macOS, and Chrome. Fine-tuning Qwen3.5-35B-A3B on AutoGUIWorld trajectories improves the mean task score on OSWorld from 33.0% to 40.8% and the task success rate on ScienceBoard from 14.0% to 32.2%. These results show that generated trajectories improve GUI-agent performance on real desktop and scientific tasks.
- Abstract（参考訳）: GUIエージェントは、ソフトウェア環境がアクションにどう反応するかを学習し、状態を維持し、マルチステップワークフローをサポートするために、高品質なインタラクショントラジェクトリを必要とする。
しかし、利用可能なトラジェクトリの多様性は、アプリケーション、インターフェース状態、および基盤環境にアクセス可能なワークフローによって制約される。
このカバレッジを拡張するには、ますます多様で複雑なソフトウェアをデプロイする必要がある。
データ生成フレームワークであるAutoGUIWorldを導入し、画像生成装置の視覚的先行とプランナーのタスク知識を組み合わせることで、対応するソフトウェア環境をデプロイ・実行することなくGUIインタラクショントラジェクトリを合成する。
AutoGUIWorldは、オペレーティングシステムコンテキスト、視覚的外観、インターフェース状態の構造化仕様から初期GUIシーンをサンプリングし、それらのシーンで条件付けられたタスクを生成する。
その後、プランナーはアトミックアクションとその意図した視覚効果を指定し、画像生成器は現在のスクリーンショットを反復的に編集してその後の観察を行う。
アクショングラウンディングとトランジションレベルの品質フィルタリングは、Ubuntu、Windows、macOS、Chromeで、空間的に注釈付けされたステップレベルのトレーニングサンプルを79,266個生成する。
AutoGUIWorldの微調整Qwen3.5-35B-A3BはOSWorldのタスクスコアを33.0%から40.8%に改善し、ScienceBoardのタスク成功率は14.0%から32.2%に改善した。
これらの結果から,生成した軌道は実際のデスクトップおよび科学タスクにおけるGUIエージェントの性能を向上させることが示された。
関連論文リスト
- JarvisGUI: Towards Cross-Device GUI Agents with Dynamic Task Composition [51.15720718264743]
プラットフォーム間の協調的なインタラクションを必要とするデバイス間通信におけるGUIエージェントの評価を行う動的ベンチマークであるJarvisGUIを紹介する。
JarvisGUIは、GUIタスクを軽量な型システムの下で入力出力変換として定式化し、複数ステップのクロスデバイス変換を自動的に構成する。
我々は、最先端のオープンソースGUIエージェントが、実際の使用に必要な状態遷移認識、クロスプラットフォームのコンテキスト推論、長期水平依存性管理に苦労していることを示します。
論文 参考訳（メタデータ） (2026-09-09T16:59:59Z) - GUI-CC: Benchmarking Contextual Consistency of GUI World Models as Agent Environments [20.28422479068168]
エージェント環境としてGUIワールドモデルのコンテキスト整合性を評価するベンチマークGUI-CCを紹介する。
我々はGUIOdysseyから500のオフライントラジェクトリタスクを構築し、30のモバイルアプリで200のエミュレータ認証オンラインタスクを構築した。
実験により、信頼性の高い環境シミュレーションは保証されないことが示された。
論文 参考訳（メタデータ） (2026-08-30T05:19:43Z) - ANCHOR: Branch-Point Data Generation for GUI Agents [52.22377425487]
デスクトップ環境向けのエンドツーエンドGUIエージェントは、大量の高品質なインタラクションデータを必要とする。
本稿では,拡張フレームワークであるAnchorについて紹介する。このフレームワークは,小規模で検証済みのシードデモから,スケーラブルなデスクトップ監視をブートストラップする。
OSWorldとWindowsAgentArenaの標準デスクトップベンチマークの実験では、拡張されたコーパスに微調整されたモデルが一貫した改善を実現している。
論文 参考訳（メタデータ） (2026-02-06T19:55:26Z) - GUI-360$^\circ$: A Comprehensive Dataset and Benchmark for Computer-Using Agents [59.107657859025586]
GUI-360$circ$は、コンピュータ利用エージェント(CUA)を進化させるために設計された大規模で包括的なデータセットとベンチマークスイートである。
リリースされたコーパスには、人気のあるWindowsオフィスアプリケーションにおける数千のトラジェクトリにわたる1.2万以上の実行されたアクションステップが含まれている。
このデータセットは、3つの標準タスク、GUIグラウンド、スクリーン解析、アクション予測、ハイブリッドGUI+APIアクションスペースをサポートする。
論文 参考訳（メタデータ） (2025-11-06T12:19:02Z) - GUI-ReWalk: Massive Data Generation for GUI Agent via Stochastic Exploration and Intent-Aware Reasoning [11.909652592163896]
GUI-ReWalkは、現実的で多様なGUIトラジェクトリを合成するための多段階フレームワークである。
GUI-ReWalkは、ランダム性と構造に対するゴール認識推論を組み合わせることで、人間のコンピュータインタラクションの意図認識、適応性をよりよく反映したデータを生成する。
その結果、GUI-ReWalkは、多様な相互作用フロー、より高い軌道エントロピー、よりリアルなユーザインテントのカバレッジを向上できることを示した。
論文 参考訳（メタデータ） (2025-09-19T08:09:18Z) - Mobile-Agent-v3: Fundamental Agents for GUI Automation [59.775510710011325]
本稿では,オープンソースエンド・ツー・エンド・モデル間の最先端性能を実現する基礎的なGUIエージェントモデルを提案する。
汎用GUIエージェントフレームワークであるMobile-Agent-v3を提案し,AndroidWorldでは73.3,OSWorldでは37.7に向上した。
論文 参考訳（メタデータ） (2025-08-21T00:39:12Z) - WorldGUI: An Interactive Benchmark for Desktop GUI Automation from Any Starting Point [17.165899818213475]
We introduced WorldGUI, a comprehensive GUI benchmark including tasks across 10 wide used desktop and web applications。
WorldGUI-Agentは3つのコアモジュールを統一する普遍的なフレームワークである。高レベルプラン修正のためのPlanner-Critic、中間検証のためのStep-Check、アクションレベルの最適化のためのActor-Criticである。
論文 参考訳（メタデータ） (2025-02-12T01:06:10Z) - UI-TARS: Pioneering Automated GUI Interaction with Native Agents [58.18100825673032]
本稿では,GUIエージェントのネイティブモデルであるUI-TARSを紹介する。
OSWorldベンチマークでは、UI-TARSはスコアが24.6、50ステップが22.7、15ステップが22.7でクロード(それぞれ22.0と14.9)を上回っている。
論文 参考訳（メタデータ） (2025-01-21T17:48:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。