論文の概要: Latent World Action Model for GUI Agents

• arxiv url: http://arxiv.org/abs/2610.14228v1
• Date: Fri, 09 Oct 2026 18:45:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.024418
• Title: Latent World Action Model for GUI Agents
• Title（参考訳）: GUIエージェントの潜在世界行動モデル
• Abstract要約: 予測対象をフルスクリーン再構築から潜在空間における行動誘発未来情報にシフトすることでGUIワールドモデリングを再構築する。 提案手法は, 画素空間の世界モデルに対して, それぞれ31.9%, 40.6%の相対的な成功率を達成する。
• 参考スコア（独自算出の注目度）: 22.668382760887948
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pixel-space world models have recently emerged as a promising approach for GUI agents, predicting future screens prior to execution and subsequently re-perceiving them for action selection. However, this two-stage paradigm faces two key challenges in GUI environments: (L1) the high computational cost of pixel reconstruction and (L2) the need to reconstruct large and diverse appearance-level details beyond what is required for action selection. In practice, this screen-generation objective can induce an identity shortcut problem, where future-state prediction largely preserves the current state rather than capturing action-induced changes. In this work, we reformulate GUI world modeling by shifting the prediction target from full-screen reconstruction to action-induced future information in latent space. Concretely, we leverage a large multimodal model as the latent world model, whose shared representations support two dedicated heads for both action selection and predictive transition modeling. The action head directly translates these latent representations into action selection, while the transition head captures action-conditioned future information. To mitigate the identity shortcut, we further introduce an action-aware contrastive objective that encourages the transition representations to capture discriminative action-induced changes. Extensive experiments across offline and online GUI settings show that our method achieves up to 31.9% and 40.6% relative gains in success rate over pixel-space world models, respectively, while substantially reducing inference latency by up to 98.9%. Our code is available at https://github.com/sjyu001/latent2world.
• Abstract（参考訳）: ピクセル空間の世界モデルは、最近GUIエージェントの有望なアプローチとして現れ、実行前に将来のスクリーンを予測し、その後、アクション選択のためにそれらを再認識する。 しかし、この2段階のパラダイムはGUI環境において2つの重要な課題に直面している。 (L1) ピクセル再構成の計算コストが高く、 (L2) アクション選択に必要なものを超えて、大きく多様な外観レベルの詳細を再構築する必要がある。 実際には、このスクリーン生成目的は、アクションによって引き起こされる変化を捉えるのではなく、将来の状態予測が現在の状態をほとんど保存する、アイデンティティショートカット問題を引き起こすことができる。 本稿では,予測対象をフルスクリーン再構築から潜在空間における行動誘発未来情報にシフトさせることでGUIワールドモデリングを再構築する。 具体的には,動作選択と予測遷移モデルの両方において,共有表現が2つの専用ヘッドをサポートする潜在世界モデルとして,大規模なマルチモーダルモデルを利用する。 アクションヘッドはこれらの潜在表現を直接アクション選択に変換し、トランジションヘッドはアクション条件付き将来の情報をキャプチャする。 アイデンティティショートカットを緩和するために、さらに、識別的行動誘発変化を捉えるための遷移表現を促進するアクション認識コントラスト的目的を導入する。 オフラインおよびオンラインGUI設定における大規模な実験により、我々の手法は、それぞれピクセル空間の世界モデルよりも成功率を31.9%、40.6%向上させ、推論遅延を98.9%削減した。 私たちのコードはhttps://github.com/sjyu001/latent2worldで公開されています。

関連論文リスト

• MobileDreamer: Generative Sketch World Model for GUI Agent [17.169413605980015]
  モバイルGUIエージェントは、現実世界の自動化と実用的な応用において大きな可能性を示している。 MobileDreamerは、将来の想像力に基づいてGUIエージェントを装備するための効率的なワールドモデルベースのルックフレームワークである。 テキストスケッチワールドモデルとGUIエージェントのロールアウトイマジネーションで構成されている。
  論文  参考訳（メタデータ） (2026-01-07T15:51:44Z)
• Precise Action-to-Video Generation Through Visual Action Prompts [62.951609704196485]
  アクション駆動のビデオ生成は、精度と一般性のトレードオフに直面している。 エージェント中心のアクション信号は、クロスドメイン転送可能性のコストで精度を提供する。 私たちはアクションをドメインに依存しない表現として正確に視覚的なプロンプトに"レンダリング"します。
  論文  参考訳（メタデータ） (2025-08-18T17:12:28Z)
• GTA1: GUI Test-time Scaling Agent [97.58177633084915]
  グラフィカルユーザインタフェース(GUI)は、ユーザ命令をアクションプロポーザルに順次分解することで、プラットフォーム(例えばLinux)間で自律的にタスクを完了させる。 本稿では,前述の textbfGUI textbfTest-time Scaling textbfAgent,すなわち GTA1 の課題について検討する。
  論文  参考訳（メタデータ） (2025-07-08T08:52:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。