論文の概要: Towards Omni-dimensional GUI Agent Navigation with Masked Trajectory Prediction
- arxiv url: http://arxiv.org/abs/2609.25769v1
- Date: Tue, 22 Sep 2026 07:02:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-23 18:04:04.260367
- Title: Towards Omni-dimensional GUI Agent Navigation with Masked Trajectory Prediction
- Title（参考訳）: 擬似軌道予測を用いた全次元GUIエージェントナビゲーションに向けて
- Abstract要約: 異なるGUIナビゲーションタスクをシームレスに調和させる統合フレームワークを提案する。
マルチターンGUIインタラクションを軌道としてモデル化することにより、MaPはタスク固有の辺分布から一貫した目的へと最適化をシフトする。
5つのGUIナビゲーションベンチマークの実験により、MaPは勾配の衝突を効果的に軽減し、直接混合訓練よりも大幅に優れていることが示された。
- 参考スコア（独自算出の注目度）: 25.870991966937357
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graphical User Interface (GUI) Agents autonomously interact with software to fulfill user requests, where GUI navigation stands out as the most critical and challenging capability. Mastering this capability demands a complex synergy of step-wise decision-making, state-action alignment, and long-horizon planning. While directly mixing these corresponding navigation tasks seems intuitive to simultaneously acquire these skills, such a direct combination is severely bottlenecked by inconsistent optimization objectives and profound data heterogeneity. To overcome these barriers, we propose the MaP (stands for ``\textbf{M}asked Tr\textbf{a}jectory \textbf{P}rediction''), a unified framework that seamlessly harmonizes divergent GUI navigation tasks. By modeling multi-turn GUI interactions as a trajectory and defining training objectives through component masking and prediction, MaP shifts the optimization from task-specific marginal distributions to a consistent objective. Furthermore, to handle the data heterogeneity across multiple navigation tasks, we design a role-aware adapter learning module that dynamically routes each token to a specialized representation space. Extensive experiments on five representative GUI navigation benchmarks demonstrate that MaP effectively mitigates gradient conflicts and significantly outperforms the direct mixture training, establishing a robust paradigm for multi-task GUI navigation.
- Abstract（参考訳）: グラフィカルユーザインタフェース(GUI)エージェントは、ユーザ要求を満たすためにソフトウェアと自律的に対話する。
この能力を習得するには、ステップワイズな意思決定、ステートアクションアライメント、長期計画の複雑なシナジーが必要です。
対応するナビゲーションタスクを直接混ぜると、これらのスキルを同時に習得する直感的なように見えるが、このような直接的な組み合わせは、一貫性のない最適化目標と深いデータ不均一性によって著しくボトルネックとなる。
これらの障壁を克服するために,異なるGUIナビゲーションタスクをシームレスに調和させる統合フレームワークであるMaP( ``\textbf{M} aked Tr\textbf{a}jectory \textbf{P}rediction'' の略)を提案する。
マルチターンGUIインタラクションを軌道としてモデル化し、コンポーネントマスキングと予測を通じてトレーニング目標を定義することにより、MaPはタスク固有の限界分布から一貫した目標へと最適化をシフトする。
さらに,複数のナビゲーションタスク間のデータの均一性を扱うために,各トークンを特殊表現空間に動的にルーティングするロール認識型アダプタ学習モジュールを設計する。
5つの代表的なGUIナビゲーションベンチマークの大規模な実験により、MaPは勾配の衝突を効果的に軽減し、直接混合トレーニングよりも優れており、マルチタスクGUIナビゲーションの堅牢なパラダイムを確立している。
関連論文リスト
- UI-Copilot: Advancing Long-Horizon GUI Automation via Tool-Integrated Policy Optimization [70.85564601986263]
実験の結果, UI-Copilot-7BはMemGUI-Benchに挑戦する上で最先端の性能を発揮することがわかった。
UI-Copilot-7BはAndroidWorldのQwenベースモデルに対して17.1%の絶対的な改善を提供する。
論文 参考訳（メタデータ） (2026-04-15T12:55:46Z) - CoINS: Counterfactual Interactive Navigation via Skill-Aware VLM [13.352875026471445]
スキル認識型VLM(CoINS)による対物対話ナビゲーションを提案する。
我々は、スキルの余裕と具体的な制約パラメータを入力コンテキストに組み込んだ、InterNav-VLMというVLMを微調整する。
生成した高レベルプランを実行するために,強化学習による総合的なスキルライブラリを開発する。
論文 参考訳（メタデータ） (2026-01-07T14:10:46Z) - iSHIFT: Lightweight Slow-Fast GUI Agent with Adaptive Perception [27.22349186465607]
我々はiSHIFT: Implicit Slow-fast Hybrid Inference with Flexible Tokensを紹介した。
iSHIFTにより、MLLMはスローモードを切り替えることができ、高精度な視覚的グラウンドリングと、グローバルなキューを使って効率を上げる高速モードを利用することができる。
2.5Bのコンパクトさにもかかわらず、iSHIFTは複数のベンチマークデータセットで最先端のパフォーマンスと一致している。
論文 参考訳（メタデータ） (2025-12-26T12:09:15Z) - NaviMaster: Learning a Unified Policy for GUI and Embodied Navigation Tasks [25.155993348250295]
NaviMasterはGUIナビゲーションを統一し、単一のフレームワーク内でナビゲーションを具体化する最初の統合エージェントである。
NaviMasterは,GUIナビゲーション,空間空き時間予測,具体化ナビゲーションにおいて,最先端のエージェントよりも優れていることを示す。
論文 参考訳（メタデータ） (2025-08-04T04:28:18Z) - MagicGUI: A Foundational Mobile GUI Agent with Scalable Data Pipeline and Reinforcement Fine-tuning [83.81404871748438]
MagicGUIは、現実のモバイルGUI環境における認識、接地、推論における重要な課題に対処するために設計された、基本的なモバイルGUIエージェントである。
フレームワークには、包括的で正確なデータセット、知覚と接地能力の強化、包括的で統一されたアクション空間、計画指向の推論メカニズムを含む6つの重要なコンポーネントが含まれている。
論文 参考訳（メタデータ） (2025-07-19T12:33:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。