論文の概要: Learn from Move: the Next Step for GUI Agents

• arxiv url: http://arxiv.org/abs/2610.16720v1
• Date: Mon, 12 Oct 2026 12:52:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-18 21:43:39.749937
• Title: Learn from Move: the Next Step for GUI Agents
• Title（参考訳）: Moveから学ぶ: GUIエージェントの次のステップ
• Abstract要約: 制御に必要なエビデンスによって編成された3つのマッチングペアの6つのタスクのベンチマークであるLatentGUIWorldを紹介した。 ボタンイベントから移動を分離し、中間的な視覚フィードバックを公開するMOVEを紹介する。 ジョイント・RLはさらにエゴ・ドラグセンティブとテン・チョイスの成功を92.0%と75.3%に引き上げている。
• 参考スコア（独自算出の注目度）: 51.90802532969377
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing benchmarks for GUI agents primarily focus on increasing task difficulty by extending task horizons. Besides, enabling agents to explore unfamiliar environments and successfully complete tasks within them is also a critical yet challenging problem. We introduce LatentGUIWorld, a benchmark of six tasks in three matched pairs organized by the evidence needed for control: $I_0$ uses prior knowledge and available observations, $I_1$ requires interaction that directly reveals hidden semantics, and $I_2$ identifies dynamics from action-response relationships. Frontier models struggle especially on $I_2$ tasks. We introduce MOVE, which separates movement from button events and exposes intermediate visual feedback, together with demonstrations of iterative exploration and control. Ablations show that both action granularity and multi-step demonstrations improve performance. After SFT, LatentLearner-9B achieves 50.0% overall success on LatentGUIWorld, comparable to several frontier models. Joint RL further raises egocentric Drag and Ten-Choice success to 92.0% and 75.3%. Behavioral analysis reveals multi-step exploration. In egocentric Drag, RL increases Pearson correlation between error-normalized commands and ideal gain compensation from 0.610 to 0.803. Together, these behaviors show that models learn to explore through interaction and adapt their control to environment dynamics. The same format improves GUI grounding after RL, reaching 67.37% mean accuracy across five benchmarks versus 66.72% for conventional RL.
• Abstract（参考訳）: GUIエージェントの既存のベンチマークは、主にタスクの水平線を広げることによるタスクの難しさの増加に焦点を当てている。 さらに、エージェントが不慣れな環境を探索し、その中のタスクをうまく完了させることも、非常に難しい問題である。 これは、制御に必要なエビデンスによって組織された3つのマッチしたペアで、6つのタスクのベンチマークである。$I_0$は、事前の知識と利用可能な観察を使い、$I_1$は、隠されたセマンティクスを直接明らかにする相互作用を必要とし、$I_2$はアクション-レスポンスの関係からダイナミクスを識別する。 Frontierモデルは特に$I_2$タスクで苦労します。 ボタンイベントから移動を分離し,中間的な視覚フィードバックを公開するMOVEと,反復探索と制御の実証を紹介する。 アブレーションは、アクションの粒度とマルチステップのデモの両方がパフォーマンスを向上させることを示している。 SFTの後、LatentLearner-9BはLatentGUIWorldで50.0%の成功を収めた。 ジョイントRLはさらに、エゴセントリックなドラッグとテンチョイスの成功を92.0%と75.3%に引き上げる。 行動分析は多段階探索を明らかにする。 自己中心型Dragでは、RLはエラー正規化コマンドと理想的なゲイン補償のピアソン相関を0.610から0.803に増大させる。 これらの行動は、モデルが相互作用を通して探索し、その制御を環境力学に適応させることを示す。 同じフォーマットでは、RL後のGUIグラウンディングが改善され、5つのベンチマークの平均精度は67.37%に達し、従来のRLでは66.72%に達した。

関連論文リスト

• POINTS-GUI-G: GUI-Grounding Journey [22.35782799756431]
  POINTS-GUIG-8Bは、ScreenSpotProで59.9、OSWorld-Gで66.0、ScreenSpot-v2で95.7、UIVisionで49.9のスコアで最先端のパフォーマンスを実現する。 モデルの成功は,(1)データ工学の精錬,(2)訓練戦略の改善,(3)検証されたリワードによる強化学習の3つの要因によって引き起こされる。
  論文  参考訳（メタデータ） (2026-02-06T05:14:11Z)
• ShowUI-$π$: Flow-based Generative Models as GUI Dexterous Hands [59.222064425122795]
  そこで我々は,GUI dexterous Handとして最初のフローベース生成モデルである ShowUI-$ を開発した。 ShowUI-$$は、たった450万のパラメータで26.98を達成する。
  論文  参考訳（メタデータ） (2025-12-31T16:51:14Z)
• UI-Ins: Enhancing GUI Grounding with Multi-Perspective Instruction-as-Reasoning [51.54456545661045]
  本稿では,インストラクション・アズ・ア・推論(Instruction-as-Reasoning)パラダイムを導入し,インストラクションを動的解析経路として扱う。 これを実現するために,教師付き微調整と強化学習という2段階のトレーニングフレームワークを提案する。 得られたモデルであるUI-Ins-7BとUI-Ins-32Bは、5つの挑戦的なグラウンドベンチマークで最先端の結果を得る。
  論文  参考訳（メタデータ） (2025-10-23T07:18:32Z)
• GUI-Shepherd: Reliable Process Reward and Verification for Long-Sequence GUI Tasks [75.50160982584943]
  本稿では,エージェントを誘導するプロセス・リワード・モデルを提案する。 Gui-Shepherdは52ドル(約5,800円)のインタラクションからなるさまざまな大規模データセットでトレーニングされている。 GUIエージェントにおけるプロセス管理の体系的な研究を最初に行った。
  論文  参考訳（メタデータ） (2025-09-28T08:35:16Z)
• UI-TARS-2 Technical Report: Advancing GUI Agent with Multi-Turn Reinforcement Learning [155.51875080423883]
  グラフィカルユーザインタフェースのための自律エージェントの開発は、人工知能における大きな課題を示している。 本稿では,GUI中心のエージェントモデルであるUI-TARS-2を提案する。 実証的な評価では、UI-TARS-2は以前のUI-TARS-1.5よりも大幅に改善されている。
  論文  参考訳（メタデータ） (2025-09-02T17:44:45Z)
• UI-R1: Enhancing Efficient Action Prediction of GUI Agents by Reinforcement Learning [31.796328505473305]
  UI-R1は、ルールベースのRLがGUIアクション予測タスクのためのマルチモーダル大言語モデル(MLLM)の推論能力をどのように向上するかを探求する最初のフレームワークである。 具体的には、UI-R1が新しいルールベースのアクション報酬を導入し、グループ相対ポリシー最適化(GRPO)のようなポリシーベースのアルゴリズムによるモデル最適化を可能にする。 効率的なトレーニングのために、モバイルデバイス上で5つの一般的なアクションタイプを含む136の課題タスクからなる、小さくて高品質なデータセットをキュレートする。
  論文  参考訳（メタデータ） (2025-03-27T15:39:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。