論文の概要: Learn How to Act from Your Own Interactions: On-Policy Self-Distillation for GUI Agents

• arxiv url: http://arxiv.org/abs/2609.27307v1
• Date: Wed, 23 Sep 2026 03:38:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 00:05:17.861922
• Title: Learn How to Act from Your Own Interactions: On-Policy Self-Distillation for GUI Agents
• Title（参考訳）: 自分のインタラクションから行動する方法を学ぶ:GUIエージェントのためのオンデマンド自己蒸留
• Abstract要約: GUI-SDの次のバージョンであるGUI-SD-v2を導入し、GUIグラウンドリングからマルチターンGUIインタラクションまでOPSDを拡張した。 Gui-SD-v2はまず、同じGUI状態から特権的なガイダンスなしでロールアウトを最適化することで、特権を強化する。 特権条件の自己学習者を通じてステップ固有の推論と記憶指導を選択的に蒸留する。
• 参考スコア（独自算出の注目度）: 25.45704175487369
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graphical User Interface (GUI) agents enable the fulfillment of complex user instructions through multi-turn interactions with software environments, requiring step-wise reasoning and long-horizon memory to guide actions and retain task-relevant information, respectively. Recent on-policy self-distillation (OPSD) methods have achieved strong performance on GUI grounding, a foundational subtask for GUI agents, owing to dense token-level supervision from privilege-conditioned self-teachers. However, extending existing OPSD methods to multi-turn GUI agents is hindered by self-teachers' limited privilege-following ability and insufficient privileged guidance. In this paper, we introduce GUI-SD-v2, the next version of GUI-SD, which extends OPSD from GUI grounding to multi-turn GUI interaction and addresses key limitations through a two-stage training framework. Specifically, GUI-SD-v2 first strengthens privilege following by jointly optimizing rollouts with and without privileged guidance from the same GUI states. Furthermore, it selectively distills step-specific reasoning and memory guidance through a privilege-conditioned self-teacher, supporting action decisions and the retention of task-relevant information for subsequent interactions. Extensive experiments on two representative GUI agent benchmarks, AndroidWorld and MobileWorld, show that GUI-SD-v2 compares favorably with existing OPSD baselines while consistently outperforming the evaluated state-of-the-art methods in both Pass@1 and Pass@3 success rates. Code and training data will be publicly released.
• Abstract（参考訳）: グラフィカルユーザインタフェース(GUI)エージェントは、ソフトウェア環境とのマルチターンインタラクションを通じて複雑なユーザインストラクションの実現を可能にし、アクションをガイドし、タスク関連情報をそれぞれ保持するためにステップワイズ推論とロングホライゾンメモリを必要とする。 近年のOPSD(On-policy Self-distillation)法は、特権条件付き自己教育者によるトークンレベルの集中管理により、GUIエージェントの基礎的なサブタスクであるGUIグラウンドングにおいて、高いパフォーマンスを達成している。 しかし、既存のOPSDメソッドをマルチターンGUIエージェントに拡張することは、自己教師の限られた特権フォロー能力と不十分な特権ガイダンスによって妨げられる。 本稿ではGUI-SDの次のバージョンであるGUI-SD-v2を紹介する。 具体的には、GUI-SD-v2はまず、同じGUI状態から特権的なガイダンスなしでロールアウトを最適化することで、特権を強化する。 さらに、特権条件付き自己学習者を通じてステップ固有の推論と記憶指導を選択的に蒸留し、アクション決定とその後のインタラクションのためのタスク関連情報の保持を支援する。 AndroidWorldとMobileWorldの2つの代表的なGUIエージェントベンチマークに関する大規模な実験によると、GUI-SD-v2は既存のOPSDベースラインと良好に比較でき、Pass@1とPass@3の成功率で評価された最先端メソッドを一貫して上回っている。 コードとトレーニングデータの公開が予定されている。

関連論文リスト

• GUI-CIDER: Mid-training GUI Agents via Causal Internalization and Density-aware Exemplar Reselection [26.58169185548789]
  既存のソリューションは、高価なマルチエージェントの足場や従来のポストトレーニングパラダイムに依存している。 本稿では,GUIの世界知識を因果的内在化と密度認識による模範的再選択によって明示的に内部化する中級学習手法であるGUI-CIDERを提案する。 2つのGUI知識ベンチマークと3つのタスク補完ベンチマークの実験により、GUI-CIDERはエージェントのGUI操作に対する理解とタスク成功率の両方を一貫して改善することを示した。
  論文  参考訳（メタデータ） (2026-05-27T14:29:41Z)
• Learn where to Click from Yourself: On-Policy Self-Distillation for GUI Grounding [14.557461522754545]
  GUIグラウンドニングに適した最初のOPSDフレームワークであるGUI-SDを提示する。 教師のための視覚的に豊かな特権的コンテキストを構築する。 GRPOベースの手法よりも一貫して優れており、精度とトレーニング効率の両方でOPSDを生かしている。
  論文  参考訳（メタデータ） (2026-05-01T13:23:26Z)
• MagicGUI: A Foundational Mobile GUI Agent with Scalable Data Pipeline and Reinforcement Fine-tuning [83.81404871748438]
  MagicGUIは、現実のモバイルGUI環境における認識、接地、推論における重要な課題に対処するために設計された、基本的なモバイルGUIエージェントである。 フレームワークには、包括的で正確なデータセット、知覚と接地能力の強化、包括的で統一されたアクション空間、計画指向の推論メカニズムを含む6つの重要なコンポーネントが含まれている。
  論文  参考訳（メタデータ） (2025-07-19T12:33:43Z)
• MobileGUI-RL: Advancing Mobile GUI Agent through Reinforcement Learning in Online Environment [63.62778707277929]
  MobileGUI-RLは、オンライン環境でGUIエージェントをトレーニングするスケーラブルなフレームワークである。 自己探索とフィルタリングを通じて学習可能なタスクのカリキュラムを合成する。 GRPOをGUIナビゲーションに適応させ、軌道認識の利点と複合報酬を付与する。
  論文  参考訳（メタデータ） (2025-07-08T07:07:53Z)
• Falcon-UI: Understanding GUI Before Following User Instructions [57.67308498231232]
  インテリジェンスフリーなGUIナビゲーションデータセットであるInsight-UIデータセットを導入し、GUI環境のモデル理解を強化する。 Insight-UIデータセットはCommon Crawlコーパスから自動的に生成され、さまざまなプラットフォームをシミュレートする。 我々は、最初Insight-UIデータセットで事前訓練され、その後AndroidおよびWeb GUIデータセットで微調整されたGUIエージェントモデルFalcon-UIを開発した。
  論文  参考訳（メタデータ） (2024-12-12T15:29:36Z)
• GUI-World: A Video Benchmark and Dataset for Multimodal GUI-oriented Understanding [73.9254861755974]
  本稿では,人間のMLLMアノテーションを巧みに作成するGUI-Worldという新しいデータセットを提案する。 各種GUIコンテンツの理解において,画像LLMやビデオLLMなどの最先端MLLMの能力を評価する。
  論文  参考訳（メタデータ） (2024-06-16T06:56:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。