論文の概要: Reflect, Revise, Reuse: Training-Free Skill Evolution for GUI Agents
- arxiv url: http://arxiv.org/abs/2609.17653v1
- Date: Tue, 15 Sep 2026 17:24:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-20 08:55:53.479676
- Title: Reflect, Revise, Reuse: Training-Free Skill Evolution for GUI Agents
- Title（参考訳）: リフレクション、リビジョン、再利用:GUIエージェントのトレーニング不要スキル進化
- Abstract要約: 我々は,GUIエージェントのトレーニングフリーフレームワークである textbfEvoSkill-GUI を提案する。
各スキルは、検索メタデータ、実行可能なプラン、バックアップローカライゼーション、障害回復ルール、アクセシビリティユーティリティ、障害ケースを含む構造化されたマルチファイルパッケージである。
EvoSkill-GUIはトレーニングなしで継続的に複数のベースモデルを改善し、最大ゲインは$+16.2%$、$+6.0%$、$+10.5%$である。
- 参考スコア（独自算出の注目度）: 51.801199733499296
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: GUI agents execute long-horizon tasks on dynamic graphical user interfaces, where pop-ups, delayed loads, and relocated widgets routinely invalidate plans fixed before execution. Recent agent-skill frameworks encapsulate reusable procedural knowledge to mitigate this, yet existing skill designs are largely developed without targeting GUI execution dynamics and treat skills as static artifacts produced before deployment rather than living procedural knowledge that improves through it. We argue that what GUI agents need is not better static skills, but skills that can be revised from execution feedback at deployment time, without additional training. We propose \textbf{EvoSkill-GUI}, a training-free framework in which each skill is a structured multi-file package containing retrieval metadata, executable plans, backup localization, failure-recovery rules, accessibility utilities, and failure cases. EvoSkill-GUI operates through a \textbf{\emph{reflect-revise-reuse}} loop: the executor performs instant in-rollout revisions, an isolated critic diagnoses failed trajectories under strict information isolation, and the executor edits specific skill files through a restricted tool interface. Across MobileWorld, AndroidWorld, and OSWorld, three mainstream GUI benchmarks spanning mobile and desktop platforms, EvoSkill-GUI consistently improves multiple base models without any training, with maximum gains of $+16.2\%$, $+6.0\%$, and $+10.5\%$ respectively, and evolved skill libraries continue to benefit related tasks rather than being rebuilt from scratch. Our code is available at https://github.com/ZJU-REAL/EvoSkill-GUI.
- Abstract（参考訳）: GUIエージェントは動的グラフィカルユーザインタフェース上で長い水平タスクを実行し、ポップアップ、遅延ロード、移動ウィジェットは実行前に固定されたプランを定期的に無効にする。
近年のエージェントスキルフレームワークは、再利用可能な手続き的知識をカプセル化してこれを緩和するが、既存のスキル設計はGUI実行のダイナミクスを標的にすることなく開発され、それを通じて改善される手続き的知識を生きていくのではなく、デプロイ前に生成された静的アーティファクトとして扱われる。
GUIエージェントが必要とするのは、より優れた静的スキルではなく、追加のトレーニングなしで、デプロイメント時に実行時のフィードバックから修正できるスキルである、と私たちは主張する。
本稿では,検索メタデータ,実行可能プラン,バックアップローカライゼーション,障害回復ルール,アクセシビリティユーティリティ,障害ケースを含む構造化マルチファイルパッケージを,各スキルが組み込んだトレーニングフリーフレームワークである‘textbf{EvoSkill-GUI} を提案する。
EvoSkill-GUI は \textbf{\emph{reflect-revise-reuse}} ループを介して動作する:エグゼキュータは即時インロールアウトのリビジョンを実行し、独立した批評家は厳密な情報分離の下でトラジェクトリを診断し、エグゼキュータは制限されたツールインターフェースを通じて特定のスキルファイルを編集する。
MobileWorld、AndroidWorld、OSWorldの3つの主要なGUIベンチマークにおいて、EvoSkill-GUIはトレーニングなしで複数のベースモデルを継続的に改善し、最大ゲインは$+16.2\%$、$+6.0\%$、$+10.5\%$で、スキルライブラリはスクラッチから再構築されるのではなく、関連タスクの恩恵を受け続けている。
私たちのコードはhttps://github.com/ZJU-REAL/EvoSkill-GUIで利用可能です。
関連論文リスト
- GUI-CIDER: Mid-training GUI Agents via Causal Internalization and Density-aware Exemplar Reselection [26.58169185548789]
既存のソリューションは、高価なマルチエージェントの足場や従来のポストトレーニングパラダイムに依存している。
本稿では,GUIの世界知識を因果的内在化と密度認識による模範的再選択によって明示的に内部化する中級学習手法であるGUI-CIDERを提案する。
2つのGUI知識ベンチマークと3つのタスク補完ベンチマークの実験により、GUI-CIDERはエージェントのGUI操作に対する理解とタスク成功率の両方を一貫して改善することを示した。
論文 参考訳（メタデータ） (2026-05-27T14:29:41Z) - AppAgent-Claw: CLI Is All You Need for GUI Automation [9.116481317329493]
AppAgent-Clawは、GUIを実行時推論なしで信頼性のある再利用可能なスキルに変換するデモ駆動システムである。
視覚的なシフトを処理するためにレイヤ化されたローカライゼーション戦略と、スクリーン上の意図された効果を保証するためのバリデーション結合実行モデルを採用している。
論文 参考訳（メタデータ） (2026-04-15T17:02:09Z) - ClawGUI: A Unified Framework for Training, Evaluating, and Deploying GUI Agents [54.04035382782041]
textbfClawGUI-RLは、並列仮想環境と実際の物理デバイスの両方をサポートする最初のオープンソースのGUIエージェントRLインフラストラクチャを提供する。
textbfClawGUI-Evalは6つのベンチマークと11以上のモデルで完全に標準化された評価パイプラインを実行する。
textbfClawGUI-Agentは、12以上のチャットプラットフォームを通じて、Android、HarmonyOS、iOSにトレーニングされたエージェントを提供し、ハイブリッドCLI-GUIコントロールとパーソナライズされたパーソナライズされたメモリを提供する。
論文 参考訳（メタデータ） (2026-04-13T17:52:04Z) - UIPro: Unleashing Superior Interaction Capability For GUI Agents [33.77980648230746]
人間のようなグラフィカルユーザインタフェース(GUI)を知覚し、操作する自律エージェントの構築は、人工知能の分野における長年のビジョンである。
視覚言語モデル(VLM)のマルチモーダル理解能力に基づくGUIエージェントの開発が試みられている。
本稿では,多プラットフォーム・マルチタスクGUIインタラクションデータを用いた新しい汎用GUIエージェントであるtextUIProを提案する。
論文 参考訳（メタデータ） (2025-09-22T03:04:53Z) - MobileGUI-RL: Advancing Mobile GUI Agent through Reinforcement Learning in Online Environment [63.62778707277929]
MobileGUI-RLは、オンライン環境でGUIエージェントをトレーニングするスケーラブルなフレームワークである。
自己探索とフィルタリングを通じて学習可能なタスクのカリキュラムを合成する。
GRPOをGUIナビゲーションに適応させ、軌道認識の利点と複合報酬を付与する。
論文 参考訳（メタデータ） (2025-07-08T07:07:53Z) - ZeroGUI: Automating Online GUI Learning at Zero Human Cost [75.21128388931945]
我々は、ZeroGUIを提案する。ZeroGUIは、Zeroの人的コストでGUIエージェントのトレーニングを自動化する、スケーラブルでオンライン学習フレームワークである。
具体的には、(i)VLMベースの自動タスク生成を統合して、現在の環境状態から多様なトレーニング目標を生成するとともに、(ii)手作り評価機能なしでタスク成功を評価するためのVLMベースの自動報酬推定と、(iii)GUI環境と継続的に対話し学習するための2段階オンライン強化学習を統合する。
論文 参考訳（メタデータ） (2025-05-29T17:59:51Z) - GUICourse: From General Vision Language Models to Versatile GUI Agents [75.5150601913659]
GUICourseは、ビジュアルベースのGUIエージェントをトレーニングするためのデータセットスイートです。
まず、OCRとVLMのグラウンド機能を強化するためにGUIEnvデータセットを導入する。
次にGUIActとGUIChatデータセットを導入し、GUIコンポーネントやインタラクションに関する知識を充実させます。
論文 参考訳（メタデータ） (2024-06-17T08:30:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。