論文の概要: LiteGUI: Distilling Compact GUI Agents with Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2605.07505v1
• Date: Fri, 08 May 2026 09:38:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-11 19:43:38.967598
• Title: LiteGUI: Distilling Compact GUI Agents with Reinforcement Learning
• Title（参考訳）: LiteGUI: 強化学習による小型GUIエージェントの蒸留
• Authors: Yubin Wu, Zicheng Cai, Liping Ning, Hua Wang, Zhi Chen, Yaohua Tang, Hao Chen,
• Abstract要約: 現在のオンデバイスビジョン言語GUIエージェントは、モデル容量の制限によって制約される。 小型モデルの伝統的なスーパービジョンファインチューニングは、しばしば過度に適合し、破滅的な忘れ込みとポリシーの厳格さをもたらす。 小型モデルの性能を大幅に向上させる新しいSFTフリートレーニングパラダイムを提案する。
• 参考スコア（独自算出の注目度）: 11.35341244051162
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Developing lightweight, on-device vision-language GUI agents is essential for efficient cross-platform automated interaction. However, current on-device agents are constrained by limited model capacity, and further performance improvements remain urgently needed. Traditional Supervised Fine-Tuning (SFT) for small-scale models often leads to overfitting, catastrophic forgetting and policy rigidity, and thus fails to fully address these challenges. In this work, we propose a novel SFT-free training paradigm that significantly enhances the performance of small-scale models. We first present the initial systematic integration of generalized knowledge distillation into the GUI agent domain via Guided On-policy Distillation. By incorporating oracle reference trajectories together with a dynamic retrieval mechanism, our method reduces hallucinations and mitigates the cognitive misalignment inherent in multi-solution GUI tasks. Building on this foundation, we further introduce a Multi-solution Dual-level GRPO framework that jointly aligns macro-level subtask planning with micro-level execution matching, thereby improving exploration in long-horizon GUI agent scenarios. In addition, we construct an automated data generation pipeline to synthesize GUI task trajectories with rich multi-solution annotations. Extensive experiments show that our method achieves state-of-the-art performance among lightweight models while remaining competitive with substantially larger-scale models across all benchmarks. Ablation studies further demonstrate that structured on-policy distillation and multi-solution dual-level exploration can fully unlock the capabilities of 2B/3B scale agents, surpassing the performance limits of conventional imitation learning.
• Abstract（参考訳）: 軽量でオンデバイスなGUIエージェントの開発は、クロスプラットフォームの自動インタラクションに不可欠である。 しかし、現在のオンデバイスエージェントは限定的なモデルキャパシティによって制約されており、さらなるパフォーマンス改善が急務である。 小型モデルのための伝統的なスーパービジョンファインチューニング(SFT)は、しばしば過度に適合し、破滅的な忘れ込みとポリシーの厳密さをもたらす。 本研究では,小規模モデルの性能を大幅に向上させる新しいSFTフリートレーニングパラダイムを提案する。 本稿ではまず,GUIエージェントドメインへの一般知識蒸留の初期体系的な統合について,ガイドオン政治蒸留を通して紹介する。 オラクル参照軌跡を動的検索機構と組み合わせることで幻覚を減らし,多解GUIタスクに固有の認知的不適応を緩和する。 この基盤を基盤として,マクロレベルのサブタスク計画とマイクロレベルの実行マッチングを併用したマルチソリューション・デュアルレベルのGRPOフレームワークを導入し,長期GUIエージェントシナリオの探索を改善する。 さらに,GUIタスクトラジェクトリをリッチなマルチソリューションアノテーションで合成する自動データ生成パイプラインを構築した。 拡張実験により,本手法は軽量モデル間での最先端性能を実現する一方で,全てのベンチマークにおいてより大規模なモデルと競合することを示す。 アブレーション研究により, 従来の模擬学習の性能限界を超える2B/3Bスケールエージェントの能力を完全に解き放つことができることが明らかとなった。

関連論文リスト

• Towards Scalable Lightweight GUI Agents via Multi-role Orchestration [26.13785805540596]
  本稿では,GUI固有の知識とタスクスケーラビリティを備えた軽量MLLMを実現するLAMOフレームワークを提案する。 我々は,タスクスケーラブルなネイティブGUIエージェントLAMO-3Bを開発し,モノリシックな実行とMASスタイルのオーケストレーションをサポートする。
  論文  参考訳（メタデータ） (2026-04-15T05:23:04Z)
• CGL: Advancing Continual GUI Learning via Reinforcement Fine-Tuning [67.78566256784404]
  Supervised Fine-Tuning (SFT) は高速な適応を可能にし、しばしば知識のオーバーライトを引き起こす。 強化学習(RL)は、事前の相互作用ロジックを消去から保護する固有のレジリエンスを示す。 textbfContinual textbfGUI textbfLearningフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-03-03T13:02:20Z)
• Mano Technical Report [29.551514304095296]
  Manoは、大規模なWebおよびコンピュータシステムデータに基づいて事前訓練されたマルチモーダル基盤モデル上に構築された堅牢なGUIエージェントである。 Mano氏は、Mind2WebやOSWorldなど、複数のGUIベンチマークで最先端のパフォーマンスをデモしている。
  論文  参考訳（メタデータ） (2025-09-22T03:13:58Z)
• OneCAT: Decoder-Only Auto-Regressive Model for Unified Understanding and Generation [91.45421429922506]
  OneCATは、理解、生成、編集をシームレスに統合する統合マルチモーダルモデルである。 我々のフレームワークは、推論中に視覚変換器(ViT)や視覚トークン化器などの外部コンポーネントを不要にする。
  論文  参考訳（メタデータ） (2025-09-03T17:29:50Z)
• Learning, Reasoning, Refinement: A Framework for Kahneman's Dual-System Intelligence in GUI Agents [15.303188467166752]
  人間の動作に類似したGUI自動化のための適応学習を実現することにより,制限を克服する認知フレームワークであるCogniGUIを提案する。 エージェントシステムの一般化と適応性を評価するために,マルチアプリケーションナビゲーション,動的状態遷移,インターフェースのコヒーレンスなどを含む総合ベンチマークScreenSeekを導入する。 実験結果から,現在のGUIグラウンドベンチマークと新たに提案したベンチマークの両方において,CogniGUIが最先端の手法を上回ることが示された。
  論文  参考訳（メタデータ） (2025-06-22T06:30:52Z)
• When Parameter-efficient Tuning Meets General-purpose Vision-language Models [65.19127815275307]
  PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。 実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-12-16T17:13:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。