論文の概要: GroundGUI: GUI Grounding by High-Quality Data and Distillation-to-Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2610.19100v1
- Date: Tue, 13 Oct 2026 19:37:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.77292
- Title: GroundGUI: GUI Grounding by High-Quality Data and Distillation-to-Reinforcement Learning
- Title（参考訳）: GroundGUI:高品質データによるGUI接地と蒸留-強化学習
- Abstract要約: スクリーン参照グラウンドデータセット(ScreenRef)を紹介する。
ScreenRefは586Kスクリーンショットと633K以上の参照式インスタンスで構成されている。
本稿では,教師付き微調整の限定的な一般化に対処するため,D2RL法を提案する。
GroundGUI-8BはScreenSpot-V2で95.2%、ScreenSpot-Proで63.9%、OSWorld-Gで65.4%、MMBench-GUI L2で86.8%、UI-Visionで38.3%を達成している。
- 参考スコア（独自算出の注目度）: 7.519038862325206
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Constructing robust GUI agents relies on multimodal visual grounding: the ability to precisely map natural language intents to actionable on-screen components. Despite abundant desktop, web, and mobile benchmarks, high-fidelity resources tailored for diverse environments are surprisingly scarce. To bridge this gap, we introduce the Screen Referring Grounding Dataset (ScreenRef), a comprehensive GUI grounding dataset consisting of GUI screenshots paired with natural language referring expressions and box or point annotations. Spanning desktop, web, and mobile domains, ScreenRef comprises 586K screenshots and over 633K referring expression instances, covering tasks such as text recognition, visual matching, spatial understanding, and refusal scenarios. To boost the model's grounding performance, we propose the Distillation-to-Reinforcement Learning (D2RL) method to address the limited generalization of supervised fine-tuning and the sparse reward problem in reinforcement learning. Utilizing ScreenRef, we train Qwen3-VL-8B-Instruct via sequential SFT and D2RL training, yielding GroundGUI-8B. GroundGUI-8B achieves 95.2% on ScreenSpot-V2, 63.9% on ScreenSpot-Pro, 65.4% on OSWorld-G, 86.8% on MMBench-GUI L2, and 38.3% on UI-Vision. Among 8B-scale models, it produces substantial gains over models trained on open-source datasets, with performance comparable or even superior to models trained on closed-source data. Code, models, and datasets are available at https://github.com/PrentisAI/GroundGUI.
- Abstract（参考訳）: 堅牢なGUIエージェントの構築には、マルチモーダルなビジュアルグラウンド – アクション可能な画面上のコンポーネントに、自然言語の意図を正確にマッピングする機能がある。
デスクトップ、Web、モバイルのベンチマークが豊富にあるにもかかわらず、多様な環境に適した高忠実度リソースは驚くほど少ない。
このギャップを埋めるために、我々はScreenRef(ScreenRef)という、自然言語参照式とボックスまたはポイントアノテーションを組み合わせたGUIスクリーンショットからなる総合的なGUIグラウンドデータセットを紹介した。
デスクトップ、Web、モバイルドメインを拡大するScreenRefは、586Kのスクリーンショットと633K以上の表現インスタンスを参照し、テキスト認識、視覚的マッチング、空間的理解、拒絶シナリオなどのタスクをカバーする。
そこで本研究では,強化学習における教師付き微調整の限定的な一般化とスパース報酬問題に対処する蒸留・強化学習(D2RL)法を提案する。
ScreenRefを利用して、逐次SFTおよびD2RLトレーニングによりQwen3-VL-8Bインストラクトを訓練し、GroundGUI-8Bを得る。
GroundGUI-8BはScreenSpot-V2で95.2%、ScreenSpot-Proで63.9%、OSWorld-Gで65.4%、MMBench-GUI L2で86.8%、UI-Visionで38.3%を達成している。
8Bスケールモデルの中では、オープンソースデータセットでトレーニングされたモデルよりも大幅に向上し、クローズドソースデータでトレーニングされたモデルとパフォーマンスが同等か、それ以上に優れている。
コード、モデル、データセットはhttps://github.com/PrentisAI/GroundGUIで入手できる。
関連論文リスト
- Learn where to Click from Yourself: On-Policy Self-Distillation for GUI Grounding [14.557461522754545]
GUIグラウンドニングに適した最初のOPSDフレームワークであるGUI-SDを提示する。
教師のための視覚的に豊かな特権的コンテキストを構築する。
GRPOベースの手法よりも一貫して優れており、精度とトレーニング効率の両方でOPSDを生かしている。
論文 参考訳（メタデータ） (2026-05-01T13:23:26Z) - Zoom in, Click out: Unlocking and Evaluating the Potential of Zooming for GUI Grounding [71.97466930670936]
グラウンディングはグラフィカルユーザインタフェース(GUI)エージェントを構築するための基本的な機能である。
本稿ではGUIグラウンディングに先立って未探索の強いズームについて検討し,トレーニング不要なZoomClick法を提案する。
実験により,本手法は汎用視覚言語と特殊GUIグラウンドモデルの両方の性能を著しく向上させることが示された。
論文 参考訳（メタデータ） (2025-12-05T18:39:12Z) - UI-Ins: Enhancing GUI Grounding with Multi-Perspective Instruction-as-Reasoning [51.54456545661045]
本稿では,インストラクション・アズ・ア・推論(Instruction-as-Reasoning)パラダイムを導入し,インストラクションを動的解析経路として扱う。
これを実現するために,教師付き微調整と強化学習という2段階のトレーニングフレームワークを提案する。
得られたモデルであるUI-Ins-7BとUI-Ins-32Bは、5つの挑戦的なグラウンドベンチマークで最先端の結果を得る。
論文 参考訳（メタデータ） (2025-10-23T07:18:32Z) - \textsc{GUI-Spotlight}: Adaptive Iterative Focus Refinement for Enhanced GUI Visual Grounding [37.69847052653875]
GUI-Spotlightは画像グラウンド推論のために訓練されたモデルである。
画面の関連領域へのフォーカスを反復的に絞り、視覚的グラウンドの精度を大幅に向上させる。
ScreenSpot-Proベンチマークでは、18.5KのトレーニングサンプルでトレーニングされたGUI-Spotlightが52.8%の精度を実現している。
論文 参考訳（メタデータ） (2025-10-05T05:15:45Z) - UI-TARS-2 Technical Report: Advancing GUI Agent with Multi-Turn Reinforcement Learning [155.51875080423883]
グラフィカルユーザインタフェースのための自律エージェントの開発は、人工知能における大きな課題を示している。
本稿では,GUI中心のエージェントモデルであるUI-TARS-2を提案する。
実証的な評価では、UI-TARS-2は以前のUI-TARS-1.5よりも大幅に改善されている。
論文 参考訳（メタデータ） (2025-09-02T17:44:45Z) - Mobile-Agent-v3: Fundamental Agents for GUI Automation [59.775510710011325]
本稿では,オープンソースエンド・ツー・エンド・モデル間の最先端性能を実現する基礎的なGUIエージェントモデルを提案する。
汎用GUIエージェントフレームワークであるMobile-Agent-v3を提案し,AndroidWorldでは73.3,OSWorldでは37.7に向上した。
論文 参考訳（メタデータ） (2025-08-21T00:39:12Z) - Test-Time Reinforcement Learning for GUI Grounding via Region Consistency [17.954613936413942]
本稿では,複数のサンプル予測から空間投票格子を構築し,コンセンサス領域を同定するテスト時間スケーリング手法を提案する。
また、GUI-RCPOを導入し、これらの一貫性パターンをテスト時間強化学習の報酬に変換する。
提案手法は,GUI接地のためのテスト時間スケーリングとテスト時間強化学習の未解決の可能性を明らかにし,より堅牢でデータ効率のよいGUIエージェントへの有望な道筋を提供する。
論文 参考訳（メタデータ） (2025-08-07T17:54:27Z) - ZonUI-3B: A Lightweight Vision-Language Model for Cross-Resolution GUI Grounding [0.0]
ZonUI-3Bは、単一のコンシューマグレードGPUで完全にトレーニング可能な軽量ビジョンランゲージモデル(VLM)である。
GUIグラウンディングタスクにおいて、かなり大きなモデルに匹敵するパフォーマンスを提供する。
論文 参考訳（メタデータ） (2025-06-30T03:33:02Z) - ShowUI: One Vision-Language-Action Model for GUI Visual Agent [80.50062396585004]
グラフィカルユーザインタフェース(GUI)アシスタントの構築は、人間のワークフロー生産性を向上させるための大きな約束である。
デジタルワールドにおける視覚言語アクションモデル、すなわちShowUIを開発し、以下のイノベーションを特徴とする。
256Kデータを使用した軽量な2BモデルであるShowUIは、ゼロショットのスクリーンショットグラウンドで75.1%の精度を実現している。
論文 参考訳（メタデータ） (2024-11-26T14:29:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。