論文の概要: GoClick: Lightweight Element Grounding Model for Autonomous GUI Interaction
- arxiv url: http://arxiv.org/abs/2604.23941v1
- Date: Mon, 27 Apr 2026 01:29:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-28 17:12:07.688467
- Title: GoClick: Lightweight Element Grounding Model for Autonomous GUI Interaction
- Title（参考訳）: GoClick: 自律的なGUIインタラクションのための軽量要素接地モデル
- Authors: Hongxin Li, Yuntao Chen, Zhaoxiang Zhang,
- Abstract要約: 本稿では,230万のパラメータしか持たない軽量GUI素子であるGoClickについて紹介する。
実験の結果,GoClickは複数のGUI要素のグラウンドベンチマークに優れ,小さなサイズと高い推論速度を維持していることがわかった。
- 参考スコア（独自算出の注目度）: 34.37697471424965
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graphical User Interface (GUI) element grounding (precisely locating elements on screenshots based on natural language instructions) is fundamental for agents interacting with GUIs. Deploying this capability directly on resource-constrained devices like mobile phones is increasingly critical for GUI agents requiring low latency. However, this goal faces a significant challenge, as current visual grounding methods typically employ large vision-language model (VLM) (more than 2.5B parameters), making them impractical for on-device execution due to memory and computational constraints. To address this, this paper introduces GoClick, a lightweight GUI element grounding VLM with only 230M parameters that achieves excellent visual grounding accuracy, even on par with significantly larger models. Simply downsizing existing decoder-only VLMs is a straightforward way to design a lightweight model, but our experiments reveal that this approach yields suboptimal results. Instead, we select an encoder-decoder architecture, which outperforms decoder-only alternatives at small parameter scales for GUI grounding tasks. Additionally, the limited capacity of small VLMs encourages us to develop a Progressive Data Refinement pipeline that utilizes task type filtering and data ratio adjustment to extract a high-quality 3.8M-sample core set from a 10.8M raw dataset. Training GoClick using this core set brings notable grounding accuracy gains. Our experiments show that GoClick excels on multiple GUI element grounding benchmarks while maintaining a small size and high inference speed. GoClick also enhances GUI agent performance when integrated into a device-cloud collaboration framework, where GoClick helps cloud-based task planners perform precise element localization and achieve higher success rates. We hope our method serves as a meaningful exploration within the GUI agent community.
- Abstract（参考訳）: グラフィカルユーザインタフェース (GUI) 要素接地 (自然言語命令に基づくスクリーンショット上の要素の正確な位置決め) はGUIと対話するエージェントの基本である。
携帯電話のようなリソース制約のあるデバイスに直接この機能をデプロイすることは、低レイテンシを必要とするGUIエージェントにとってますます重要になっている。
しかし、現在の視覚的接地法は一般に大きな視覚言語モデル(VLM)(2.5Bパラメータ以上)を用いており、メモリと計算の制約によりデバイス上での実行には実用的ではないため、この目標には大きな課題がある。
これを解決するために,GoClickは2億3000万のパラメータしか持たない軽量GUI要素グラウンドングVLMで,はるかに大きなモデルでも優れた視覚的グラウンドニング精度を実現する。
既存のデコーダのみのVLMを単純化することは、軽量なモデルを設計するための簡単な方法であるが、我々の実験により、このアプローチが準最適結果をもたらすことが判明した。
代わりにエンコーダ-デコーダアーキテクチャを選択し、GUIグラウンディングタスクの小さなパラメータスケールでデコーダのみの代替品より優れています。
さらに,10.8Mの生データセットから高品質な3.8Mサンプルコアセットを抽出するために,タスクタイプフィルタリングとデータ比調整を利用するプログレッシブデータリファインメントパイプラインの開発を奨励する。
このコアセットを使ってGoClickをトレーニングすると、グラウンドの精度が向上する。
実験の結果,GoClickは複数のGUI要素のグラウンドベンチマークに優れ,小さなサイズと高い推論速度を維持していることがわかった。
GoClickは、デバイスとクラウドのコラボレーションフレームワークに統合された場合のGUIエージェントのパフォーマンスも向上し、クラウドベースのタスクプランナが正確な要素ローカライゼーションを実行し、より高い成功率を達成するのに役立つ。
当社の手法がGUIエージェントコミュニティ内で有意義な探索となることを願っています。
関連論文リスト
- AdaZoom-GUI: Adaptive Zoom-based GUI Grounding with Instruction Refinement [44.11867590785016]
そこで我々は,AdaZoom-GUIを提案する。AdaZoom-GUIは適応的なズームベースのGUI基盤フレームワークで,ローカライゼーションの精度と命令理解の両面を改善する。
提案手法では,自然言語コマンドを明示的で詳細な記述に書き換える命令修正モジュールを導入する。
さらに,予測された小要素に対して第2段階の推論を選択的に行う条件付きズームイン戦略を設計する。
論文 参考訳（メタデータ） (2026-03-18T07:26:18Z) - Zoom in, Click out: Unlocking and Evaluating the Potential of Zooming for GUI Grounding [71.97466930670936]
グラウンディングはグラフィカルユーザインタフェース(GUI)エージェントを構築するための基本的な機能である。
本稿ではGUIグラウンディングに先立って未探索の強いズームについて検討し,トレーニング不要なZoomClick法を提案する。
実験により,本手法は汎用視覚言語と特殊GUIグラウンドモデルの両方の性能を著しく向上させることが示された。
論文 参考訳（メタデータ） (2025-12-05T18:39:12Z) - Beyond Clicking:A Step Towards Generalist GUI Grounding via Text Dragging [21.57463393334841]
テキストコンテンツの選択と操作のためにマウスをドラッグすることは、実用的なGUIシナリオにおいて一般的で重要な使用法である。
スケーラブルなパイプラインを通じて合成された161Kテキストドラッグング例のデータセットであるGUI-Dragを紹介する。
系統的かつ堅牢な評価をサポートするために,3段階のインターフェースコンテキストにまたがる5,333のサンプルを持つベンチマークであるScreenDragを構築した。
論文 参考訳（メタデータ） (2025-11-07T19:40:09Z) - MobileGUI-RL: Advancing Mobile GUI Agent through Reinforcement Learning in Online Environment [63.62778707277929]
MobileGUI-RLは、オンライン環境でGUIエージェントをトレーニングするスケーラブルなフレームワークである。
自己探索とフィルタリングを通じて学習可能なタスクのカリキュラムを合成する。
GRPOをGUIナビゲーションに適応させ、軌道認識の利点と複合報酬を付与する。
論文 参考訳（メタデータ） (2025-07-08T07:07:53Z) - R-VLM: Region-Aware Vision Language Model for Precise GUI Grounding [18.100091500983044]
GUI自動化における重要な課題は、様々なプラットフォームにまたがるインターフェイス要素の正確な基盤を作ることである。
既存の視覚のみのGUIエージェントは、大きく散らかったスクリーンショットから直接要素を接地する。
R-VLMは、ズームインされた領域の提案を正確な要素ローカライゼーションに活用する新しいGUI基盤手法である。
論文 参考訳（メタデータ） (2025-07-08T04:56:57Z) - GUI-Actor: Coordinate-Free Visual Grounding for GUI Agents [93.49577107524176]
座標自由なGUIグラウンドリングのためのVLMに基づくGUI-Actorを提案する。
GUI-Actorの中核となるのは、アテンションベースのアクションヘッドで、専用のACTOR>トークンと関連するすべての視覚的パッチトークンの整合を学ぶ。
実験により、GUI-Actorは、複数のGUIアクショングラウンドベンチマークにおいて、最先端のメソッドよりも優れていることが示された。
論文 参考訳（メタデータ） (2025-06-03T17:59:08Z) - GUI-Bee: Align GUI Action Grounding to Novel Environments via Autonomous Exploration [56.58744345634623]
MLLMをベースとした自律エージェントGUI-Beeを提案する。
NovelScreenSpotも導入しています。これはGUIアクショングラウンドモデルと新しい環境との整合性をテストするためのベンチマークです。
論文 参考訳（メタデータ） (2025-01-23T18:16:21Z) - ShowUI: One Vision-Language-Action Model for GUI Visual Agent [80.50062396585004]
グラフィカルユーザインタフェース(GUI)アシスタントの構築は、人間のワークフロー生産性を向上させるための大きな約束である。
デジタルワールドにおける視覚言語アクションモデル、すなわちShowUIを開発し、以下のイノベーションを特徴とする。
256Kデータを使用した軽量な2BモデルであるShowUIは、ゼロショットのスクリーンショットグラウンドで75.1%の精度を実現している。
論文 参考訳（メタデータ） (2024-11-26T14:29:47Z) - TinyClick: Single-Turn Agent for Empowering GUI Automation [0.18846515534317265]
視覚言語モデル Florence-2-Base を用いたユーザインタフェース(UI)インタラクションタスクのためのUIエージェントを提案する。
エージェントの主なタスクは、ユーザのコマンドに対応するUI要素の画面座標を特定することである。
これはScreenspotとOmniActアノテーションで非常に強力なパフォーマンスを示し、非常に小さなサイズの0.27Bパラメータと最小のレイテンシを維持している。
論文 参考訳（メタデータ） (2024-10-09T12:06:43Z) - SeeClick: Harnessing GUI Grounding for Advanced Visual GUI Agents [17.43878828389188]
タスク自動化のためのスクリーンショットのみに依存する新しいビジュアルグラフィカルユーザインタフェース(GUI)エージェントであるSeeClickを提案する。
この課題に対処するため,GUIグラウンディングによるSeeClickの改良を提案し,GUIグラウンディングデータのキュレーションを自動化する手法を考案した。
また、モバイル、デスクトップ、Web環境を含む初めての現実的なGUIグラウンドティングベンチマークであるScreenSpotも作成しました。
論文 参考訳（メタデータ） (2024-01-17T08:10:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。