論文の概要: Seg2Click: Learning Pixel-Level Action Masks for GUI Visual Grounding
- arxiv url: http://arxiv.org/abs/2610.16234v1
- Date: Mon, 12 Oct 2026 06:09:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-19 06:57:19.75176
- Title: Seg2Click: Learning Pixel-Level Action Masks for GUI Visual Grounding
- Title（参考訳）: Seg2Click: GUIビジュアルグラウンドのためのPixel-Level Action Masksの学習
- Abstract要約: 単一点監視によるコーディネート生成は、空間的に拡張されたターゲットを1つの位置まで減少させる。
領域ベースのパッチスコアリングは、この曖昧さを緩和するが、その空間的決定は、依然として視覚的なフットプリントに結びついている。
実行可能領域予測としてGUIグラウンドを再構成するSeg2Clickを提案する。
- 参考スコア（独自算出の注目度）: 13.759031918237598
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Visual grounding is a central challenge for GUI agents, requiring an instruction to be mapped to a target within a crowded screenshot. Coordinate generation with single-point supervision reduces a spatially extended target to one position, despite the presence of many valid click locations. Region-based patch scoring alleviates this ambiguity, but its spatial decisions remain tied to visual-token footprints that may span the target, neighboring controls, and background. To address these limitations, we propose Seg2Click, which reformulates GUI grounding as executable-region prediction: identifying where a click can validly execute the given instruction. Using bounding-box supervision, Seg2Click predicts an executable-region mask and computes the final click point through a deterministic rule. This formulation captures the spatial extent of valid click locations and enables finer localization beyond the visual-token grid, making it well suited to small, densely arranged controls without requiring a verifier or zoom-in pass. Experiments across five backbone configurations from two model families demonstrate the effectiveness of Seg2Click. Seg2Click-9B achieves 92.06\%, 94.10\%, and 55.22\% on ScreenSpot, ScreenSpot-v2, and ScreenSpot-Pro, respectively, while matched-backbone comparisons show improvements over both coordinate generation and patch-based grounding. Code will be available at https://github.com/jcwang0602/Seg2Click.
- Abstract（参考訳）: ビジュアルグラウンドティングはGUIエージェントにとって重要な課題であり、混雑したスクリーンショット内のターゲットに命令をマッピングする必要がある。
単一点監視によるコーディネート生成は、多くの有効なクリック位置が存在するにも関わらず、空間的に拡張されたターゲットを1つの位置に還元する。
領域ベースのパッチスコアリングは、この曖昧さを軽減するが、その空間的決定は、ターゲット、近隣のコントロール、背景にまたがる視覚的なフットプリントと結びついている。
これらの制限に対処するために、GUIのグラウンド化を実行可能領域予測として再構成するSeg2Clickを提案する。
境界ボックスの監視を使用して、Seg2Clickは実行可能領域マスクを予測し、決定論的ルールを通じて最終クリックポイントを計算する。
この定式化は、有効なクリック位置の空間的範囲をキャプチャし、視覚トーケングリッドを超えてより微細なローカライゼーションを可能にし、検証器やズームインパスを必要とせず、小さくて密に配置された制御に適している。
2つのモデルファミリーの5つのバックボーン構成の実験は、Seg2Clickの有効性を実証している。
Seg2Click-9BはScreenSpot、ScreenSpot-v2、ScreenSpot-Proで92.06\%、94.10\%、55.22\%を達成した。
コードはhttps://github.com/jcwang0602/Seg2Click.comから入手できる。
関連論文リスト
- ScreenHaystack: Finding Blind Zones in GUI Grounding [26.832721590367484]
GUIグラウンドニングにおける空間信頼性を評価するための動的ニードル・ア・ヘイスタック・ベンチマークであるScreenHaystackを紹介する。
Qwen3-VL、UI-TARS、GTA、UI-Venusといった主要なGUIグラウンドモデルは盲点を示す。
そこで我々は,ブラインドゾーンの監視を追加し,オリジナルおよびランダムに拡張されたClick-100kファインタニングよりもScreenSpot-Proの精度を向上させる,シンプルな戦略であるブラインドゾーン指向拡張を提案する。
論文 参考訳（メタデータ） (2026-09-25T22:07:29Z) - GUI-Lens: Coarse-to-Fine Cropping for GUI Grounding with General-Purpose VLMs [40.30152384879941]
視覚言語モデル(VLM)は、要求された制御を、インタラクションに十分な精度で特定することなく認識することができる。
GUI-Lens(GUI-Lens)は、汎用的なVLMがアクティブな視覚観察を通してターゲットを判断できる粗大な接地フレームワークである。
実験の結果、GUI-Lensは全体の接地精度を最大24.9ポイント改善し、GPT-5.5で最先端の性能を達成した。
論文 参考訳（メタデータ） (2026-08-04T07:47:37Z) - MetaPoint: Unlocking Precise Spatial Control in Agentic Visual Generation [50.014544532951085]
連続した2次元座標を1つの特別なトークンとして表現することでギャップを埋める方法であるMetaPointを紹介する。
空間制御のためのシンプルで正確でスケーラブルなビルディングブロックを提供することで、MetaPointはより強力な合成生成エージェントを解放する。
論文 参考訳（メタデータ） (2026-06-03T15:58:56Z) - Improving GUI Grounding with Explicit Position-to-Coordinate Mapping [40.201918480639954]
現在のアプローチでは、視覚的特徴から直接テキストトークンとして座標を生成するため、複雑な位置-画素マッピングを暗黙的に推論せざるを得ない。
我々はRULERトークンを明示的な座標マーカーとして提案し、モデル参照位置を地図上のグリッドラインに類似させ、スクラッチから座標を生成するのではなく調整する。
ScreenSpot、ScreenSpot-V2、ScreenSpot-Proの実験では、グラウンドの精度が一貫した向上を示し、高解像度インターフェースが最大の改善となった。
論文 参考訳（メタデータ） (2025-10-03T17:59:34Z) - Learning GUI Grounding with Spatial Reasoning from Visual Feedback [46.66862168972301]
我々は,多段階オンライン強化学習を用いたGUIグラウンドモデル GUI-Cursor を訓練する。
実験の結果、Qwen2.5-VL-7Bに基づくGUI-Cursorは、GUIグラウンドの精度を向上し、最先端の結果が得られることがわかった。
論文 参考訳（メタデータ） (2025-09-25T20:38:01Z) - GUI-Actor: Coordinate-Free Visual Grounding for GUI Agents [93.49577107524176]
座標自由なGUIグラウンドリングのためのVLMに基づくGUI-Actorを提案する。
GUI-Actorの中核となるのは、アテンションベースのアクションヘッドで、専用のACTOR>トークンと関連するすべての視覚的パッチトークンの整合を学ぶ。
実験により、GUI-Actorは、複数のGUIアクショングラウンドベンチマークにおいて、最先端のメソッドよりも優れていることが示された。
論文 参考訳（メタデータ） (2025-06-03T17:59:08Z) - Point-to-Region Loss for Semi-Supervised Point-Based Crowd Counting [49.165960263166966]
ポイント・ツー・ポイント(P2P)監視スキームを通じて、カウンターを訓練することで、混雑したシーンの歩行者を見つけるためにポイント検出が開発された。
我々は、擬似ラベルに基づく半教師付きカウントフレームワークにポイントベースのメソッドを統合する。
実装中、擬似ラベルに対する信頼度はP2Pを介して背景画素に伝達されない。
本稿では,歩行者に対応する地点を検出するのではなく,地域を分割するP2Pを代替するP2R方式を提案する。
論文 参考訳（メタデータ） (2025-05-28T03:53:08Z) - Visual Test-time Scaling for GUI Agent Grounding [61.609126885427386]
視覚言語モデルエージェントのための視覚的テスト時間スケーリングアプローチであるRereaFocusを紹介する。
提案手法は, 局所的に動的にズームインし, 背景乱れを低減し, 接地精度を向上する。
我々はScreenspot-proで28%、WebVoyagerベンチマークで24%の大幅なパフォーマンス向上を観察した。
論文 参考訳（メタデータ） (2025-05-01T17:45:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。