論文の概要: ConClick: Element-Wise Contrastive Learning Improves GUI Grounding

• arxiv url: http://arxiv.org/abs/2610.13268v1
• Date: Fri, 09 Oct 2026 09:20:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.50408
• Title: ConClick: Element-Wise Contrastive Learning Improves GUI Grounding
• Title（参考訳）: ConClick: 要素幅のコントラスト学習がGUIグラウンディングを改善した
• Abstract要約: 既存のグラウンディングモデルはエラーが発生しやすいままであり、ダウンストリームのタスクが失敗することが多い。 提案するConClickは,対象要素と可視的障害要素を区別するモデルを教える,対照的な学習フレームワークである。 ConClickはQwen3-VL-8Bの接地精度をScreenSpot-Proで54.71%から66.03%、MMBench-GUI L2で83.72%から86.28%、OSWorld-Gで63.33%から70.20%に改善した。
• 参考スコア（独自算出の注目度）: 36.40747177152799
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: GUI grounding, the task of locating the interface element specified by a user instruction, is a fundamental capability of GUI agents. However, existing grounding models remain error-prone, often causing downstream task failures. We systematically evaluate 10 grounding models across five datasets and identify a major error pattern: most incorrect clicks hit non-target interface elements rather than the background, with different models repeatedly selecting the same distractors. Motivated by these findings, we propose ConClick, a contrastive learning framework that teaches models to distinguish the target element from plausible distractors. We construct ConClick-Data, a dataset containing 4,292 challenging target-distractor pairs, and train the model using complementary listwise ranking and pairwise margin objectives. ConClick improves the grounding accuracy of Qwen3-VL-8B from 54.71% to 66.03% on ScreenSpot-Pro, from 83.72% to 86.28% on MMBench-GUI L2, and from 63.33% to 70.20% on OSWorld-G, outperforming prior methods built on the same or similarly sized backbones. We further introduce ReClick, an inference-time strategy that revisits promising regions and compares predictions across competing candidates, yielding an additional 2.96 percentage-point improvement in average accuracy across the three benchmarks. Together, our analysis, dataset, and methods provide both empirical insights and practical tools for building more reliable GUI agents. Data and code are available at https://github.com/zhangruotian/ConClick.
• Abstract（参考訳）: GUIグラウンディング(GUI grounding)は、ユーザ命令によって指定されたインターフェイス要素を特定するタスクであり、GUIエージェントの基本的な能力である。 しかし、既存の基盤モデルはエラーが発生しやすいままであり、ダウンストリームのタスクが失敗することが多い。 5つのデータセットにまたがる10の基底モデルを体系的に評価し、大きなエラーパターンを特定する。 これらの知見に触発されたConClickは,対象要素と可視的乱れを識別するモデルをモデルに教える,対照的な学習フレームワークである。 ConClick-Dataは,4,292個のターゲット・ディトラクタペアを含むデータセットを構築し,補完的なリストワイドランキングとペアワイドマージン目標を用いてモデルをトレーニングする。 ConClickは、Qwen3-VL-8Bの接地精度を、ScreenSpot-Proで54.71%から66.03%、MMBench-GUI L2で83.72%から86.28%、OSWorld-Gで63.33%から70.20%に改善した。 さらに、期待する領域を再検討し、競合する候補間で予測を比較する推論時間戦略であるReClickを導入し、3つのベンチマークの平均精度を2.96ポイント改善した。 分析,データセット,メソッドは共に,より信頼性の高いGUIエージェントを構築するための経験的洞察と実践的ツールを提供する。 データとコードはhttps://github.com/zhangruotian/ConClick.comで入手できる。

関連論文リスト

• RankGround: Efficient High-Resolution GUI Grounding via Lightweight Reranker-Guided Crop Selection [10.961779524398368]
  クエリ毎に単一のVLMコールで正確なGUIグラウンドを実現するフレームワークであるRangeGroundを提案する。 GroundRankerは、密度の高い候補集合から最も有望な作物を特定する。 推論は1.4倍高速で、第2のベスト法よりも平均で5.5%精度が向上する。
  論文  参考訳（メタデータ） (2026-09-16T14:06:38Z)
• BAMI: Training-Free Bias Mitigation in GUI Grounding [72.1023567399117]
  我々は、これらのバイアスを効果的に軽減するために、粗い焦点と候補選択という2つの重要な操作を組み込んだtextbfBias-Aware Manipulation Inference (BAMI)を導入する。 BAMIは、トレーニングフリー環境で様々なGUIグラウンドモデルの精度を大幅に向上させる。
  論文  参考訳（メタデータ） (2026-05-07T17:59:31Z)
• GoClick: Lightweight Element Grounding Model for Autonomous GUI Interaction [34.37697471424965]
  本稿では,230万のパラメータしか持たない軽量GUI素子であるGoClickについて紹介する。 実験の結果,GoClickは複数のGUI要素のグラウンドベンチマークに優れ,小さなサイズと高い推論速度を維持していることがわかった。
  論文  参考訳（メタデータ） (2026-04-27T01:29:02Z)
• GUI-Perturbed: Domain Randomization Reveals Systematic Brittleness in GUI Grounding Models [1.5114908780891403]
  GUIグラウンディングモデルは標準ベンチマークで85%以上の精度を報告しているが、命令が直接の要素命名ではなく空間的推論を必要とする場合、27-56ポイントを減少させる。 制御された摂動フレームワークであるGUI-Perturbedを導入する。
  論文  参考訳（メタデータ） (2026-04-15T16:39:22Z)
• UI-Ins: Enhancing GUI Grounding with Multi-Perspective Instruction-as-Reasoning [51.54456545661045]
  本稿では,インストラクション・アズ・ア・推論(Instruction-as-Reasoning)パラダイムを導入し,インストラクションを動的解析経路として扱う。 これを実現するために,教師付き微調整と強化学習という2段階のトレーニングフレームワークを提案する。 得られたモデルであるUI-Ins-7BとUI-Ins-32Bは、5つの挑戦的なグラウンドベンチマークで最先端の結果を得る。
  論文  参考訳（メタデータ） (2025-10-23T07:18:32Z)
• R-VLM: Region-Aware Vision Language Model for Precise GUI Grounding [18.100091500983044]
  GUI自動化における重要な課題は、様々なプラットフォームにまたがるインターフェイス要素の正確な基盤を作ることである。 既存の視覚のみのGUIエージェントは、大きく散らかったスクリーンショットから直接要素を接地する。 R-VLMは、ズームインされた領域の提案を正確な要素ローカライゼーションに活用する新しいGUI基盤手法である。
  論文  参考訳（メタデータ） (2025-07-08T04:56:57Z)
• ReGUIDE: Data Efficient GUI Grounding via Spatial Reasoning and Search [53.40810298627443]
  ReGUIDEは、MLLMが自己生成的推論と空間認識的批判を通じてデータを効率的に学習することを可能にするWebグラウンドのためのフレームワークである。 実験により、ReGUIDEは複数のベンチマークでWebグラウンド性能を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2025-05-21T08:36:18Z)
• UI-TARS: Pioneering Automated GUI Interaction with Native Agents [58.18100825673032]
  本稿では,GUIエージェントのネイティブモデルであるUI-TARSを紹介する。 OSWorldベンチマークでは、UI-TARSはスコアが24.6、50ステップが22.7、15ステップが22.7でクロード(それぞれ22.0と14.9)を上回っている。
  論文  参考訳（メタデータ） (2025-01-21T17:48:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。