論文の概要: RankGround: Efficient High-Resolution GUI Grounding via Lightweight Reranker-Guided Crop Selection

• arxiv url: http://arxiv.org/abs/2609.18690v1
• Date: Wed, 16 Sep 2026 14:06:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.830629
• Title: RankGround: Efficient High-Resolution GUI Grounding via Lightweight Reranker-Guided Crop Selection
• Title（参考訳）: RankGround:軽量リランカー誘導作物選抜による高分解能GUI接地
• Abstract要約: クエリ毎に単一のVLMコールで正確なGUIグラウンドを実現するフレームワークであるRangeGroundを提案する。 GroundRankerは、密度の高い候補集合から最も有望な作物を特定する。 推論は1.4倍高速で、第2のベスト法よりも平均で5.5%精度が向上する。
• 参考スコア（独自算出の注目度）: 10.961779524398368
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Graphical User Interface (GUI) grounding is a fundamental perception task for multimodal agents, enabling them to interpret natural language instructions and interact with digital interfaces. Existing methods face a fundamental trade-off between accuracy and efficiency: direct full-image inference often fails to capture small or visually similar UI elements, while multi-crop strategies improve localization at the cost of multiple expensive Vision-Language Model (VLM) calls per query. To address this challenge, we propose RankGround, a two-stage framework that achieves accurate GUI grounding with a single VLM call per query. Central to our approach is GroundRanker, a lightweight multimodal reranker that identifies the most promising crop from a dense candidate set. Because no off-the-shelf ranking dataset is available, we construct ranking supervision data from existing grounding datasets. A strict containment criterion and boundary-aware positive augmentation improve alignment and spatial coverage in cluttered layouts. GroundRanker is then trained with a two-stage curriculum: a pointwise objective first learns coarse containment, and a listwise objective refines subtle semantic and spatial distinctions among visually similar crops. Experimental results show that RankGround consistently outperforms strong baselines while reducing computational cost. It achieves 1.4 times faster inference and improves localization accuracy by 5.5% on average over the second-best method across all backbones and screen scales, establishing a new state of the art in both efficiency and precision for GUI grounding.
• Abstract（参考訳）: グラフィカルユーザインタフェース(GUI)基盤はマルチモーダルエージェントの基本的な認識タスクであり、自然言語命令を解釈し、デジタルインターフェースと対話することができる。 ダイレクトフルイメージ推論は、小さなまたは視覚的に類似したUI要素をキャプチャできないことが多いのに対して、マルチクロップ戦略は、クエリ毎に複数の高価なVision-Language Model (VLM)コールのコストでローカライズを改善する。 この課題に対処するために、クエリ毎に単一のVLMコールで正確なGUIグラウンドを実現する2段階のフレームワークであるRangeGroundを提案する。 われわれのアプローチの中心は、高密度の候補集合から最も有望な作物を特定する軽量なマルチモーダル・リランカーであるGroundRankerである。 市販のランキングデータセットは利用できないため、既存のグラウンドデータセットからランキングデータを構築する。 厳密な封じ込め基準と境界対応の正の増強により、乱れレイアウトにおけるアライメントと空間被覆が改善される。 GroundRankerは2段階のカリキュラムで訓練される: ポイントワイドの目的はまず粗い封じ込めを学習し、リストワイドの目的は視覚的に類似した作物の微妙な意味と空間的区別を洗練させる。 実験の結果,RangeGroundは計算コストを抑えながら高いベースラインを一貫して上回っていることがわかった。 1.4倍高速な推論を実現し、すべてのバックボーンとスクリーンスケールにわたる第2のベストメソッドに対して平均5.5%のローカライズ精度を向上し、GUIグラウンドの効率と精度の両面で新たな最先端技術を確立した。

関連論文リスト

• Generalist Scanner Meets Specialist Locator: A Synergistic Coarse-to-Fine Framework for Robust GUI Grounding [53.14935624161711]
  GMS: Generalist Scanner Meets Specialist LocatorはGUIグラウンディングのパフォーマンスを効果的に改善する相乗的粗大なフレームワークです。 このデザインは、人間がGUIグラウンドを実行する方法にインスパイアされ、目がインターフェイスをスキャンし、脳が解釈と局所化に焦点を当てる。 ScreenSpot-Proデータセットの実験結果によると、'Scanner'モデルと'Locator'モデルは、それぞれ独立して使用する場合、それぞれ2.0%$と3.7%$の精度しか達成していないが、GMSフレームワークへの統合により、全体的な精度は35.7%$である。
  論文  参考訳（メタデータ） (2025-09-29T00:06:31Z)
• GRASP: Geospatial pixel Reasoning viA Structured Policy learning [16.023628299873494]
  GRASPは、マルチモーダルな大規模言語モデルと事前訓練されたセグメンテーションモデルを統合する、構造化されたポリシー学習フレームワークである。 PRIMEは、教師付き微調整を強化学習に置き換える訓練パラダイムであり、推論や接地行動とタスク目標との整合性を改善する。 GRASP-1kは、推論集約的なクエリ、推論トレース、きめ細かいマスクを備えた、完全にドメイン外ベンチマークである。
  論文  参考訳（メタデータ） (2025-08-23T18:05:06Z)
• DiMo-GUI: Advancing Test-time Scaling in GUI Grounding via Modality-Aware Visual Reasoning [53.42606072841585]
  トレーニング不要なGUIグラウンドティングフレームワークであるDiMo-GUIを紹介する。 GUIをモノリシックなイメージとして扱う代わりに、入力をテキスト要素とアイコン要素に分割する。 DiMo-GUIは、予測が曖昧で不正確である場合、候補焦点領域を生成することにより、動的に注意を集中する。
  論文  参考訳（メタデータ） (2025-06-12T03:13:21Z)
• ReGUIDE: Data Efficient GUI Grounding via Spatial Reasoning and Search [53.40810298627443]
  ReGUIDEは、MLLMが自己生成的推論と空間認識的批判を通じてデータを効率的に学習することを可能にするWebグラウンドのためのフレームワークである。 実験により、ReGUIDEは複数のベンチマークでWebグラウンド性能を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2025-05-21T08:36:18Z)
• CLIP-VG: Self-paced Curriculum Adapting of CLIP for Visual Grounding [86.79903269137971]
  擬似ラベルを用いて地域を特定するために、教師なしの視覚的接地法が開発された。 CLIP-VG は,CLIP を擬似言語ラベルに適応させる手法である。 提案手法は,RefCOCO/+/gデータセットにおいて,最先端の教師なし手法よりも有意差がある。
  論文  参考訳（メタデータ） (2023-05-15T14:42:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。