論文の概要: AdaGround: Token-Normalized Adaptive Zooming with Verifier-in-the-Loop Refinement for GUI Grounding
- arxiv url: http://arxiv.org/abs/2610.36874v1
- Date: Tue, 27 Oct 2026 09:12:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-28 21:04:31.552007
- Title: AdaGround: Token-Normalized Adaptive Zooming with Verifier-in-the-Loop Refinement for GUI Grounding
- Title(参考訳): AdaGround: GUIグラウンディングのためのVerifier-in-the-Loop Refinementを用いたToken-Normalized Adaptive Zooming
- Abstract要約: AdaGroundは、小さなターゲットをベースとしたGUIのためのトレーニング不要のフレームワークである。
最先端のトレーニングなしズーム法や多くの訓練済みGUIモデルを超えている。
OSWorld-GとScreenSpot-Proでは、バックボーンの精度を7.4から20.6ポイント向上する。
- 参考スコア(独自算出の注目度): 52.567519232159476
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: GUI grounding on high-resolution screens fails mostly on small targets, and zooming in is a common training-free remedy. However, most existing zooming pipelines do not match the zoom to the target's size, accept the zoomed answer unconditionally and never revisit a wrong answer. To address these issues, we propose AdaGround, a training-free framework with three components: (1) Token-Normalized Adaptive Zooming, which sets the magnification, field of view and zoom depth of each sample from the model's own estimate of the target size; (2) Verifier-in-the-Loop Refinement, which uses one marked-click Yes/No verifier to keep or reject each zoom, choose between zoom chains, trigger re-grounding and, with an existence query, decide when to abstain; and (3) Compositional Structure Grounding, which composes spreadsheet cells from their headers. On Qwen3-VL models, AdaGround surpasses state-of-the-art training-free zooming methods and many trained GUI models, improving accuracy over the backbone by 7.4 to 20.6 points on OSWorld-G and ScreenSpot-Pro, and its gains carry over to held-out UI-Vision. Code is available at https://github.com/bcwang-sjtu/AdaGround
- Abstract(参考訳): 高い解像度のスクリーンを基盤とするGUIは、ほとんどの場合小さなターゲットで失敗し、ズームインはトレーニング不要の一般的な治療法である。
しかし、既存のズームパイプラインのほとんどは、ズームを目標のサイズにマッチさせず、無条件でズームされた回答を受け入れ、間違った回答を決して見直すことはない。
これらの課題に対処するために,(1)モデル自身の推定値から各サンプルの倍率,視野,ズーム深度を設定する適応型ズームイング,(2)マーククリックした1つのye/No検証器を用いて各ズームを維持・拒否し,ズームチェーンを選択し,再座をトリガーし,存在クエリでいつ停止するかを決定し,(3)ヘッダーからスプレッドシートセルを構成する構成的構造的グラウンド,の3つのコンポーネントからなるトレーニングフリーフレームワークであるAdaGroundを提案する。
Qwen3-VLモデルでは、AdaGroundは最先端のトレーニングなしズーム方法や多くの訓練済みGUIモデルを超え、OSWorld-GとScreenSpot-Proの7.4から20.6ポイントのバックボーン上の精度を改善し、UI-Visionの獲得に繋がった。
コードはhttps://github.com/bcwang-sjtu/AdaGroundで入手できる。
関連論文リスト
- UI-Zoomer: Uncertainty-Driven Adaptive Zoom-In for GUI Grounding [55.22866422166757]
テストタイムズームイン法は、各ケースでモデルが実際に不確実かどうかを無視して、固定された作物サイズを持つすべてのインスタンスに対して一様に適用する。
トレーニング不要な適応型ズームインフレームワークである textbfUI-Zoomer を提案する。
論文 参考訳(メタデータ) (2026-04-15T17:32:28Z) - GeoEyes: On-Demand Visual Focusing for Evidence-Grounded Understanding of Ultra-High-Resolution Remote Sensing Imagery [69.05066425853326]
シンキング・ウィズ・イメージ」パラダイムは、マルチモーダルな大規模言語モデル(MLLM)がズームインツールを使って視覚的なシーンを積極的に探索することを可能にする。
これは超高分解能(UHR)リモートセンシングVQAにおいて必須であり、タスク関連キューは疎小である。
筆者らは,(1)冷間開始型SFTデータセット, UHR-CoZ(UHR-CoZ)を多種多様なズームレジームをカバーするトレーニングフレームワークであるGeoEyes,(2)エージェント強化学習手法であるAdaZoom-GRPOを提案する。
論文 参考訳(メタデータ) (2026-02-15T15:50:55Z) - Adaptive Image Zoom-in with Bounding Box Transformation for UAV Object Detection [36.46244505181511]
本研究では,UAV画像上の物体検出のための簡易かつ効率的な適応型ズームインフレームワークについて検討する。
主な動機は、前景の物体が一般的な風景画像よりも小さく、スペーサーであることである。
提案したZoomDetはアーキテクチャに依存しておらず、任意のオブジェクト検出アーキテクチャに適用できる。
論文 参考訳(メタデータ) (2026-02-07T12:16:45Z) - Zoom in, Click out: Unlocking and Evaluating the Potential of Zooming for GUI Grounding [71.97466930670936]
グラウンディングはグラフィカルユーザインタフェース(GUI)エージェントを構築するための基本的な機能である。
本稿ではGUIグラウンディングに先立って未探索の強いズームについて検討し,トレーニング不要なZoomClick法を提案する。
実験により,本手法は汎用視覚言語と特殊GUIグラウンドモデルの両方の性能を著しく向上させることが示された。
論文 参考訳(メタデータ) (2025-12-05T18:39:12Z) - ZoomNet: Part-Aware Adaptive Zooming Neural Network for 3D Object
Detection [69.68263074432224]
ステレオ画像に基づく3D検出のためのZoomNetという新しいフレームワークを提案する。
ZoomNetのパイプラインは、通常の2Dオブジェクト検出モデルから始まり、左右のバウンディングボックスのペアを取得するために使用される。
さらに,RGB画像のテクスチャキューを多用し,より正確な異質度推定を行うため,適応ズームという概念的に真直ぐなモジュールを導入する。
論文 参考訳(メタデータ) (2020-03-01T17:18:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。