論文の概要: MHVF: Training-Free GUI Grounding via Verification-Guided Multi-Hypothesis Search
- arxiv url: http://arxiv.org/abs/2610.17792v1
- Date: Tue, 13 Oct 2026 06:20:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-17 17:10:24.631631
- Title: MHVF: Training-Free GUI Grounding via Verification-Guided Multi-Hypothesis Search
- Title（参考訳）: MHVF: Verification-Guided Multi-Hypothesis Searchによる無トレーニングGUIグラウンドディング
- Abstract要約: トレーニング不要なGUIグラウンドティングのためのMHVF(Multi-Hypothesis Verification Framework)を提案する。
複数仮説探索と局所的な視覚的検証を1つの事前訓練された視覚言語モデルで組み合わせる。
MHVFはUI-Venus-Ground-7BをMind2WebとVisualWebBenchでそれぞれ4.3ポイント改善し、ScreenSpot-ProでQwen2.5-VL-7Bの精度を23.6%から53.6%に向上させた。
- 参考スコア（独自算出の注目度）: 7.266272583396733
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: GUI grounding enables web agents to translate natural-language instructions into actionable interface locations. However, dense layouts and small, visually similar controls can lead models toward plausible but incorrect elements, while refinement around a single prediction may leave alternative targets unexplored. We propose the Multi-Hypothesis Verification Framework (MHVF) for training-free GUI grounding. It combines multi-hypothesis exploration with local visual verification using a single pretrained vision-language model. To explore alternative targets, MHVF constructs spatial hypotheses from multiple full-screen predictions and examines the corresponding regions through zoomed re-localization. To resolve ambiguity among the resulting candidates, it verifies their agreement with the instruction in marked local views. Verification scores then guide a second round of local search and rank candidates retained from both search levels for final selection. Experiments with five general-purpose and GUI-specific models across eight benchmark settings demonstrate improvements in grounding accuracy in most settings. MHVF improves UI-Venus-Ground-7B by 4.3 and 2.1 percentage points on Mind2Web and VisualWebBench, respectively, and raises Qwen2.5-VL-7B's accuracy on ScreenSpot-Pro from 23.6% to 53.6%.
- Abstract（参考訳）: GUIグラウンディングにより、Webエージェントは自然言語の命令を動作可能なインターフェイスロケーションに変換することができる。
しかし、密集したレイアウトと視覚的に類似した小さな制御は、モデルが可塑性だが間違った要素へと導く可能性がある。
トレーニング不要なGUIグラウンドティングのためのMHVF(Multi-Hypothesis Verification Framework)を提案する。
複数仮説探索と局所的な視覚的検証を1つの事前訓練された視覚言語モデルで組み合わせる。
代替ターゲットを探索するため、MHVFは複数のフルスクリーン予測から空間仮説を構築し、ズームされた再ローカライゼーションにより対応する領域を調べる。
結果の候補間のあいまいさを解決するため、マークされたローカルビューで命令との一致を検証する。
検証スコアは、最終選考のために両方の検索レベルから保持されるローカル検索とランク候補の第2ラウンドをガイドする。
8つのベンチマーク設定にまたがる5つの汎用モデルとGUI固有のモデルによる実験では、ほとんどの設定でグラウンドの精度が改善された。
MHVFはUI-Venus-Ground-7BをMind2WebとVisualWebBenchでそれぞれ4.3ポイント改善し、ScreenSpot-ProでQwen2.5-VL-7Bの精度を23.6%から53.6%に向上させた。
関連論文リスト
- RankGround: Efficient High-Resolution GUI Grounding via Lightweight Reranker-Guided Crop Selection [10.961779524398368]
クエリ毎に単一のVLMコールで正確なGUIグラウンドを実現するフレームワークであるRangeGroundを提案する。
GroundRankerは、密度の高い候補集合から最も有望な作物を特定する。
推論は1.4倍高速で、第2のベスト法よりも平均で5.5%精度が向上する。
論文 参考訳（メタデータ） (2026-09-16T14:06:38Z) - AutoFocus: Uncertainty-Aware Active Visual Search for GUI Grounding [8.941979904606308]
VLM(Vision-Language Models)は、自然言語命令を実行可能なスクリーン座標に変換する自動GUIエージェントである。
既存のズームイン戦略は固定アンカー、グリッド、強化学習に依存している。
GUIグラウンドティングのためのトレーニング不要で不確実性を考慮したアクティブなビジュアル検索フレームワークであるAutoFocusを提案する。
論文 参考訳（メタデータ） (2026-05-04T14:18:46Z) - \textsc{GUI-Spotlight}: Adaptive Iterative Focus Refinement for Enhanced GUI Visual Grounding [37.69847052653875]
GUI-Spotlightは画像グラウンド推論のために訓練されたモデルである。
画面の関連領域へのフォーカスを反復的に絞り、視覚的グラウンドの精度を大幅に向上させる。
ScreenSpot-Proベンチマークでは、18.5KのトレーニングサンプルでトレーニングされたGUI-Spotlightが52.8%の精度を実現している。
論文 参考訳（メタデータ） (2025-10-05T05:15:45Z) - Generalist Scanner Meets Specialist Locator: A Synergistic Coarse-to-Fine Framework for Robust GUI Grounding [53.14935624161711]
GMS: Generalist Scanner Meets Specialist LocatorはGUIグラウンディングのパフォーマンスを効果的に改善する相乗的粗大なフレームワークです。
このデザインは、人間がGUIグラウンドを実行する方法にインスパイアされ、目がインターフェイスをスキャンし、脳が解釈と局所化に焦点を当てる。
ScreenSpot-Proデータセットの実験結果によると、'Scanner'モデルと'Locator'モデルは、それぞれ独立して使用する場合、それぞれ2.0%$と3.7%$の精度しか達成していないが、GMSフレームワークへの統合により、全体的な精度は35.7%$である。
論文 参考訳（メタデータ） (2025-09-29T00:06:31Z) - Test-Time Reinforcement Learning for GUI Grounding via Region Consistency [17.954613936413942]
本稿では,複数のサンプル予測から空間投票格子を構築し,コンセンサス領域を同定するテスト時間スケーリング手法を提案する。
また、GUI-RCPOを導入し、これらの一貫性パターンをテスト時間強化学習の報酬に変換する。
提案手法は,GUI接地のためのテスト時間スケーリングとテスト時間強化学習の未解決の可能性を明らかにし,より堅牢でデータ効率のよいGUIエージェントへの有望な道筋を提供する。
論文 参考訳（メタデータ） (2025-08-07T17:54:27Z) - GUI-G$^2$: Gaussian Reward Modeling for GUI Grounding [51.497245303008015]
グラフィカルユーザインタフェース (GUI) は、自然言語の命令を、自律的なインタラクションのための正確なインターフェース位置にマッピングする。
ターゲット要素を中心としたガウス分布を自然に形成する人間のクリック行動に動機付けられ,GUIガウスグラウンドング・リワード(GUIガウスグラウンドディング・リワード)を導入する。
GUI-G$2$のUI-TARS-72BはScreenSpot-Proで24.7%向上した。
論文 参考訳（メタデータ） (2025-07-21T17:53:42Z) - GUI-Actor: Coordinate-Free Visual Grounding for GUI Agents [93.49577107524176]
座標自由なGUIグラウンドリングのためのVLMに基づくGUI-Actorを提案する。
GUI-Actorの中核となるのは、アテンションベースのアクションヘッドで、専用のACTOR>トークンと関連するすべての視覚的パッチトークンの整合を学ぶ。
実験により、GUI-Actorは、複数のGUIアクショングラウンドベンチマークにおいて、最先端のメソッドよりも優れていることが示された。
論文 参考訳（メタデータ） (2025-06-03T17:59:08Z) - Visual Test-time Scaling for GUI Agent Grounding [61.609126885427386]
視覚言語モデルエージェントのための視覚的テスト時間スケーリングアプローチであるRereaFocusを紹介する。
提案手法は, 局所的に動的にズームインし, 背景乱れを低減し, 接地精度を向上する。
我々はScreenspot-proで28%、WebVoyagerベンチマークで24%の大幅なパフォーマンス向上を観察した。
論文 参考訳（メタデータ） (2025-05-01T17:45:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。