論文の概要: ScreenHaystack: Finding Blind Zones in GUI Grounding

• arxiv url: http://arxiv.org/abs/2609.32036v1
• Date: Fri, 25 Sep 2026 22:07:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 03:38:00.562439
• Title: ScreenHaystack: Finding Blind Zones in GUI Grounding
• Title（参考訳）: ScreenHaystack: GUIグラウンドで盲点を見つける
• Abstract要約: GUIグラウンドニングにおける空間信頼性を評価するための動的ニードル・ア・ヘイスタック・ベンチマークであるScreenHaystackを紹介する。 Qwen3-VL、UI-TARS、GTA、UI-Venusといった主要なGUIグラウンドモデルは盲点を示す。 そこで我々は,ブラインドゾーンの監視を追加し,オリジナルおよびランダムに拡張されたClick-100kファインタニングよりもScreenSpot-Proの精度を向上させる,シンプルな戦略であるブラインドゾーン指向拡張を提案する。
• 参考スコア（独自算出の注目度）: 26.832721590367484
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce ScreenHaystack, a dynamic needle-in-a-haystack benchmark for evaluating spatial reliability in GUI grounding. Instead of testing each target at a fixed position, ScreenHaystack systematically relocates controlled target icons across high-resolution GUI backgrounds and measures whether models can localize them consistently. Using this benchmark, we find that leading GUI grounding models, including Qwen3-VL, UI-TARS, GTA, and UI-Venus, exhibit blind zones: spatial regions where grounding accuracy drops sharply despite fixed target appearance and instruction. These blind zones transfer to unseen ScreenSpot-Pro examples: targets inside blind zones are consistently harder to ground, with Qwen3-VL-8B dropping by 16.1 percentage points, and controlled relocation shows that moving targets into blind zones decreases accuracy while moving them out improves accuracy. We further show through controlled synthetic experiments that uneven spatial coverage in training data can induce such blind zones. Therefore, we propose a simple strategy, blind-zone-oriented augmentation, which adds supervision in blind zones and improves ScreenSpot-Pro accuracy over both original and randomly augmented Click-100k fine-tuning.
• Abstract（参考訳）: GUI接地における空間的信頼性を評価するための動的ニードル・ア・ヘイスタック・ベンチマークであるScreenHaystackを紹介する。 固定位置で各ターゲットをテストする代わりに、ScreenHaystackは、制御されたターゲットアイコンを高解像度のGUI背景にわたって体系的にリロケーションし、モデルを一貫したローカライズできるかどうかを測定する。 このベンチマークを用いて、Qwen3-VL、UI-TARS、GTA、UI-Venusといった主要なGUIグラウンドモデルでは、ターゲットの外観や指示が固定されているにもかかわらず、グラウンドの精度が急激に低下する空間領域が盲点を示す。 ブラインドゾーン内のターゲットは一貫して接地が難しく、Qwen3-VL-8Bは16.1ポイント減少し、制御されたリロケーションは、ブラインドゾーンへのターゲットの移動が精度を低下させることを示している。 さらに、トレーニングデータにおける空間的不均一なカバレッジが、このような盲点を誘発できる制御された合成実験を通して示す。 そこで我々は,ブラインドゾーンの監視を追加し,オリジナルおよびランダムに強化されたClick-100kファインチューニングよりもScreenSpot-Proの精度を向上させる,単純な戦略であるブラインドゾーン指向の強化を提案する。

関連論文リスト

• AutoFocus: Uncertainty-Aware Active Visual Search for GUI Grounding [8.941979904606308]
  VLM(Vision-Language Models)は、自然言語命令を実行可能なスクリーン座標に変換する自動GUIエージェントである。 既存のズームイン戦略は固定アンカー、グリッド、強化学習に依存している。 GUIグラウンドティングのためのトレーニング不要で不確実性を考慮したアクティブなビジュアル検索フレームワークであるAutoFocusを提案する。
  論文  参考訳（メタデータ） (2026-05-04T14:18:46Z)
• UI-Zoomer: Uncertainty-Driven Adaptive Zoom-In for GUI Grounding [55.22866422166757]
  テストタイムズームイン法は、各ケースでモデルが実際に不確実かどうかを無視して、固定された作物サイズを持つすべてのインスタンスに対して一様に適用する。 トレーニング不要な適応型ズームインフレームワークである textbfUI-Zoomer を提案する。
  論文  参考訳（メタデータ） (2026-04-15T17:32:28Z)
• \textsc{GUI-Spotlight}: Adaptive Iterative Focus Refinement for Enhanced GUI Visual Grounding [37.69847052653875]
  GUI-Spotlightは画像グラウンド推論のために訓練されたモデルである。 画面の関連領域へのフォーカスを反復的に絞り、視覚的グラウンドの精度を大幅に向上させる。 ScreenSpot-Proベンチマークでは、18.5KのトレーニングサンプルでトレーニングされたGUI-Spotlightが52.8%の精度を実現している。
  論文  参考訳（メタデータ） (2025-10-05T05:15:45Z)
• Generalist Scanner Meets Specialist Locator: A Synergistic Coarse-to-Fine Framework for Robust GUI Grounding [53.14935624161711]
  GMS: Generalist Scanner Meets Specialist LocatorはGUIグラウンディングのパフォーマンスを効果的に改善する相乗的粗大なフレームワークです。 このデザインは、人間がGUIグラウンドを実行する方法にインスパイアされ、目がインターフェイスをスキャンし、脳が解釈と局所化に焦点を当てる。 ScreenSpot-Proデータセットの実験結果によると、'Scanner'モデルと'Locator'モデルは、それぞれ独立して使用する場合、それぞれ2.0%$と3.7%$の精度しか達成していないが、GMSフレームワークへの統合により、全体的な精度は35.7%$である。
  論文  参考訳（メタデータ） (2025-09-29T00:06:31Z)
• Test-Time Reinforcement Learning for GUI Grounding via Region Consistency [17.954613936413942]
  本稿では,複数のサンプル予測から空間投票格子を構築し,コンセンサス領域を同定するテスト時間スケーリング手法を提案する。 また、GUI-RCPOを導入し、これらの一貫性パターンをテスト時間強化学習の報酬に変換する。 提案手法は,GUI接地のためのテスト時間スケーリングとテスト時間強化学習の未解決の可能性を明らかにし,より堅牢でデータ効率のよいGUIエージェントへの有望な道筋を提供する。
  論文  参考訳（メタデータ） (2025-08-07T17:54:27Z)
• GUI-G$^2$: Gaussian Reward Modeling for GUI Grounding [51.497245303008015]
  グラフィカルユーザインタフェース (GUI) は、自然言語の命令を、自律的なインタラクションのための正確なインターフェース位置にマッピングする。 ターゲット要素を中心としたガウス分布を自然に形成する人間のクリック行動に動機付けられ,GUIガウスグラウンドング・リワード(GUIガウスグラウンドディング・リワード)を導入する。 GUI-G$2$のUI-TARS-72BはScreenSpot-Proで24.7%向上した。
  論文  参考訳（メタデータ） (2025-07-21T17:53:42Z)
• GUI-Actor: Coordinate-Free Visual Grounding for GUI Agents [93.49577107524176]
  座標自由なGUIグラウンドリングのためのVLMに基づくGUI-Actorを提案する。 GUI-Actorの中核となるのは、アテンションベースのアクションヘッドで、専用のACTOR>トークンと関連するすべての視覚的パッチトークンの整合を学ぶ。 実験により、GUI-Actorは、複数のGUIアクショングラウンドベンチマークにおいて、最先端のメソッドよりも優れていることが示された。
  論文  参考訳（メタデータ） (2025-06-03T17:59:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。