論文の概要: PreView: Enhancing GUI Grounding with Preprocessed Views and Cues
- arxiv url: http://arxiv.org/abs/2610.33645v1
- Date: Sat, 24 Oct 2026 12:54:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.415551
- Title: PreView: Enhancing GUI Grounding with Preprocessed Views and Cues
- Title（参考訳）: PreView: 前処理されたビューとキューによるGUIグラウンディングの強化
- Abstract要約: 既存のグラウンドモデルへの入力を改善する補助プリプロセッサであるPreViewを提案する。
訓練された軽量補助モデルは、センターを予測して洗練し、スクリーンショットをローカルビューにトリミングし、ズームイングラウンドのビューを拡大する。
- 参考スコア（独自算出の注目度）: 8.673260822798483
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: GUI grounding requires locating small controls in cluttered screenshots and identifying which control a natural-language instruction refers to. Cropping and enlargement can expose local detail, but the resulting image may still leave ambiguity about the intended target. We propose PreView, an auxiliary preprocessor that improves the inputs to an existing grounding model without further training that model. PreView prepares two complementary types of input features: task-relevant views for localization and candidate-specific cues for target understanding. A trained lightweight auxiliary model predicts and refines a center, crops the screenshot into a local view, and enlarges that view for zoomed-in grounding. It also prepares a visual cue (i.e., a red-circle marker with a location hint) and a textual cue describing the candidate's identity or function. The frozen grounding model uses the prepared inputs to predict the final click. Across five benchmarks, PreView improves the average grounding accuracy of Qwen3-VL-2B, OS-Atlas-4B, and Qwen3-VL-4B without further training these grounding models. Extensive analyses examine the contributions of views and cues, center refinement, and visual input budgets.
- Abstract（参考訳）: GUIグラウンディングでは、散らばったスクリーンショットの中で小さなコントロールを配置し、自然言語命令が参照するコントロールを識別する必要がある。
クロッピングと拡大は局所的な詳細を明らかにすることができるが、結果として得られるイメージは、意図したターゲットについてあいまいさを残す可能性がある。
既存のグラウンドモデルへの入力を改善する補助プリプロセッサであるPreViewを提案する。
PreViewは、ローカライゼーションのためのタスク関連ビューと、ターゲット理解のための候補固有のキューの2つの補完的な入力機能を用意している。
訓練された軽量補助モデルは、センターを予測して洗練し、スクリーンショットをローカルビューにトリミングし、ズームイングラウンドのビューを拡大する。
また、視覚的キュー(つまり、位置ヒントを持つ赤い円のマーカー)と、候補のアイデンティティや機能を記述するテキストキューも用意する。
凍結接地モデルは、最終的なクリックを予測するために準備された入力を使用する。
5つのベンチマークで、PreViewはこれらのグラウンドモデルをさらに訓練することなく、Qwen3-VL-2B、OS-Atlas-4B、Qwen3-VL-4Bの平均グラウンド精度を改善した。
総合的な分析は、ビューとキュー、センターリファインメント、視覚入力予算の貢献について検討する。
関連論文リスト
- What Happens Before Decoding? Prefill Determines GUI Grounding in VLMs [33.91859613266694]
VLM(Vision-Language Models)におけるGUIグラウンディング中に何が起こるかを調べ、これまで見過ごされていたボトルネックを特定する。
プリフィルステージは候補UI要素を決定するが、デコードステージは最終的な座標を洗練させる。
Re-Prefillは、注意誘導された第2のプリフィルステージを導入して、ターゲット選択を洗練させることによって推論を再考する、トレーニング不要な手法である。
論文 参考訳（メタデータ） (2026-05-10T07:04:07Z) - Focus, Don't Prune: Identifying Instruction-Relevant Regions for Information-Rich Image Understanding [15.310650411597727]
PinPointは、まず命令関連の画像領域を特定し、それを洗練して、きめ細かい視覚的特徴を抽出するフレームワークである。
新しいアノテーションは、挑戦的なVQAベンチマークにまたがる命令関連領域に対して、よりリッチな地味な監視を提供する。
論文 参考訳（メタデータ） (2026-03-24T05:37:01Z) - VP-VLA: Visual Prompting as an Interface for Vision-Language-Action Models [80.1055544841585]
ビジョン・ランゲージ・アクションモデルは通常、視覚観察と言語指示を直接ロボット制御信号にマッピングする。
本稿では,高レベルの推論と低レベルの実行を,構造化された視覚的プロンプトインタフェースを介して分離する,デュアルシステムフレームワークであるVP-VLAを提案する。
Robocasa-GR1-TabletopベンチマークとSimplerEnvシミュレーションの実験は、VP-VLAが成功率を5%と8.3%改善することを示した。
論文 参考訳（メタデータ） (2026-03-23T14:08:58Z) - CAPE: A CLIP-Aware Pointing Ensemble of Complementary Heatmap Cues for Embodied Reference Understanding [56.30142869506262]
身体的参照理解(Embodied Reference Understanding)は、シーンの人物が指し示すジェスチャーと言語の両方を通して参照しているオブジェクトを予測する。
本稿では,2重モデルフレームワークを提案し,一方のモデルが頭指先方向から学習し,他方のモデルが手指先方向から学習する。
我々は、ベンチマークYouRefItデータセットの広範な実験と分析を通じてアプローチを検証し、0.25IoU閾値で約4mAPの改善を実現した。
論文 参考訳（メタデータ） (2025-07-29T15:00:21Z) - Advancing Visual Grounding with Scene Knowledge: Benchmark and Method [74.72663425217522]
ビジュアルグラウンドディング(VG)は、視覚と言語の間にきめ細かいアライメントを確立することを目的としている。
既存のVGデータセットの多くは、単純な記述テキストを使って構築されている。
我々は、アンダーラインScene underline-guided underlineVisual underlineGroundingの新たなベンチマークを提案する。
論文 参考訳（メタデータ） (2023-07-21T13:06:02Z) - Beyond a Pre-Trained Object Detector: Cross-Modal Textual and Visual
Context for Image Captioning [25.728621355173626]
現在の方法の鍵となる制限は、モデルの出力が対象検出器の出力にのみ条件付けられることである。
オブジェクト関係などの欠落情報を表す補助的な入力を追加することを提案する。
我々は,画像キャプションにおける手法の有効性を検証し,各コンポーネントの徹底的な分析と,事前学習したマルチモーダルモデルの重要性を検証し,現状よりも大幅に改善されていることを示す。
論文 参考訳（メタデータ） (2022-05-09T15:05:24Z) - Learning to Prompt for Open-Vocabulary Object Detection with
Vision-Language Model [34.85604521903056]
オープン語彙オブジェクト検出のための連続的なプロンプト表現を学習するための新しい手法である検出プロンプト(DetPro)を導入する。
私たちは最近の最先端のオープンワールドオブジェクト検出器であるViLDでDetProを組み立てます。
実験の結果、DetProはすべての設定でベースラインのViLDよりも優れています。
論文 参考訳（メタデータ） (2022-03-28T17:50:26Z) - Keyword localisation in untranscribed speech using visually grounded
speech models [21.51901080054713]
キーワードのローカライゼーション(英: Keywords Localization)とは、ある音声の発話において、所定のクエリキーワードが発生する場所を見つけるタスクである。
VGSモデルは、音声キャプションと組み合わせたラベルのない画像に基づいて訓練される。
マスケベースのローカライゼーションは、VGSモデルから最も報告されたローカライゼーションスコアのいくつかを与える。
論文 参考訳（メタデータ） (2022-02-02T16:14:29Z) - Learning to Generate Scene Graph from Natural Language Supervision [52.18175340725455]
シーングラフと呼ばれる画像内の局所化オブジェクトとその関係をグラフィカルに表現するために,画像と文のペアから学習する最初の方法の1つを提案する。
既製のオブジェクト検出器を利用してオブジェクトのインスタンスを識別し、ローカライズし、検出された領域のラベルとキャプションから解析された概念をマッチングし、シーングラフを学習するための"擬似ラベル"を作成する。
論文 参考訳（メタデータ） (2021-09-06T03:38:52Z) - Hierarchical View Predictor: Unsupervised 3D Global Feature Learning
through Hierarchical Prediction among Unordered Views [69.83935019958334]
階層型ビュー予測器という,ビューに基づくディープラーニングモデルを提案する。
HVPは、教師なしの方法で、秩序のないビューから3D形状の特徴を学習する。
以上の結果から,HVPは大規模3次元形状ベンチマークにおいて最先端の手法より優れることが示された。
論文 参考訳（メタデータ） (2021-08-08T22:07:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。