論文の概要: LookAgain: Closed-Loop GUI Grounding with Visually Grounded Reflection
- arxiv url: http://arxiv.org/abs/2608.09723v1
- Date: Mon, 10 Aug 2026 15:23:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:37.337659
- Title: LookAgain: Closed-Loop GUI Grounding with Visually Grounded Reflection
- Title（参考訳）: LookAgain: ビジュアルグラウンドドリフレクションを備えたクローズドループGUIグラウンド
- Abstract要約: 近年のグラフィカルユーザインタフェース(GUI)のグラウンダは、標準ベンチマークでのシングルショット精度が大幅に向上している。
しかし、そのパフォーマンスは、小さなターゲット、密集したコントロール、配布外インターフェースで著しく低下している。
予測後の視覚反射によって駆動される閉ループGUIグライダーであるLookAgainを提案する。
- 参考スコア（独自算出の注目度）: 42.672264792698904
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent graphical user interface (GUI) grounders have significantly advanced single-shot accuracy on standard benchmarks, yet their performance degrades sharply on small targets, densely packed controls and out-of-distribution interfaces. We attribute this gap to a paradigmatic limitation shared by existing approaches: none of them treats a produced coordinate as a hypothesis to be reflected upon and revised under new visual evidence. This manifests as three coupled issues: 1) Lack of post-hoc reflection. The prediction is frozen at the moment of emission, leaving no internal mechanism to challenge or refine it. 2) Visual evidence decoupled from the prediction. The auxiliary visual evidence is gathered to support the upcoming coordinate rather than to scrutinise the one already committed to. 3) Refinement over views, not over predictions. The iterative zoom-in refines the inspected region instead of inheriting a previous coordinate as a spatial prior to be corrected. In this paper, we propose LookAgain, a closed-loop GUI grounder driven by post-prediction visual reflection. LookAgain reformulates grounding as a multi-turn predict-look-again-refine process with two primitives: "locate" posts a coordinate hypothesis, renders a marker on the image and appends a local patch of the predicted region. It anchors the next reasoning step to the previous prediction as a spatial prior; "confirm" accepts or reject the hypothesis and terminates the procedure. We train the LookAgain grounder with SFT on constructed reflective trajectories as a cold start, followed by GRPO with terminal grounding correctness as the sole reward. Extensive experiments show that LookAgain consistently improves performance on both refusal-aware and general GUI grounding benchmarks, achieving state-of-the-art results. Comprehensive ablations further verify the effectiveness of the proposed framework.
- Abstract（参考訳）: 最近のグラフィカルユーザインタフェース(GUI)のグラウンドは、標準ベンチマークでは、シングルショットの精度が大幅に向上しているが、そのパフォーマンスは、小さなターゲット、密集したコントロール、アウト・オブ・ディストリビューション・インタフェースで著しく低下している。
このギャップは、既存のアプローチで共有されるパラダイム的制限によるもので、新しい視覚的証拠の下で反映され、修正される仮説として生成された座標を扱いません。
これは3つの複合問題として現れます。
1)ポストホック反射の欠如。
予測は放出の瞬間に凍結され、それへの挑戦や改善のための内部メカニズムは残されていない。
2) 視覚的証拠は予測から切り離された。
補助的な視覚的証拠は、既にコミットした座標を精査するよりも、今後の座標を支持するために集められる。
3) 予測によらず、視点を抑えること。
反復ズームインは、修正前の空間座標として前の座標を継承する代わりに検査済み領域を洗練させる。
本稿では,閉ループGUIグライダーであるLookAgainを提案する。
LookAgainは、複数ターンの予測-ルック-アゲイン-リファインプロセスとして、2つのプリミティブでグラウンドを再構築する。
次の推論ステップを空間的先行として以前の予測に固定し、「確認」は仮説を受け入れ、拒絶し、手続きを終了する。
コールドスタートとして構築された反射軌道上でSFTを用いてLookAgainグラウンドを訓練し,続いて終端グラウンドの正しさを唯一の報奨としてGRPOを訓練した。
大規模な実験により、LookAgainはリファレンスと一般的なGUIグラウンドベンチマークの両方のパフォーマンスを継続的に改善し、最先端の結果が得られた。
全体としては,提案フレームワークの有効性をさらに検証する。
関連論文リスト
- MNIST-PRO: MNIST is Back as a Partially Observable World for AI Agents [74.83535434786145]
MNIST-PRO (MNIST-PRO) は、MNISTの桁認識を、ルックバック制約付きシーケンシャルな視線に基づく検索タスクに変換することで、エージェント認識を分離するベンチマークである。
生の視覚履歴、テキスト状態、構造化されたメートル法グリッドマップ、統合された視覚キャンバスを含む4つの記憶表現の10つのマルチモーダルモデルを評価する。
論文 参考訳（メタデータ） (2026-08-31T16:05:39Z) - Glance, Scrutinize, and Think: Advancing Video Anomaly Detection from Training-Free to Agentic Reasoning [27.676141768874732]
ビデオ異常検出(VAD)は、異常事象を特定し、時間間隔をローカライズすることを目的としている。
従来の手法は異常が発生した時に局所化するが、意味的な理解が欠如している。
Glance then Scrutinize (GtS) は静的および動的テキストガイダンスを用いたトレーニング不要のフレームワークである。
実験の結果、GtSはトレーニング不要のベースラインを大幅に超え、エージェントモデルは高い精度と高速な推論を提供することがわかった。
論文 参考訳（メタデータ） (2026-08-07T17:07:49Z) - CAVE: Competence-Aware Visual Boundary Evidence Alignment for Video Temporal Grounding [37.61837019441122]
大規模視覚言語モデル(LVLM)は、強化学習(RL)によるビデオ時間グラウンド(VTG)において、かなりの性能向上を達成した。
既存の手法では、最終的な予測間隔のみを評価する結果の正当性報酬に依存しており、境界関連の視覚的証拠は十分に制約されていない。
本稿では,時間的ミスアライメントに対して,境界固有の視覚的エビデンスによる局所化最適化を付加するコンピテンス・アウェア・ビジュアルバウンダリアライメント(CAVE)を提案する。
論文 参考訳（メタデータ） (2026-08-03T11:27:29Z) - Reasoning as a Double-Edged Sword: Architecture and Cross-Stage Robustness in Vision-Language-Action Models [27.2709460237741]
行動の前に理由付けをする政策は、観察を直接行動にマッピングする政策よりも摂動入力を吸収すべきである。
この前提を推論スペクトルにまたがる3つのモデルでテストする。
潜望的なモデルは、はるかにロバストであることに気付きました。
論文 参考訳（メタデータ） (2026-07-20T10:20:32Z) - SPOT-E: Test-Time Entropy Shaping with Visual Spotlights for Frozen VLMs [74.89208610190595]
本研究では,各インスタンス毎のスポットライトを軽量チューニングにより最適化し,質問条件付きスポットライトを生成するテストタイム手法であるSPOT-Eを提案する。
SPOT-Eは、一貫した利得と、視覚的腐敗下での堅牢性を改善する。
論文 参考訳（メタデータ） (2026-06-18T13:56:30Z) - Consistent Yet Wrong: Evidence Insensitivity in Spatial Vision-Language Models [29.66841995436342]
現代の視覚言語モデル(VLM)は、計量距離クエリでは信頼できないままである。
我々は,Hypersim,ScanNet,KITTI360から構築したマルチビュー評価プロトコルであるtextbfViewDiagを紹介する。
安定な予測は、証拠に敏感な推論よりも先駆的な崩壊を反映している可能性が示唆された。
論文 参考訳（メタデータ） (2026-06-01T18:06:08Z) - Entropy-Gradient Grounding: Training-Free Evidence Retrieval in Vision-Language Models [77.3748853516374]
視覚言語モデルのための学習不要なモデル固有のグラウンドリング手法を提案する。
モデルの次トーケン分布のエントロピーを計算し、それを視覚トークン埋め込みにバックプロパタイズしてエントロピー勾配のレバレンスマップを得る。
次に、複数のコヒーレント領域を抽出・ランク付けし、マルチエビデンスクエリをサポートし、空間エントロピー停止規則付き反復的なズーム・アンド・リグラウンド手順を導入する。
論文 参考訳（メタデータ） (2026-04-09T16:51:42Z) - Towards Motion Forecasting with Real-World Perception Inputs: Are
End-to-End Approaches Competitive? [93.10694819127608]
実世界の知覚入力を用いた予測手法の統一評価パイプラインを提案する。
我々の詳細な調査では、キュレートされたデータから知覚ベースのデータへ移行する際の大きなパフォーマンスギャップが明らかになりました。
論文 参考訳（メタデータ） (2023-06-15T17:03:14Z) - Patch-level Gaze Distribution Prediction for Gaze Following [49.93340533068501]
トレーニング後の視線に対するパッチ分布予測(PDP)手法を提案する。
本モデルでは,アノテーションの差が大きい画像上でのより優れたヒートマップ分布を予測することにより,MSE損失の正則化を図っている。
実験により,ターゲット予測とイン/アウト予測サブタスクのギャップを埋めるモデルが得られた。
論文 参考訳（メタデータ） (2022-11-20T19:25:15Z) - Which to Match? Selecting Consistent GT-Proposal Assignment for
Pedestrian Detection [23.92066492219922]
IoU(Universal Intersection over Union)ベースの割り当て-回帰方式は依然としてパフォーマンスを制限している。
新しい割り当てと回帰メトリックとして、1つの幾何学的敏感検索アルゴリズムを紹介します。
具体的には、MR-FPPIをR$_75$で8.8%向上させます。
論文 参考訳（メタデータ） (2021-03-18T08:54:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。