論文の概要: Recurrent Latent Visual Search for GUI Grounding

• arxiv url: http://arxiv.org/abs/2610.05185v1
• Date: Sun, 04 Oct 2026 12:49:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 22:46:11.584489
• Title: Recurrent Latent Visual Search for GUI Grounding
• Title（参考訳）: GUI接地における逐次視覚探索
• Abstract要約: シングルステップの接地は、小さな要素と密度の高いレイアウトで苦労する。 本稿では,単一のインタラクションラウンドでRecurrent Latent Visual Searchを実行するReLaViSを提案する。 これはScreenSpot-Proの精度を3.1ポイントアップして56.3%に改善し、推論FLOPはわずか3.5%増加した。
• 参考スコア（独自算出の注目度）: 10.452529590513244
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: GUI grounding is a critical capability for GUI agents powered by vision-language models, helping them execute user instructions by locating the corresponding elements in screenshots. Single-step grounding struggles with small elements and dense layouts, motivating multi-step visual search. However, existing approaches commonly rely on textual reasoning misaligned with visual space or costly multi-round interactions with external visual tools. To make multi-step visual search an explicit spatial process within the model, we propose ReLaViS, which performs Recurrent Latent Visual Search in a single interaction round. At each step, a spatial search head uses the hidden state to query the screenshot's visual tokens, producing a spatial search distribution that explicitly represents the search focus. This distribution then aggregates the visual tokens into latent visual evidence, which is recurrently fed back as the next input embedding to condition subsequent search. We further introduce a GUI-aware coarse-to-fine inductive bias through trajectories constructed from flat element annotations, supervising search from the global interface through intermediate element groups to the target. Built on Qwen2.5-VL-7B, ReLaViS improves ScreenSpot-Pro accuracy by 3.1 percentage points to 56.3% with only a 3.5% increase in inference FLOPs and outperforms the matched single-step baseline on all five benchmarks.
• Abstract（参考訳）: GUIグラウンディングは、視覚言語モデルを利用したGUIエージェントにとって重要な機能であり、スクリーンショット中の対応する要素を特定することで、ユーザ命令の実行を支援する。 単一ステップの接地は、小さな要素と密なレイアウトで苦労し、多段階のビジュアルサーチを動機付けている。 しかし、既存のアプローチは一般的に、視覚空間と不整合したテキスト推論や、外部視覚ツールとのコストのかかる多ラウンドインタラクションに依存している。 複数段階の視覚探索をモデル内で明示的な空間的プロセスにするために,単一のインタラクションラウンドでRecurrent Latent Visual Searchを実行するReLaViSを提案する。 各ステップにおいて、空間探索ヘッドは、隠された状態を使用してスクリーンショットの視覚トークンをクエリし、探索焦点を明示的に表現する空間探索分布を生成する。 この分布は、視覚的トークンを潜伏した視覚的証拠に集約し、その後条件付き検索に次の入力埋め込みとして繰り返しフィードバックされる。 さらに、フラットな要素アノテーションから構築されたトラジェクトリを通じてGUI対応の粗いインダクティブバイアスを導入し、中間要素群を対象とするグローバルインターフェースからの探索を監督する。 Qwen2.5-VL-7B上に構築されたReLaViSはScreenSpot-Proの精度を3.1ポイント56.3%改善し、推論FLOPはわずか3.5%増加し、5つのベンチマークで一致したシングルステップベースラインを上回った。

関連論文リスト

• Learning to Route in Visual Space via Multi-Step Embedding Retrieval [57.56937837326161]
  VHOPは自動回帰多段階検索のためのエンドツーエンドのトレーニングパイプラインである。 VHOPは、中間テキストクエリを定式化することなく、単一のツールコールでリンクされたイメージチェーンを検索する。 VHOPコンテキストは、検索性能を5%未満から76.3%に向上させる。
  論文  参考訳（メタデータ） (2026-09-30T01:28:06Z)
• GUI-Lens: Coarse-to-Fine Cropping for GUI Grounding with General-Purpose VLMs [40.30152384879941]
  視覚言語モデル(VLM)は、要求された制御を、インタラクションに十分な精度で特定することなく認識することができる。 GUI-Lens(GUI-Lens)は、汎用的なVLMがアクティブな視覚観察を通してターゲットを判断できる粗大な接地フレームワークである。 実験の結果、GUI-Lensは全体の接地精度を最大24.9ポイント改善し、GPT-5.5で最先端の性能を達成した。
  論文  参考訳（メタデータ） (2026-08-04T07:47:37Z)
• UniRef-UAV: A Multimodal Benchmark for Universal Referring in UAV Imagery [69.87589293875112]
  無人航空機(UAV)は、タスク関連ターゲットのローカライズに視覚的な接地機能に依存している。 既存の参照式理解ベンチマークとメソッドは、主にテキストのみのクエリと単一オブジェクトの出力に基づいて構築されている。 本稿では,一般的なUAV参照タスクであるemphUniversal Referringを導入する。
  論文  参考訳（メタデータ） (2026-07-09T09:09:31Z)
• GUI-Eyes: Tool-Augmented Perception for Visual Grounding in GUI Agents [39.807839972627015]
  GUIタスクにおける能動的視覚知覚のための強化学習フレームワークであるGUI-Eyesを提案する。 我々は、意思決定を粗い探索ときめ細かい接地に分解する進歩的認識戦略を導入する。 ScreenSpot-Proベンチマークでは、GUI-Eyes-3Bは3kラベルのサンプルのみを使用して44.8%のグラウンド精度を達成した。
  論文  参考訳（メタデータ） (2026-01-14T14:27:28Z)
• Visual Test-time Scaling for GUI Agent Grounding [61.609126885427386]
  視覚言語モデルエージェントのための視覚的テスト時間スケーリングアプローチであるRereaFocusを紹介する。 提案手法は, 局所的に動的にズームインし, 背景乱れを低減し, 接地精度を向上する。 我々はScreenspot-proで28%、WebVoyagerベンチマークで24%の大幅なパフォーマンス向上を観察した。
  論文  参考訳（メタデータ） (2025-05-01T17:45:59Z)
• Grounded GUI Understanding for Vision-Based Spatial Intelligent Agent: Exemplified by Extended Reality Apps [39.56688889845037]
  仮想現実感アプリのための最初のゼロショットcOntext-sensitive inteRactable GUI ElemeNT dEtectionフレームワークOrienterを提案する。 人間の振る舞いを模倣することで、OrienterはまずXRアプリケーションシーンの意味的コンテキストを観察し、理解し、次に検出を実行する。
  論文  参考訳（メタデータ） (2024-09-17T00:58:00Z)
• OmniParser for Pure Vision Based GUI Agent [37.911094082816504]
  複数のオペレーティングシステムの汎用エージェントとしてGPT-4Vのようなパワーマルチモーダルモデルは、堅牢なスクリーン解析技術が欠如しているため、大部分は過小評価されている。 textsc OmniはScreenSpotベンチマークでGPT-4Vのパフォーマンスを大幅に改善した。 textsc Omni スクリーンショットは GPT-4V ベースラインを上回り、スクリーンショット以外の追加情報を必要とする。
  論文  参考訳（メタデータ） (2024-08-01T00:00:43Z)
• Semantic Tracklets: An Object-Centric Representation for Visual Multi-Agent Reinforcement Learning [126.57680291438128]
  本研究では,不整合表現によるスケーラビリティの実現について検討する。 視覚多エージェント粒子環境(VMPE)と視覚多エージェントGFootball環境における意味トラックレット'の評価を行った。 特に,この手法は視覚データのみを用いて,GFootball環境における5人のプレイヤーの戦略を学習した最初の方法である。
  論文  参考訳（メタデータ） (2021-08-06T22:19:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。