論文の概要: Hallucination-Free GUI Grounding via Regression-Free Layout-Aware Matching
- arxiv url: http://arxiv.org/abs/2608.09654v1
- Date: Mon, 10 Aug 2026 14:29:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:37.306944
- Title: Hallucination-Free GUI Grounding via Regression-Free Layout-Aware Matching
- Title（参考訳）: レグレッションフリーレイアウトアウェアマッチングによる幻覚フリーGUIグラウンドディング
- Abstract要約: 凍結したMLLMが命令解析を行い、専用のグラウンドモデルが座標回帰を学習することなく正確な位置決めを処理できる回帰フリーフレームワークを提案する。
また、ScreenSpot-Proでは、エンド・ツー・エンドシステムよりも20%以上の精度向上を実現し、Mind2Webでは、成功率と要素選択率を15%以上向上させる。
- 参考スコア（独自算出の注目度）: 15.001139869466508
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: GUI agents are shifting from metadata-dependent large language models to purely visual multimodal large language models (MLLMs) that operate directly on screenshots. The core task, GUI grounding, requires translating abstract user instructions into precise element coordinates. This task faces a persistent dual obstacle: conventional grounding models lack the semantic richness to interpret abstract instructions, while end-to-end MLLMs suffer from coordinate hallucinations caused by deficient fine-grained perception. We propose a regression-free framework where a frozen MLLM performs instruction parsing and a dedicated grounding model handles precise localization without learning any coordinate regression. A frozen MLLM first elaborates the abstract instruction into a structured visual description rich in layout cues. These descriptions are then fed to a novel Layout-Aware GUI Grounding Model, which performs regression-free localization by matching against layout-prior candidates, inherently suppressing hallucinations and avoiding expensive fine-tuning. The grounding model is trained with only Text/Icon binary labels, requiring no coordinate regression parameters. On ScreenSpot-Pro, our method achieves over 20% improvement in grounding accuracy over end-to-end systems; on Mind2Web, it raises success rate and element selection rate by more than 15%. These results demonstrate that decoupling instruction understanding from layout-aware localization effectively resolves the core challenges of GUI interaction.
- Abstract（参考訳）: GUIエージェントは、メタデータに依存した大きな言語モデルから、スクリーンショット上で直接動作する純粋に視覚的なマルチモーダルな言語モデル(MLLM)へと移行している。
コアタスクであるGUIグラウンドでは、抽象的なユーザ命令を正確な要素座標に変換する必要がある。
従来の接地モデルは抽象的な命令を解釈する意味的豊かさを欠いているが、エンドツーエンドのMLLMは微粒な知覚の不足による協調幻覚に悩まされている。
凍結したMLLMが命令解析を行い、専用のグラウンドモデルが座標回帰を学習することなく正確な位置決めを処理できる回帰フリーフレームワークを提案する。
凍結MLLMは、まず抽象的な命令をレイアウトキューに富んだ構造化された視覚記述に精通させる。
これらの記述は、レイアウト優先候補とマッチングし、幻覚を本質的に抑制し、高価な微調整を避けることで回帰自由なローカライズを行う、Layout-Aware GUI Grounding Modelに送られる。
グラウンドモデルはText/Iconバイナリラベルのみでトレーニングされており、座標回帰パラメータを必要としない。
また、ScreenSpot-Proでは、エンド・ツー・エンドシステムよりも20%以上の精度向上を実現し、Mind2Webでは、成功率と要素選択率を15%以上向上させる。
これらの結果は,GUIの相互作用のコア課題を効果的に解決するために,レイアウト対応のローカライゼーションから命令理解を分離することが示唆された。
関連論文リスト
- ExACT: Exemplar-Driven Calibrated Refinement for Training-Free Visual Grounding in Remote Sensing Images [51.53960096934913]
リモートセンシングビジュアルグラウンドティング(RSVG)は、自由形式の自然言語記述を用いて、高解像度のRS画像中の特定の物体を特定することを目的としている。
マルチモーダル大言語モデル(MLLM)の最近の進歩は、そのようなオープン語彙RSVGに大きな可能性を示している。
Inemplar-driven Calibrated Refinement (ExACT)を提案する。
論文 参考訳（メタデータ） (2026-06-27T13:50:39Z) - See, Point, Refine: Multi-Turn Approach to GUI Grounding with Visual Feedback [8.080056970922483]
Computer Use Agents (CUA) は基本的にグラフィカルユーザインタフェース(GUI)に依存しており、言語命令を実行可能なスクリーンアクションに変換する。
既存のアプローチは通常単発座標予測に依存しており、誤り訂正のメカニズムが欠如しており、しばしば高密度インタフェースで失敗する。
本稿では,符号化環境における画素精度カーソルのローカライゼーションに関する実証的研究を行う。
我々は,GPT-5.4,Claude,Qwenにまたがるアプローチを複雑な符号化ベンチマークで評価し,マルチターン改良が,クリック精度とクリック精度の両方において,最先端のシングルショットモデルよりも著しく優れていることを示した。
論文 参考訳（メタデータ） (2026-04-14T17:55:46Z) - 3D-Layout-R1: Structured Reasoning for Language-Instructed Spatial Editing [57.785328880266775]
本研究では,シーングラフ推論によるテキスト条件付き空間レイアウト編集を行う構造化推論フレームワークを提案する。
構造化された関係表現を通して推論過程を明示的に導くことにより,空間的関係の解釈可能性と制御性を向上する。
論文 参考訳（メタデータ） (2026-03-23T17:59:14Z) - AdaZoom-GUI: Adaptive Zoom-based GUI Grounding with Instruction Refinement [44.11867590785016]
そこで我々は,AdaZoom-GUIを提案する。AdaZoom-GUIは適応的なズームベースのGUI基盤フレームワークで,ローカライゼーションの精度と命令理解の両面を改善する。
提案手法では,自然言語コマンドを明示的で詳細な記述に書き換える命令修正モジュールを導入する。
さらに,予測された小要素に対して第2段階の推論を選択的に行う条件付きズームイン戦略を設計する。
論文 参考訳（メタデータ） (2026-03-18T07:26:18Z) - GUI-AIMA: Aligning Intrinsic Multimodal Attention with a Context Anchor for GUI Grounding [44.598660921968595]
そこで我々は,GUIの効率的なグラウンド化のための注意ベースかつ座標自由な教師付き微調整フレームワークを提案する。
Gui-AIMAは、MLLMの固有のマルチモーダルアテンションとパッチワイドグラウンド信号とを一致させる。
3Bモデルの最先端性能を達成し、ScreenSpot-Proの平均精度は59.6%、OSWorld-Gでは63.8%、ScreenSpot-v2では91.5%となる。
論文 参考訳（メタデータ） (2025-11-02T05:34:21Z) - SparkUI-Parser: Enhancing GUI Perception with Robust Grounding and Parsing [13.521180435948791]
本稿ではGUI知覚のための新しいエンドツーエンドフレームワークを提案する。
確率ベース離散モデリングの代わりに、座標の連続モデリングを行う。
これにより、離散出力特性に固有の制限を効果的に緩和する。
論文 参考訳（メタデータ） (2025-09-05T08:24:12Z) - DiMo-GUI: Advancing Test-time Scaling in GUI Grounding via Modality-Aware Visual Reasoning [53.42606072841585]
トレーニング不要なGUIグラウンドティングフレームワークであるDiMo-GUIを紹介する。
GUIをモノリシックなイメージとして扱う代わりに、入力をテキスト要素とアイコン要素に分割する。
DiMo-GUIは、予測が曖昧で不正確である場合、候補焦点領域を生成することにより、動的に注意を集中する。
論文 参考訳（メタデータ） (2025-06-12T03:13:21Z) - Compile Scene Graphs with Reinforcement Learning [69.36723767339001]
次世代予測は大規模言語モデル(LLM)の訓練の基本原理である
本稿では,マルチモーダルLLM(M-LLM)であるR1-SGGを紹介する。
私たちは、Hard Recall、Hard Recall+Relax、Soft Recallの3つのリコールベースのバリエーションを含む、グラフ中心の報酬セットを設計します。
論文 参考訳（メタデータ） (2025-04-18T10:46:22Z) - Looking Beyond Text: Reducing Language bias in Large Vision-Language Models via Multimodal Dual-Attention and Soft-Image Guidance [67.26434607115392]
大規模視覚言語モデル(LVLM)は様々な視覚言語タスクにおいて印象的な成果を上げている。
LVLMは言語バイアスによる幻覚に悩まされ、画像や非効果的な視覚的理解に焦点が当てられなくなった。
MDA (Multimodal duAl-attention meChanIsm) aNd soft-image Guidance (IFG) を用いたLVLMの言語バイアスに対処するためのLACingを提案する。
論文 参考訳（メタデータ） (2024-11-21T16:33:30Z) - Aligning Modalities in Vision Large Language Models via Preference
Fine-tuning [67.62925151837675]
本研究では,幻覚の問題をアライメント問題とみなし,好みのチューニングで対処する。
具体的には,AIモデルを用いたフィードバックデータを生成するPOVIDを提案する。
提案手法は,好ましくないデータを生成するための2段階のアプローチである。
広範ベンチマークを用いた実験では、幻覚を減らすだけでなく、標準ベンチマークでのモデル性能を向上させることができ、従来の手法よりも優れていた。
論文 参考訳（メタデータ） (2024-02-18T00:56:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。