論文の概要: GUI-G$^2$: Gaussian Reward Modeling for GUI Grounding

• arxiv url: http://arxiv.org/abs/2507.15846v3
• Date: Mon, 28 Jul 2025 16:54:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-29 14:15:47.047048
• Title: GUI-G$^2$: Gaussian Reward Modeling for GUI Grounding
• Title（参考訳）: GUI-G$^2$:GUIグラウンドのためのガウスリワードモデリング
• Authors: Fei Tang, Zhangxuan Gu, Zhengxi Lu, Xuyang Liu, Shuheng Shen, Changhua Meng, Wen Wang, Wenqi Zhang, Yongliang Shen, Weiming Lu, Jun Xiao, Yueting Zhuang,
• Abstract要約: グラフィカルユーザインタフェース (GUI) は、自然言語の命令を、自律的なインタラクションのための正確なインターフェース位置にマッピングする。 ターゲット要素を中心としたガウス分布を自然に形成する人間のクリック行動に動機付けられ,GUIガウスグラウンドング・リワード(GUIガウスグラウンドディング・リワード)を導入する。 GUI-G$2$のUI-TARS-72BはScreenSpot-Proで24.7%向上した。
• 参考スコア（独自算出の注目度）: 51.497245303008015
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Graphical User Interface (GUI) grounding maps natural language instructions to precise interface locations for autonomous interaction. Current reinforcement learning approaches use binary rewards that treat elements as hit-or-miss targets, creating sparse signals that ignore the continuous nature of spatial interactions. Motivated by human clicking behavior that naturally forms Gaussian distributions centered on target elements, we introduce GUI Gaussian Grounding Rewards (GUI-G$^2$), a principled reward framework that models GUI elements as continuous Gaussian distributions across the interface plane. GUI-G$^2$ incorporates two synergistic mechanisms: Gaussian point rewards model precise localization through exponentially decaying distributions centered on element centroids, while coverage rewards assess spatial alignment by measuring the overlap between predicted Gaussian distributions and target regions. To handle diverse element scales, we develop an adaptive variance mechanism that calibrates reward distributions based on element dimensions. This framework transforms GUI grounding from sparse binary classification to dense continuous optimization, where Gaussian distributions generate rich gradient signals that guide models toward optimal interaction positions. Extensive experiments across ScreenSpot, ScreenSpot-v2, and ScreenSpot-Pro benchmarks demonstrate that GUI-G$^2$, substantially outperforms state-of-the-art method UI-TARS-72B, with the most significant improvement of 24.7% on ScreenSpot-Pro. Our analysis reveals that continuous modeling provides superior robustness to interface variations and enhanced generalization to unseen layouts, establishing a new paradigm for spatial reasoning in GUI interaction tasks.
• Abstract（参考訳）: グラフィカルユーザインタフェース (GUI) は、自然言語の命令を、自律的なインタラクションのための正確なインターフェース位置にマッピングする。 現在の強化学習アプローチでは、要素をヒットまたはミスターゲットとして扱うバイナリ報酬を使用して、空間的相互作用の連続的な性質を無視したスパース信号を生成する。 ターゲット要素を中心としたガウス分布を自然に形成する人間のクリック動作に動機づけられたGUIガウスグラウンドング・リワード(GUI-G$^2$)を導入する。 GUI-G$^2$は2つの相乗的メカニズムを組み込んでいる: ガウス点報酬は、元センチロイドを中心とする指数関数的に減衰する分布による正確な局所化をモデル化し、カバレッジ報酬は予測されたガウス分布と対象領域の重なりを測定することによって空間的アライメントを評価する。 多様な要素スケールを扱うために,要素次元に基づいて報酬分布を校正する適応分散機構を開発した。 このフレームワークはGUIグラウンドングをスパースバイナリ分類から密度の高い連続最適化に変換し、ガウス分布はモデルが最適な相互作用位置に向かうためのリッチな勾配信号を生成する。 ScreenSpot、ScreenSpot-v2、ScreenSpot-Proのベンチマークによる大規模な実験では、GUI-G$^2$は、ScreenSpot-Proの24.7%の大幅な改善により、最先端のUI-TARS-72Bよりも大幅に上回っている。 連続モデリングは,GUIインタラクションタスクにおける空間的推論のための新しいパラダイムを確立し,インタフェースの変動に優れたロバスト性を提供し,レイアウトが見えないように一般化する。

関連論文リスト

• R-VLM: Region-Aware Vision Language Model for Precise GUI Grounding [18.100091500983044]
  GUI自動化における重要な課題は、様々なプラットフォームにまたがるインターフェイス要素の正確な基盤を作ることである。 既存の視覚のみのGUIエージェントは、大きく散らかったスクリーンショットから直接要素を接地する。 R-VLMは、ズームインされた領域の提案を正確な要素ローカライゼーションに活用する新しいGUI基盤手法である。
  論文  参考訳（メタデータ） (2025-07-08T04:56:57Z)
• DiMo-GUI: Advancing Test-time Scaling in GUI Grounding via Modality-Aware Visual Reasoning [52.37530640460363]
  トレーニング不要なGUIグラウンドティングフレームワークであるDiMo-GUIを紹介する。 GUIをモノリシックなイメージとして扱う代わりに、入力をテキスト要素とアイコン要素に分割する。 DiMo-GUIは、予測が曖昧で不正確である場合、候補焦点領域を生成することにより、動的に注意を集中する。
  論文  参考訳（メタデータ） (2025-06-12T03:13:21Z)
• UI-Genie: A Self-Improving Approach for Iteratively Boosting MLLM-based Mobile GUI Agents [37.871793585090586]
  GUIエージェントにおける2つの重要な課題に対処する自己改善フレームワークであるUI-Genieを紹介する。 軌道結果の検証は困難であり、高品質なトレーニングデータはスケーラブルではない。 UI-Genieは複数のGUIエージェントベンチマークで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2025-05-27T17:58:06Z)
• GEM: Gaussian Embedding Modeling for Out-of-Distribution Detection in GUI Agents [13.415165482033395]
  環境制約に違反したり、GUIエージェントの現在の能力を超えたりするアウト・オブ・ディストリビューション(OOD)命令は、タスクの故障やセキュリティ上の脅威を引き起こす可能性がある。 従来のOOD検出手法は、複雑な埋め込み空間とGUI環境の進化により、この領域でサブ最適化される。 本稿では,その機能境界を反映したGUIエージェントから抽出した入力埋め込み距離にガウス混合モデルを適用する新しい手法であるGEMを提案する。
  論文  参考訳（メタデータ） (2025-05-19T08:29:05Z)
• GaussianGraph: 3D Gaussian-based Scene Graph Generation for Open-world Scene Understanding [20.578106363482018]
  本稿では,セマンティッククラスタリングとシーングラフ生成を統合し,3DGSに基づくシーン理解を強化する新しいフレームワークを提案する。 本稿では,シーンスケールや特徴分布に動的に対応し,特徴圧縮を回避する"Control-Follow"クラスタリング戦略を提案する。 2次元基礎モデルから抽出したオブジェクト属性と空間関係を統合することでシーン表現を充実させる。
  論文  参考訳（メタデータ） (2025-03-06T02:36:59Z)
• UI-TARS: Pioneering Automated GUI Interaction with Native Agents [58.18100825673032]
  本稿では,GUIエージェントのネイティブモデルであるUI-TARSを紹介する。 OSWorldベンチマークでは、UI-TARSはスコアが24.6、50ステップが22.7、15ステップが22.7でクロード(それぞれ22.0と14.9)を上回っている。
  論文  参考訳（メタデータ） (2025-01-21T17:48:10Z)
• A Geometry-Aware Message Passing Neural Network for Modeling Aerodynamics over Airfoils [61.60175086194333]
  空気力学は航空宇宙工学の重要な問題であり、しばしば翼のような固体物と相互作用する流れを伴う。 本稿では, 固体物体上の非圧縮性流れのモデル化について考察する。 ジオメトリを効果的に組み込むため,メッシュ表現に翼形状を効率よく,かつ効率的に統合するメッセージパッシング方式を提案する。 これらの設計選択は、純粋にデータ駆動の機械学習フレームワークであるGeoMPNNにつながり、NeurIPS 2024 ML4CFDコンペティションで最優秀学生賞を受賞し、総合で4位となった。
  論文  参考訳（メタデータ） (2024-12-12T16:05:39Z)
• ShapeSplat: A Large-scale Dataset of Gaussian Splats and Their Self-Supervised Pretraining [104.34751911174196]
  ShapeNetとModelNetを用いた大規模3DGSデータセットを構築した。 データセットのShapeSplatは、87のユニークなカテゴリから65Kのオブジェクトで構成されています。 textbftextitGaussian-MAEを導入し、ガウスパラメータからの表現学習の独特な利点を強調した。
  論文  参考訳（メタデータ） (2024-08-20T14:49:14Z)
• Spatial-spectral Hyperspectral Image Classification via Multiple Random Anchor Graphs Ensemble Learning [88.60285937702304]
  本稿では,複数のランダムアンカーグラフアンサンブル学習(RAGE)を用いた空間スペクトルHSI分類手法を提案する。 まず、各選択されたバンドのより記述的な特徴を抽出し、局所的な構造と領域の微妙な変化を保存するローカルバイナリパターンを採用する。 次に,アンカーグラフの構成に適応隣接代入を導入し,計算複雑性を低減した。
  論文  参考訳（メタデータ） (2021-03-25T09:31:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。