論文の概要: One Forward Beats Two: InnerZoom for Accurate and Efficient GUI Grounding
- arxiv url: http://arxiv.org/abs/2606.30084v1
- Date: Mon, 29 Jun 2026 10:20:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 18:07:16.176947
- Title: One Forward Beats Two: InnerZoom for Accurate and Efficient GUI Grounding
- Title（参考訳）: ひとつのフォワードが2倍に: 正確で効率的なGUIグラウンドのためのInnerZoom
- Abstract要約: クロス層エビデンスブリッジのための単一フォワードフレームワークであるInnerZoomを提案する。
結果は、InnerZoomがOSWorld-Gで64.7、UI-Visionで40.2、OSWorld-GRで73.1、MMBench-GUIで87.6を達成したことを示唆している。
- 参考スコア（独自算出の注目度）: 23.58705585303581
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: MLLM-based GUI grounding methods commonly formulate target localization as autoregressive coordinate generation, enabling models to leverage the strong instruction-following and semantic understanding capabilities of MLLMs. However, this formulation requires the model to retain region-level target evidence while decoding coordinate tokens with the spatial precision demanded by GUI clicking. Our diagnostic analysis reveals that target-region awareness emerges in intermediate decoder layers but is neither retained nor translated into the final coordinate prediction. Existing ZoomIn-style methods address this issue through an external crop-and-rerun pass, which improves localization but increases end-to-end latency and computational cost. To retain the accuracy benefits of two-pass zooming without this extra cost, we propose InnerZoom, a single-forward framework for cross-layer evidence bridging. InnerZoom transforms target-related cues from the original forward pass into a compact cross-layer evidence state, then preserves, refines, and reinjects this state throughout later decoding layers to guide coordinate prediction. Extensive experimental results suggest that InnerZoom-4B achieves state-of-the-art performance on all six GUI grounding benchmarks, obtaining 64.7 on OSWorld-G, 40.2 on UI-Vision, 73.1 on OSWorld-GR, and 87.6 on MMBench-GUI, surpassing the previous best results by 4.1, 3.2, 2.9, and 2.3 points, respectively. Under a controlled 4B setting, InnerZoom improves the same SFT+RL baseline by 5.3 points on average and outperforms two-pass ZoomIn by 1.3 points on average, while reducing end-to-end latency by up to 31.8% and TFLOPs by about 29%. Code and models will be publicly available.
- Abstract（参考訳）: MLLMベースのGUIグラウンド法は、ターゲットローカライゼーションを自己回帰座標生成として定式化し、モデルがMLLMの強い命令追従と意味理解能力を活用できるようにする。
しかし、この定式化では、GUIクリックによって要求される空間精度で座標トークンを復号化しながら、領域レベルの目標証拠を保持する必要がある。
診断では,中間デコーダ層に目標領域の認識が現れるが,最終的な座標予測には保持されず,翻訳されないことが明らかとなった。
既存のZoomInスタイルのメソッドは、ローカライゼーションを改善するが、エンドツーエンドのレイテンシと計算コストを増大させる外部のcry-and-rerunパスを通じてこの問題に対処する。
この余分なコストを伴わずに2パスズームの精度を保ちつつ、クロス層エビデンスブリッジのための単一フォワードフレームワークであるInnerZoomを提案する。
内Zoomは、ターゲット関連キューを元のフォワードパスからコンパクトなクロスレイヤーエビデンス状態に変換し、後続のデコード層を通してこの状態を保存、洗練、再注入し、座標予測を導出する。
大規模な実験結果から、InnerZoom-4Bは、OSWorld-Gで64.7、UI-Visionで40.2、OSWorld-GRで73.1、MMBench-GUIで87.6、それぞれ4.1、3.2、2.9、2.3の6つのGUIグラウンドベンチマークで最先端のパフォーマンスを達成したことが示唆された。
コントロールされた4B設定では、InnerZoomは同じSFT+RLベースラインを平均5.3ポイント改善し、2パスZoomInを平均1.3ポイント、エンドツーエンドのレイテンシを最大31.8%、TFLOPを約29%改善する。
コードとモデルは公開されます。
関連論文リスト
- MANGO-Grasp: Mahalanobis Fields over Geometry-Oriented 3D Gaussians for Cross-Embodiment Dexterous Grasping [82.63833405368159]
クロス・エボディメント・デキスタラス・グルーピングは、異種多指ハンド間の安定したグルーピングを、エンボディメント固有のチューニングをほとんど、あるいは全く行わずに合成することを目的としている。
物体を幾何学指向の3Dガウスプリミティブとして、ロボットハンドをモルフォキネマティックな記述子に符号化した表面キーポイントとして表現する異方性相互作用フレームワークであるMANGO-Graspを提案する。
論文 参考訳（メタデータ） (2026-08-03T10:12:15Z) - FoundationGeo: Learning Spatial Pixel-Wise Fields for Monocular Metric Geometry [52.232826445242644]
FoundationGeoは空間キャリブレーションと原則データ設計による相対的および計量的予測を橋渡しする。
ステージ1は DINOv3 で初期化することで高忠実なアフィン不変幾何モデルを学ぶ。
ステージ2は、メートル法推定のためのピクセルワイドキャリブレーションフィールドを導入することで、グローバルなスケーリングを越えている。
論文 参考訳（メタデータ） (2026-07-13T14:10:01Z) - KPGrasp: Scalable Keypoint Flow Matching for Dexterous Grasp Generation [23.028638559051597]
KPGraspは,大規模データから事前の詳細な把握を学習するフローマッチングフレームワークである。
20の多様なオブジェクトに対する実験は、パイプラインを現実世界のセットアップでデプロイできることを示しています。
論文 参考訳（メタデータ） (2026-06-08T10:19:29Z) - LLaVA-OneVision-2: Towards Next-Generation Perceptual Intelligence [107.63317552620231]
LLaVA-OneVision-2(LLaVA-OV-2)について述べる。
幅広いマルチモーダルベンチマークで優れたパフォーマンスを実現している。
際立った能力は、ビデオ理解、時間的接地、空間的接地、操作言語推論にまたがる統一的な認識である。
論文 参考訳（メタデータ） (2026-05-25T15:54:04Z) - Efficient Hybrid CNN-GNN Architecture for Monocular Depth Estimation [0.0]
畳み込みエンコーダ・デコーダフレームワークにグラフニューラルネットワーク(GNN)を統合する単眼深度推定アーキテクチャであるGraphDepthを提案する。
我々のアプローチは、効率的なGraphSAGEレイヤをResNet-101 U-Netバックボーンの複数スケールに埋め込む。
NYU Depth V2、WHU Aerial、ETH3D、Mid-Airベンチマークの実験では、最先端のトランスフォーマーの4.6%で競合精度が示されている。
論文 参考訳（メタデータ） (2026-05-11T09:21:04Z) - Global and Local Topology-Aware Attention with Persistent Homology and Euler Biases for Time-Series Forecasting [0.0]
時系列はしばしば、接続性、サイクル、シェルのような幾何学、方向変化、非線形近傍を含む予測幾何学構造を符号化する。
永続的ホモロジー(H0-H2)を用いた注意ログにそのような構造を加えるトポロジ対応アテンションフレームワークを提案する。
我々は,軽量アテンション/ライダー,PatchTSTForRegression,TimeSeriesTransformerForPredictionという3つのアーキテクチャファミリの保護されたトポロジ対応のバリエーションを評価した。
論文 参考訳（メタデータ） (2026-05-04T21:19:12Z) - GUI-G$^2$: Gaussian Reward Modeling for GUI Grounding [51.497245303008015]
グラフィカルユーザインタフェース (GUI) は、自然言語の命令を、自律的なインタラクションのための正確なインターフェース位置にマッピングする。
ターゲット要素を中心としたガウス分布を自然に形成する人間のクリック行動に動機付けられ,GUIガウスグラウンドング・リワード(GUIガウスグラウンドディング・リワード)を導入する。
GUI-G$2$のUI-TARS-72BはScreenSpot-Proで24.7%向上した。
論文 参考訳（メタデータ） (2025-07-21T17:53:42Z) - G-MSGINet: A Grouped Multi-Scale Graph-Involution Network for Contactless Fingerprint Recognition [20.458766184257147]
G-MSGINetは、接触レス指紋認識のための統一されたフレームワークである。
生の入力画像から直接、微妙な局所化とアイデンティティの埋め込みを共同で行う。
3つのベンチマークデータセットの大規模な実験は、G-MSGINetが97.0%から99.1%の範囲で0.83pm0.02$、ランク1の識別精度で一貫してF1スコアを達成していることを示している。
論文 参考訳（メタデータ） (2025-05-13T05:24:24Z) - Coordinate Transformer: Achieving Single-stage Multi-person Mesh
Recovery from Videos [91.44553585470688]
ビデオから複数人の3Dメッシュを回収することは、バーチャルリアリティーや理学療法などにおけるグループ行動の自動認識に向けた重要な第一歩である。
本稿では,複数人物の時空間関係を直接モデル化し,同時にエンドツーエンドでマルチ・メッシュ・リカバリを行うコーディネート・トランスフォーマーを提案する。
3DPWデータセットの実験では、CoordFormerが最先端の精度を大幅に向上し、MPJPE、PAMPJPE、PVEの計測値でそれぞれ4.2%、8.8%、そして4.7%を上回った。
論文 参考訳（メタデータ） (2023-08-20T18:23:07Z) - PointGroup: Dual-Set Point Grouping for 3D Instance Segmentation [111.7241018610573]
私たちは、インスタンスセグメンテーションのための新しいエンドツーエンドボトムアップアーキテクチャであるPointGroupを紹介します。
我々は2分岐ネットワークを設計し、ポイントの特徴を抽出し、セマンティックラベルとオフセットを予測し、各ポイントをそれぞれのインスタンスセントロイドに向けてシフトさせる。
クラスタリングコンポーネントは、元のおよびオフセットシフトされた点座標セットの両方を利用するために、その相補的な強度を利用する。
ScanNet v2 と S3DIS の2つの挑戦的データセットに対する広範な実験を行い、ScanNet v2 と S3DIS が最も高い性能を達成し、63.6% と 64.0% の2つを以前のベストが達成した54.9% と54.4% と比較した。
論文 参考訳（メタデータ） (2020-04-03T16:26:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。