論文の概要: STP-GUI: Spatially-Aware Token Pruning for Efficient Web-GUI Agents

• arxiv url: http://arxiv.org/abs/2610.20390v1
• Date: Wed, 14 Oct 2026 15:53:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.242026
• Title: STP-GUI: Spatially-Aware Token Pruning for Efficient Web-GUI Agents
• Title（参考訳）: STP-GUI: 効率的なWeb-GUIエージェントのための空間認識型トーケンプルーニング
• Abstract要約: 高解像度のスクリーンショットとマルチターン履歴は過剰な視覚トークンを導入し、かなりの推測オーバーヘッドを引き起こす。 既存のトークンプルーニング法は主に自然画像用に設計されており、重要なスコアに基づいてトークンを独立に選択することが多い。 空間的コヒーレントなウィンドウレベルの選択を行いながら、きめ細かい命令条件付きトークンスコアリングを保存できるクエリ誘導トークンフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 19.465366408672136
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: With the rapid development of vision-language models (VLMs), Web-GUI agents have achieved promising performance in interacting with real-world interfaces through screenshot-based grounding. However, high-resolution screenshots and multi-turn histories introduce excessive visual tokens, causing substantial inference overhead. Existing token pruning methods, mainly designed for natural images, often select tokens independently based on importance scores, which can fragment the local visual structures required for recognizing small GUI elements such as buttons, icons, and hyperlinks. In this work, we propose STP-GUI (Spatially-aware Token Pruning for GUI agents), a query-guided token pruning framework that preserves fine-grained instruction-conditioned token scoring while performing spatially coherent window-level selection under aggressive token reduction. A lightweight selector is optimized through policy learning while the VLM backbone remains frozen. Experiments on Online-Mind2Web show that \papername achieves a favorable efficiency-performance tradeoff under low token budgets. At 21% token retention, it preserves 77.7% of full-token performance while reducing inference latency by 31% and FLOPs by 57%. Results on Android in the Wild further suggest that the method transfers to mobile GUI environments.
• Abstract（参考訳）: 視覚言語モデル(VLM)の急速な発展により、Web-GUIエージェントは、スクリーンショットベースのグラウンドリングを通じて現実世界のインタフェースと対話する上で、有望なパフォーマンスを達成した。 しかし、高解像度のスクリーンショットとマルチターン履歴は過剰な視覚トークンを導入し、かなりの推測オーバーヘッドを引き起こす。 既存のトークンプルーニング法は主に自然画像用に設計されており、重要なスコアに基づいてトークンを独立して選択することが多く、ボタン、アイコン、ハイパーリンクなどの小さなGUI要素を認識するのに必要な局所的な視覚構造を断片化することができる。 そこで本研究では,STP-GUI (Spatially-Aware Token Pruning for GUI agent) を提案する。 軽量セレクタはポリシー学習によって最適化され、VLMバックボーンは凍結されている。 Online-Mind2Webの実験では、低トークンの予算の下で、 \papernameは好ましい効率とパフォーマンスのトレードオフを達成している。 21%のトークン保持では、77.7%のパフォーマンスを維持し、推論遅延を31%、FLOPを57%削減する。 Android in the Wildの結果はさらに、このメソッドがモバイルGUI環境に転送されることを示唆している。

関連論文リスト

• Rethinking Token Pruning for Historical Screenshots in GUI Visual Agents: Semantic, Spatial, and Temporal Perspectives [20.029839773427298]
  GUIシナリオにおける過去のスクリーンショットに対するトークンプルーニングについて検討する。 GUIスクリーンショットには,前景と背景のセマンティックな構成が特徴的であることがわかった。 また,GUIエージェントが人間の認知に類似した再発効果を示すことも観察した。
  論文  参考訳（メタデータ） (2026-03-27T03:21:19Z)
• FocusUI: Efficient UI Grounding via Position-Preserving Visual Token Selection [81.25070759820589]
  VLM(Vision-Language Models)はUI(User Interface)のグラウンディングタスクにおいて顕著なパフォーマンスを示している。 VLMは数千の視覚トークンにトークン化され、計算オーバーヘッドが大きくなり、注意が希薄になる。 命令に最も関係のあるパッチを選択する,効率的なUI基盤フレームワークであるFocusUIを提案する。
  論文  参考訳（メタデータ） (2026-01-07T13:48:12Z)
• iSHIFT: Lightweight Slow-Fast GUI Agent with Adaptive Perception [27.22349186465607]
  我々はiSHIFT: Implicit Slow-fast Hybrid Inference with Flexible Tokensを紹介した。 iSHIFTにより、MLLMはスローモードを切り替えることができ、高精度な視覚的グラウンドリングと、グローバルなキューを使って効率を上げる高速モードを利用することができる。 2.5Bのコンパクトさにもかかわらず、iSHIFTは複数のベンチマークデータセットで最先端のパフォーマンスと一致している。
  論文  参考訳（メタデータ） (2025-12-26T12:09:15Z)
• GUI-KV: Efficient GUI Agents via KV Cache with Spatio-Temporal Awareness [75.00019285120878]
  キーバリュー(KV)キャッシュは、これを緩和することができるが、フルキャッシュの保存は、画像重大なコンテキストでは禁じられている。 既存のキャッシュ圧縮手法はGUIの空間的および時間的冗長性を考慮しないため、最適化されていない。 再学習を必要としないGUIエージェントのKVキャッシュ圧縮方式であるGUI-KVを紹介する。
  論文  参考訳（メタデータ） (2025-10-01T05:37:54Z)
• Pyramid Token Pruning for High-Resolution Large Vision-Language Models via Region, Token, and Instruction-Guided Importance [60.028070589466445]
  Pyramid Token Pruning (PTP) は、階層的にボトムアップの視覚的サリエンスとトークンレベルをトップダウンの指導誘導の関連性と統合する、トレーニング不要の戦略である。 PTPは計算コスト、メモリ使用量、推論遅延を大幅に削減し、性能劣化を無視できることを示した。
  論文  参考訳（メタデータ） (2025-09-19T07:28:17Z)
• A Glimpse to Compress: Dynamic Visual Token Pruning for Large Vision-Language Models [94.49953824684853]
  人間の認知に触発された動的刈り取りフレームワークGlimpsePruneを導入する。 データ駆動の 'glimpse' を受け取り、応答生成の前に単一のフォワードパスで無関係な視覚トークンをプルーンする。 強化されたGlimpsePrune+は、同様に高いプルーニング率を維持しながら、ベースライン性能の110%を達成する。
  論文  参考訳（メタデータ） (2025-08-03T02:15:43Z)
• MobileGUI-RL: Advancing Mobile GUI Agent through Reinforcement Learning in Online Environment [63.62778707277929]
  MobileGUI-RLは、オンライン環境でGUIエージェントをトレーニングするスケーラブルなフレームワークである。 自己探索とフィルタリングを通じて学習可能なタスクのカリキュラムを合成する。 GRPOをGUIナビゲーションに適応させ、軌道認識の利点と複合報酬を付与する。
  論文  参考訳（メタデータ） (2025-07-08T07:07:53Z)
• ShowUI: One Vision-Language-Action Model for GUI Visual Agent [80.50062396585004]
  グラフィカルユーザインタフェース(GUI)アシスタントの構築は、人間のワークフロー生産性を向上させるための大きな約束である。 デジタルワールドにおける視覚言語アクションモデル、すなわちShowUIを開発し、以下のイノベーションを特徴とする。 256Kデータを使用した軽量な2BモデルであるShowUIは、ゼロショットのスクリーンショットグラウンドで75.1%の精度を実現している。
  論文  参考訳（メタデータ） (2024-11-26T14:29:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。