論文の概要: SparkUI-Parser: Enhancing GUI Perception with Robust Grounding and Parsing

• arxiv url: http://arxiv.org/abs/2509.04908v1
• Date: Fri, 05 Sep 2025 08:24:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-08 14:27:25.530269
• Title: SparkUI-Parser: Enhancing GUI Perception with Robust Grounding and Parsing
• Title（参考訳）: SparkUI-Parser:ロバストグラウンドとパーシングによるGUI知覚の強化
• Authors: Hongyi Jing, Jiafu Chen, Chen Rao, Ziqiang Dang, Jiajie Teng, Tianyi Chu, Juncheng Mo, Shuo Fang, Huaizhong Lin, Rui Lv, Chenguang Ma, Lei Zhao,
• Abstract要約: 本稿ではGUI知覚のための新しいエンドツーエンドフレームワークを提案する。 確率ベース離散モデリングの代わりに、座標の連続モデリングを行う。 これにより、離散出力特性に固有の制限を効果的に緩和する。
• 参考スコア（独自算出の注目度）: 13.521180435948791
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The existing Multimodal Large Language Models (MLLMs) for GUI perception have made great progress. However, the following challenges still exist in prior methods: 1) They model discrete coordinates based on text autoregressive mechanism, which results in lower grounding accuracy and slower inference speed. 2) They can only locate predefined sets of elements and are not capable of parsing the entire interface, which hampers the broad application and support for downstream tasks. To address the above issues, we propose SparkUI-Parser, a novel end-to-end framework where higher localization precision and fine-grained parsing capability of the entire interface are simultaneously achieved. Specifically, instead of using probability-based discrete modeling, we perform continuous modeling of coordinates based on a pre-trained Multimodal Large Language Model (MLLM) with an additional token router and coordinate decoder. This effectively mitigates the limitations inherent in the discrete output characteristics and the token-by-token generation process of MLLMs, consequently boosting both the accuracy and the inference speed. To further enhance robustness, a rejection mechanism based on a modified Hungarian matching algorithm is introduced, which empowers the model to identify and reject non-existent elements, thereby reducing false positives. Moreover, we present ScreenParse, a rigorously constructed benchmark to systematically assess structural perception capabilities of GUI models across diverse scenarios. Extensive experiments demonstrate that our approach consistently outperforms SOTA methods on ScreenSpot, ScreenSpot-v2, CAGUI-Grounding and ScreenParse benchmarks. The resources are available at https://github.com/antgroup/SparkUI-Parser.
• Abstract（参考訳）: GUI知覚のための既存のマルチモーダル大言語モデル(MLLM)は大きな進歩を遂げた。 しかし、以前の方法には次のような課題が残されている。 1) テキスト自己回帰に基づく離散座標をモデル化し, 接地精度を低くし, 推論速度を遅くする。 2) 事前に定義された要素のセットのみを見つけることができ、インターフェース全体を解析することができない。 上記の問題に対処するため,インターフェース全体のローカライズ精度と粒度解析機能を同時に実現した,新しいエンドツーエンドフレームワークであるSparkUI-Parserを提案する。 具体的には、確率ベース離散モデリングの代わりに、トークンルータと座標デコーダを付加した事前訓練されたマルチモーダル大言語モデル(MLLM)に基づく座標の連続モデリングを行う。 これにより、離散出力特性とMLLMのトークン・バイ・トークン生成プロセスに固有の制限を効果的に緩和し、精度と推論速度の両方を向上する。 さらにロバスト性を高めるために、修正ハンガリーマッチングアルゴリズムに基づく拒絶機構を導入し、モデルが存在しない要素を識別・拒否する権限を与え、偽陽性を低減させる。 さらに,GUIモデルの構造認識能力を多種多様なシナリオで体系的に評価するための,厳密に構築されたベンチマークであるScreenParseを提案する。 大規模な実験では、ScreenSpot、ScreenSpot-v2、CAGUI-Grounding、ScreenParseベンチマークでSOTAメソッドを一貫して上回ります。 リソースはhttps://github.com/antgroup/SparkUI-Parser.comで入手できる。

関連論文リスト

• Test-Time Reinforcement Learning for GUI Grounding via Region Consistency [17.954613936413942]
  本稿では,複数のサンプル予測から空間投票格子を構築し,コンセンサス領域を同定するテスト時間スケーリング手法を提案する。 また、GUI-RCPOを導入し、これらの一貫性パターンをテスト時間強化学習の報酬に変換する。 提案手法は,GUI接地のためのテスト時間スケーリングとテスト時間強化学習の未解決の可能性を明らかにし,より堅牢でデータ効率のよいGUIエージェントへの有望な道筋を提供する。
  論文  参考訳（メタデータ） (2025-08-07T17:54:27Z)
• GUI-Actor: Coordinate-Free Visual Grounding for GUI Agents [93.49577107524176]
  座標自由なGUIグラウンドリングのためのVLMに基づくGUI-Actorを提案する。 GUI-Actorの中核となるのは、アテンションベースのアクションヘッドで、専用のACTOR>トークンと関連するすべての視覚的パッチトークンの整合を学ぶ。 実験により、GUI-Actorは、複数のGUIアクショングラウンドベンチマークにおいて、最先端のメソッドよりも優れていることが示された。
  論文  参考訳（メタデータ） (2025-06-03T17:59:08Z)
• Efficient Multi-Instance Generation with Janus-Pro-Dirven Prompt Parsing [53.295515505026096]
  Janus-Pro-driven Prompt Parsingは、テキスト理解とレイアウト生成をブリッジするプロンプト解析モジュールである。 MIGLoRAはパラメータ効率の良いプラグインで、低ランク適応を UNet (SD1.5) と DiT (SD3) のバックボーンに統合する。 提案手法はパラメータ効率を維持しつつCOCOおよびLVISベンチマークの最先端性能を実現する。
  論文  参考訳（メタデータ） (2025-03-27T00:59:14Z)
• UI-TARS: Pioneering Automated GUI Interaction with Native Agents [58.18100825673032]
  本稿では,GUIエージェントのネイティブモデルであるUI-TARSを紹介する。 OSWorldベンチマークでは、UI-TARSはスコアが24.6、50ステップが22.7、15ステップが22.7でクロード(それぞれ22.0と14.9)を上回っている。
  論文  参考訳（メタデータ） (2025-01-21T17:48:10Z)
• COrAL: Order-Agnostic Language Modeling for Efficient Iterative Refinement [80.18490952057125]
  反復改良は、複雑なタスクにおける大規模言語モデル(LLM)の能力を高める効果的なパラダイムとして登場した。 我々はこれらの課題を克服するために、コンテキストワイズ順序非依存言語モデリング(COrAL)を提案する。 当社のアプローチでは、管理可能なコンテキストウィンドウ内で複数のトークン依存関係をモデル化しています。
  論文  参考訳（メタデータ） (2024-10-12T23:56:19Z)
• Exact Byte-Level Probabilities from Tokenized Language Models for FIM-Tasks and Model Ensembles [23.134664392314264]
  トークン化は、言語モデル(LM)における多くの未理解の欠点と関連している。 本研究は, トークン化がモデルとバイトレベルのモデルを比較し比較することによって, モデル性能に与える影響について検討する。 本稿では,学習トークン分布と等価バイトレベル分布とのマッピングを確立するフレームワークであるByte-Token Representation Lemmaを紹介する。
  論文  参考訳（メタデータ） (2024-10-11T23:30:42Z)
• Reinforced UI Instruction Grounding: Towards a Generic UI Task Automation API [17.991044940694778]
  汎用的なUIタスク自動化エグゼキュータとして、与えられたUIスクリーンショットに自然言語命令をベースとしたマルチモーダルモデルを構築します。 画像からテキストまでの事前学習知識の活用を容易にするため,画素からシーケンスまでのパラダイムを踏襲する。 提案する強化UI命令グラウンドモデルでは,最先端の手法よりも明確なマージンで性能が向上する。
  論文  参考訳（メタデータ） (2023-10-07T07:22:41Z)
• Pink: Unveiling the Power of Referential Comprehension for Multi-modal LLMs [49.88461345825586]
  本稿では,MLLMの微細な画像理解能力を高めるための新しい枠組みを提案する。 本稿では,既存のデータセットのアノテーションを活用して,命令チューニングデータセットを低コストで構築する手法を提案する。 本研究では,Qwen-VLよりも5.2%精度が向上し,Kosmos-2の精度が24.7%向上したことを示す。
  論文  参考訳（メタデータ） (2023-10-01T05:53:15Z)
• X2Parser: Cross-Lingual and Cross-Domain Framework for Task-Oriented Compositional Semantic Parsing [51.81533991497547]
  タスク指向コンポジションセマンティックパーシング(TCSP)は複雑なネストされたユーザクエリを処理する。 本報告では,TCSPの変換可能なクロスランガルとクロスドメインを比較した。 本稿では,フラット化意図とスロット表現を別々に予測し,両方の予測タスクをシーケンスラベリング問題にキャストすることを提案する。
  論文  参考訳（メタデータ） (2021-06-07T16:40:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。