論文の概要: ScreenSpot-Pro: GUI Grounding for Professional High-Resolution Computer Use

• arxiv url: http://arxiv.org/abs/2504.07981v1
• Date: Fri, 04 Apr 2025 14:25:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-20 05:34:49.993878
• Title: ScreenSpot-Pro: GUI Grounding for Professional High-Resolution Computer Use
• Title（参考訳）: ScreenSpot-Pro: プロの高分解能コンピュータ用GUIグラウンド
• Authors: Kaixin Li, Ziyang Meng, Hongzhan Lin, Ziyang Luo, Yuchen Tian, Jing Ma, Zhiyong Huang, Tat-Seng Chua,
• Abstract要約: ScreenSpot-Proは,MLLMの高精細度プロセッティングにおける接地性能を厳格に評価するために設計された新しいベンチマークである。 このベンチマークは、専門家アノテーションを持つさまざまな専門家ドメインの本物の高解像度画像を含む。 本稿では,強力なプランナーのGUI知識を活かしたビジュアル検索手法であるScreenSeekeRを提案する。
• 参考スコア（独自算出の注目度）: 47.568491119335924
• License:
• Abstract: Recent advancements in Multi-modal Large Language Models (MLLMs) have led to significant progress in developing GUI agents for general tasks such as web browsing and mobile phone use. However, their application in professional domains remains under-explored. These specialized workflows introduce unique challenges for GUI perception models, including high-resolution displays, smaller target sizes, and complex environments. In this paper, we introduce ScreenSpot-Pro, a new benchmark designed to rigorously evaluate the grounding capabilities of MLLMs in high-resolution professional settings. The benchmark comprises authentic high-resolution images from a variety of professional domains with expert annotations. It spans 23 applications across five industries and three operating systems. Existing GUI grounding models perform poorly on this dataset, with the best model achieving only 18.9%. Our experiments reveal that strategically reducing the search area enhances accuracy. Based on this insight, we propose ScreenSeekeR, a visual search method that utilizes the GUI knowledge of a strong planner to guide a cascaded search, achieving state-of-the-art performance with 48.1% without any additional training. We hope that our benchmark and findings will advance the development of GUI agents for professional applications. Code, data and leaderboard can be found at https://gui-agent.github.io/grounding-leaderboard.
• Abstract（参考訳）: 近年,Multi-modal Large Language Models (MLLM) の進歩により,Webブラウジングや携帯電話の利用といった一般的なタスクのためのGUIエージェントの開発が著しく進展している。 しかし、彼らの専門分野への応用はいまだ未調査のままである。 これらの特殊なワークフローは、高解像度ディスプレイ、より小さなターゲットサイズ、複雑な環境を含むGUI知覚モデルに固有の課題をもたらす。 本稿では,MLLMの高精細度プロセッティングにおける接地性能を厳格に評価する新しいベンチマークであるScreenSpot-Proを紹介する。 このベンチマークは、専門家アノテーションを持つさまざまな専門家ドメインの本物の高解像度画像を含む。 5つの産業と3つのオペレーティングシステムに23のアプリケーションがある。 既存のGUIグラウンディングモデルは、このデータセットでは性能が悪く、最高のモデルは18.9%しか達成していない。 実験の結果,探索領域を戦略的に減らすことで精度が向上することが判明した。 この知見に基づいて,強力なプランナーのGUI知識を利用したビジュアル検索手法であるScreenSeekeRを提案する。 ベンチマークと結果が、プロフェッショナルアプリケーション向けのGUIエージェントの開発を進展させることを期待しています。 コード、データ、リーダーボードはhttps://gui-agent.github.io/grounding- Leaderboard.orgにある。

関連論文リスト

• TRISHUL: Towards Region Identification and Screen Hierarchy Understanding for Large VLM based GUI Agents [0.6827423171182154]
  TRISHULは、総合的なGUI理解のための一般のLVLMを強化する、トレーニング不要のフレームワークである。 この結果は、ScreenSpot、VisualWebBench、AITW、Mind2WebデータセットをまたいだアクショングラウンドにおけるTRISHULの優れたパフォーマンスを示している。 GUI参照の場合、TRISHULはScreenPRベンチマークのToLエージェントを超え、堅牢で適応可能なGUI理解のための新しい標準を設定している。
  論文  参考訳（メタデータ） (2025-02-12T09:12:30Z)
• UI-TARS: Pioneering Automated GUI Interaction with Native Agents [58.18100825673032]
  本稿では,GUIエージェントのネイティブモデルであるUI-TARSを紹介する。 OSWorldベンチマークでは、UI-TARSはスコアが24.6、50ステップが22.7、15ステップが22.7でクロード(それぞれ22.0と14.9)を上回っている。
  論文  参考訳（メタデータ） (2025-01-21T17:48:10Z)
• Zero-Shot Prompting Approaches for LLM-based Graphical User Interface Generation [53.1000575179389]
  LLMに基づくGUI検索とフィルタリング機構を統合した検索型GUI生成(RAGG)手法を提案する。 また,GUI 生成に Prompt Decomposition (PDGG) と Self-Critique (SCGG) を適用した。 UI/UX経験を持つ100人以上の集団作業者の3000以上のGUIアノテーションを対象とし,SPGGはPDGGやRAGGとは対照的に,より効果的なGUI生成につながる可能性が示唆された。
  論文  参考訳（メタデータ） (2024-12-15T22:17:30Z)
• Aguvis: Unified Pure Vision Agents for Autonomous GUI Interaction [69.57190742976091]
  自律型GUIエージェントのための統合視覚ベースのフレームワークであるAguvisを紹介する。 提案手法は,画像に基づく観察と,自然言語の接地命令を視覚要素に活用する。 これまでの作業の限界に対処するため、モデル内に明確な計画と推論を統合する。
  論文  参考訳（メタデータ） (2024-12-05T18:58:26Z)
• Large Language Model-Brained GUI Agents: A Survey [42.82362907348966]
  マルチモーダルモデルはGUI自動化の新しい時代を支えてきた。 彼らは自然言語理解、コード生成、視覚処理において例外的な能力を示した。 これらのエージェントはパラダイムシフトを表しており、ユーザーは単純な会話コマンドで複雑なマルチステップタスクを実行できる。
  論文  参考訳（メタデータ） (2024-11-27T12:13:39Z)
• Improved GUI Grounding via Iterative Narrowing [0.03922370499388702]
  本稿では,GUIグラウンディングにおける汎用モデルと微調整モデルの両方の性能向上のために,反復的絞り機構を用いた視覚的プロンプトフレームワークを提案する。 評価のために、様々なUIプラットフォームからなる包括的なベンチマークで手法を検証し、その結果を再現するコードを提供した。
  論文  参考訳（メタデータ） (2024-11-18T05:47:12Z)
• GUI Agents with Foundation Models: A Comprehensive Survey [91.97447457550703]
  この調査は(M)LLMベースのGUIエージェントに関する最近の研究を集約する。 重要な課題を特定し,今後の研究方向性を提案する。 この調査が(M)LLMベースのGUIエージェントの分野におけるさらなる進歩を促すことを願っている。
  論文  参考訳（メタデータ） (2024-11-07T17:28:10Z)
• OS-ATLAS: A Foundation Action Model for Generalist GUI Agents [55.37173845836839]
  OS-AtlasはGUIグラウンディングとOODエージェントタスクに優れた基礎的なGUIアクションモデルである。 現在までに1300万以上のGUI要素を含む、オープンソースのクロスプラットフォームGUI基盤コーパスをリリースしています。
  論文  参考訳（メタデータ） (2024-10-30T17:10:19Z)
• ASSISTGUI: Task-Oriented Desktop Graphical User Interface Automation [30.693616802332745]
  本稿では,ユーザが要求するタスクに応じて,Windowsプラットフォーム上でマウスとキーボードを操作することができるかどうかを評価するための新しいベンチマーク,AssistGUIを提案する。 本稿では,AIエージェントによって駆動される高度なGUIを組み込んだ高度なアクタ・クリティカル・フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-20T15:28:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。