論文の概要: DeskVision: Large Scale Desktop Region Captioning for Advanced GUI Agents

• arxiv url: http://arxiv.org/abs/2503.11170v1
• Date: Fri, 14 Mar 2025 08:16:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-17 13:07:57.602808
• Title: DeskVision: Large Scale Desktop Region Captioning for Advanced GUI Agents
• Title（参考訳）: DeskVision: 高度なGUIエージェントのための大規模デスクトップリージョンキャプション
• Authors: Yibin Xu, Liang Yang, Hao Chen, Hua Wang, Zhi Chen, Yaohua Tang,
• Abstract要約: 本稿では,GUIデータの自動生成パイプラインであるAutoCaptionerを提案する。 私たちは、日々の使用を反映し、さまざまなシステムやUI要素をカバーする、新しい大規模なデスクトップGUIデータセットであるDeskVisionを作成しました。 我々は新しいGUI理解モデル GUIExplorerを訓練し、ビジュアル要素の理解とグラウンド化において最先端(SOTA)のパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 17.20455408001344
• License:
• Abstract: The limitation of graphical user interface (GUI) data has been a significant barrier to the development of GUI agents today, especially for the desktop / computer use scenarios. To address this, we propose an automated GUI data generation pipeline, AutoCaptioner, which generates data with rich descriptions while minimizing human effort. Using AutoCaptioner, we created a novel large-scale desktop GUI dataset, DeskVision, along with the largest desktop test benchmark, DeskVision-Eval, which reflects daily usage and covers diverse systems and UI elements, each with rich descriptions. With DeskVision, we train a new GUI understanding model, GUIExplorer. Results show that GUIExplorer achieves state-of-the-art (SOTA) performance in understanding/grounding visual elements without the need for complex architectural designs. We further validated the effectiveness of the DeskVision dataset through ablation studies on various large visual language models (LVLMs). We believe that AutoCaptioner and DeskVision will significantly advance the development of GUI agents, and will open-source them for the community.
• Abstract（参考訳）: グラフィカルユーザインタフェース(GUI)データの制限は、特にデスクトップ/コンピュータ利用のシナリオにおいて、GUIエージェントの開発において重要な障壁となっている。 そこで本研究では,人的労力を最小限に抑えつつ,豊富な記述を伴うデータを生成するGUI自動生成パイプラインであるAutoCaptionerを提案する。 AutoCaptionerを使って、DeskVisionという新しい大規模なデスクトップGUIデータセットと、最大のデスクトップテストベンチマークであるDeskVision-Evalを作成しました。 DeskVisionでは、新しいGUI理解モデル、GUIExplorerをトレーニングします。 その結果、GUIExplorerは複雑なアーキテクチャ設計を必要とせず、ビジュアル要素の理解とグラウンド化において、最先端(SOTA)のパフォーマンスを達成することがわかった。 さらに,様々な大規模視覚言語モデル(LVLM)のアブレーション研究を通じて,DeskVisionデータセットの有効性を検証した。 AutoCaptionerとDeskVisionはGUIエージェントの開発を著しく推進し、コミュニティのためにそれらをオープンソース化すると考えています。

関連論文リスト

• Aguvis: Unified Pure Vision Agents for Autonomous GUI Interaction [69.57190742976091]
  自律型GUIエージェントのための統合視覚ベースのフレームワークであるAguvisを紹介する。 提案手法は,画像に基づく観察と,自然言語の接地命令を視覚要素に活用する。 これまでの作業の限界に対処するため、モデル内に明確な計画と推論を統合する。
  論文  参考訳（メタデータ） (2024-12-05T18:58:26Z)
• ShowUI: One Vision-Language-Action Model for GUI Visual Agent [80.50062396585004]
  グラフィカルユーザインタフェース(GUI)アシスタントの構築は、人間のワークフロー生産性を向上させるための大きな約束である。 デジタルワールドにおける視覚言語アクションモデル、すなわちShowUIを開発し、以下のイノベーションを特徴とする。 256Kデータを使用した軽量な2BモデルであるShowUIは、ゼロショットのスクリーンショットグラウンドで75.1%の精度を実現している。
  論文  参考訳（メタデータ） (2024-11-26T14:29:47Z)
• OS-ATLAS: A Foundation Action Model for Generalist GUI Agents [55.37173845836839]
  OS-AtlasはGUIグラウンディングとOODエージェントタスクに優れた基礎的なGUIアクションモデルである。 現在までに1300万以上のGUI要素を含む、オープンソースのクロスプラットフォームGUI基盤コーパスをリリースしています。
  論文  参考訳（メタデータ） (2024-10-30T17:10:19Z)
• GUI Action Narrator: Where and When Did That Action Take Place? [19.344324166716245]
  我々は,4,189種類の動画キャプションサンプルからなるGUIアクションの動画キャプションベンチマークを開発した。 本課題は,自然映像のキャプションに比較して,独特な課題を呈する。 GUI アクションデータセット textbfAct2Cap と GUI ビデオキャプションのためのシンプルなフレームワーク textbfGUI Narrator を紹介する。
  論文  参考訳（メタデータ） (2024-06-19T17:22:11Z)
• GUICourse: From General Vision Language Models to Versatile GUI Agents [75.5150601913659]
  GUICourseは、ビジュアルベースのGUIエージェントをトレーニングするためのデータセットスイートです。 まず、OCRとVLMのグラウンド機能を強化するためにGUIEnvデータセットを導入する。 次にGUIActとGUIChatデータセットを導入し、GUIコンポーネントやインタラクションに関する知識を充実させます。
  論文  参考訳（メタデータ） (2024-06-17T08:30:55Z)
• GUI-WORLD: A Dataset for GUI-oriented Multimodal LLM-based Agents [73.9254861755974]
  本稿では,人間のMLLMアノテーションを巧みに作成するGUI-Worldという新しいデータセットを提案する。 各種GUIコンテンツの理解において,ImageLLMs や VideoLLMs などの最先端MLLMの能力を評価する。
  論文  参考訳（メタデータ） (2024-06-16T06:56:53Z)
• VideoGUI: A Benchmark for GUI Automation from Instructional Videos [78.97292966276706]
  VideoGUIは、ビジュアル中心のGUIタスクでGUIアシスタントを評価するために設計された、新しいマルチモーダルベンチマークである。 高品質なWebインストラクショナルビデオから得られたベンチマークは、プロフェッショナルと新しいソフトウェアに関わるタスクに焦点を当てている。 評価の結果,SoTAの大規模マルチモーダルモデルであるGPT4oでさえ,視覚中心のGUIタスクでは不十分であることが判明した。
  論文  参考訳（メタデータ） (2024-06-14T17:59:08Z)
• SeeClick: Harnessing GUI Grounding for Advanced Visual GUI Agents [17.43878828389188]
  タスク自動化のためのスクリーンショットのみに依存する新しいビジュアルグラフィカルユーザインタフェース(GUI)エージェントであるSeeClickを提案する。 この課題に対処するため,GUIグラウンディングによるSeeClickの改良を提案し,GUIグラウンディングデータのキュレーションを自動化する手法を考案した。 また、モバイル、デスクトップ、Web環境を含む初めての現実的なGUIグラウンドティングベンチマークであるScreenSpotも作成しました。
  論文  参考訳（メタデータ） (2024-01-17T08:10:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。