論文の概要: Aguvis: Unified Pure Vision Agents for Autonomous GUI Interaction

• arxiv url: http://arxiv.org/abs/2412.04454v1
• Date: Thu, 05 Dec 2024 18:58:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-06 14:41:21.519449
• Title: Aguvis: Unified Pure Vision Agents for Autonomous GUI Interaction
• Title（参考訳）: Aguvis: 自律的なGUIインタラクションのための統一された純粋な視覚エージェント
• Authors: Yiheng Xu, Zekun Wang, Junli Wang, Dunjie Lu, Tianbao Xie, Amrita Saha, Doyen Sahoo, Tao Yu, Caiming Xiong,
• Abstract要約: 自律型GUIエージェントのための統合視覚ベースのフレームワークであるAguvisを紹介する。 提案手法は,画像に基づく観察と,自然言語の接地命令を視覚要素に活用する。 これまでの作業の限界に対処するため、モデル内に明確な計画と推論を統合する。
• 参考スコア（独自算出の注目度）: 69.57190742976091
• License:
• Abstract: Graphical User Interfaces (GUIs) are critical to human-computer interaction, yet automating GUI tasks remains challenging due to the complexity and variability of visual environments. Existing approaches often rely on textual representations of GUIs, which introduce limitations in generalization, efficiency, and scalability. In this paper, we introduce Aguvis, a unified pure vision-based framework for autonomous GUI agents that operates across various platforms. Our approach leverages image-based observations, and grounding instructions in natural language to visual elements, and employs a consistent action space to ensure cross-platform generalization. To address the limitations of previous work, we integrate explicit planning and reasoning within the model, enhancing its ability to autonomously navigate and interact with complex digital environments. We construct a large-scale dataset of GUI agent trajectories, incorporating multimodal reasoning and grounding, and employ a two-stage training pipeline that first focuses on general GUI grounding, followed by planning and reasoning. Through comprehensive experiments, we demonstrate that Aguvis surpasses previous state-of-the-art methods in both offline and real-world online scenarios, achieving, to our knowledge, the first fully autonomous pure vision GUI agent capable of performing tasks independently without collaboration with external closed-source models. We open-sourced all datasets, models, and training recipes to facilitate future research at https://aguvis-project.github.io/.
• Abstract（参考訳）: グラフィカルユーザインタフェース(GUI)は人間とコンピュータのインタラクションに不可欠であるが、視覚環境の複雑さと可変性のためにGUIタスクの自動化は依然として困難である。 既存のアプローチは、しばしばGUIのテキスト表現に依存し、一般化、効率、スケーラビリティの限界をもたらす。 本稿では,Aguvisについて紹介する。Aguvisは,多種多様なプラットフォームで動作する自律型GUIエージェントのための統合された純粋視覚ベースのフレームワークである。 提案手法は、画像に基づく観察と、自然言語から視覚要素への接地命令を活用し、クロスプラットフォームの一般化を保証するために一貫したアクション空間を用いる。 従来の作業の限界に対処するため、モデル内に明示的な計画と推論を統合し、複雑なデジタル環境を自律的にナビゲートし、対話する能力を強化する。 大規模なGUIエージェントトラジェクトリのデータセットを構築し、マルチモーダル推論とグラウンド化を導入し、まず一般的なGUIグラウンド化に焦点を当てた2段階のトレーニングパイプラインを使用し、次に計画と推論を行う。 総合的な実験を通じて、Aguvisはオフラインおよび実世界のオンラインシナリオの両方において従来の最先端の手法を超越し、我々の知識により、外部のクローズドソースモデルと協調することなくタスクを独立して実行できる初めての完全自律型純粋視覚GUIエージェントとなることを実証した。 私たちは、すべてのデータセット、モデル、トレーニングレシピをオープンソースにして、https://aguvis-project.github.io/.com/で将来の研究を支援しました。

関連論文リスト

• ShowUI: One Vision-Language-Action Model for GUI Visual Agent [80.50062396585004]
  グラフィカルユーザインタフェース(GUI)アシスタントの構築は、人間のワークフロー生産性を向上させるための大きな約束である。 デジタルワールドにおける視覚言語アクションモデル、すなわちShowUIを開発し、以下のイノベーションを特徴とする。 256Kデータを使用した軽量な2BモデルであるShowUIは、ゼロショットのスクリーンショットグラウンドで75.1%の精度を実現している。
  論文  参考訳（メタデータ） (2024-11-26T14:29:47Z)
• EDGE: Enhanced Grounded GUI Understanding with Enriched Multi-Granularity Synthetic Data [15.801018643716437]
  本稿では,大規模視覚言語モデル(LVLM)のGUI理解と対話能力を,データ駆動型アプローチにより向上することを目的とする。 本稿では,Web上のWebページから大規模で粒度の高いトレーニングデータを自動的に生成する汎用データ合成フレームワークEDGEを提案する。 提案手法は,手動アノテーションへの依存を著しく低減し,研究者がWeb上で利用可能な膨大な公開リソースを活用して作業を進めることを可能にする。
  論文  参考訳（メタデータ） (2024-10-25T10:46:17Z)
• Navigating the Digital World as Humans Do: Universal Visual Grounding for GUI Agents [20.08996257335876]
  環境を視覚的に完全に知覚し,GUI上でのピクセルレベルの操作を直接行う,GUIエージェントのためのヒューマンライクなエボディメントを提唱する。 これまでに10MのGUI要素と参照式を1.3Mのスクリーンショット上に収めた、GUIの視覚的接地のための最大のデータセットを収集しました。 ウェブベースの合成データとLLaVAアーキテクチャの若干の適応を含む簡単なレシピは、このような視覚的接地モデルのトレーニングに驚くほど効果的であることを示す。
  論文  参考訳（メタデータ） (2024-10-07T17:47:50Z)
• GUICourse: From General Vision Language Models to Versatile GUI Agents [75.5150601913659]
  GUICourseは、ビジュアルベースのGUIエージェントをトレーニングするためのデータセットスイートです。 まず、OCRとVLMのグラウンド機能を強化するためにGUIEnvデータセットを導入する。 次にGUIActとGUIChatデータセットを導入し、GUIコンポーネントやインタラクションに関する知識を充実させます。
  論文  参考訳（メタデータ） (2024-06-17T08:30:55Z)
• GUI-WORLD: A Dataset for GUI-oriented Multimodal LLM-based Agents [73.9254861755974]
  本稿では,人間のMLLMアノテーションを巧みに作成するGUI-Worldという新しいデータセットを提案する。 各種GUIコンテンツの理解において,ImageLLMs や VideoLLMs などの最先端MLLMの能力を評価する。
  論文  参考訳（メタデータ） (2024-06-16T06:56:53Z)
• CoCo-Agent: A Comprehensive Cognitive MLLM Agent for Smartphone GUI Automation [61.68049335444254]
  MLLM(Multimodal large language model)は、人間のような自律型言語エージェントが現実世界の環境と相互作用する可能性を示している。 包括的環境認識(CEP)と条件付き行動予測(CAP)の2つの新しいアプローチを備えた包括的認知型LLMエージェントCoCo-Agentを提案する。 AITW と META-GUI ベンチマークにおいて,我々のエージェントは実シナリオで有望な性能を示す新しい最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-02-19T08:29:03Z)
• InstructDiffusion: A Generalist Modeling Interface for Vision Tasks [52.981128371910266]
  InstructDiffusionはコンピュータビジョンタスクを人間の指示に合わせるためのフレームワークである。 InstructDiffusionは、タスクの理解や生成タスクなど、さまざまなビジョンタスクを処理できる。 目に見えないタスクを処理し、新しいデータセットで前のメソッドより優れていることも示しています。
  論文  参考訳（メタデータ） (2023-09-07T17:56:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。