論文の概要: The Dawn of GUI Agent: A Preliminary Case Study with Claude 3.5 Computer Use

• arxiv url: http://arxiv.org/abs/2411.10323v1
• Date: Fri, 15 Nov 2024 16:23:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-18 15:39:42.685244
• Title: The Dawn of GUI Agent: A Preliminary Case Study with Claude 3.5 Computer Use
• Title（参考訳）: GUIエージェントの夜明け:クロード3.5コンピュータを用いた予備事例研究
• Authors: Siyuan Hu, Mingyu Ouyang, Difei Gao, Mike Zheng Shou,
• Abstract要約: Claude 3.5 Computer Useは、GUIエージェントとして公開ベータでコンピュータの使用を提供する最初のフロンティアAIモデルである。 このケーススタディでは、さまざまなドメインやソフトウェアにまたがる、慎重に設計されたタスクの集合をキュレートし、整理する。 これらのケースからの観察は、デスクトップアクションへのエンドツーエンド言語におけるClaude 3.5 Computer Useの前例のない能力を示している。
• 参考スコア（独自算出の注目度）: 18.416366168688246
• License:
• Abstract: The recently released model, Claude 3.5 Computer Use, stands out as the first frontier AI model to offer computer use in public beta as a graphical user interface (GUI) agent. As an early beta, its capability in the real-world complex environment remains unknown. In this case study to explore Claude 3.5 Computer Use, we curate and organize a collection of carefully designed tasks spanning a variety of domains and software. Observations from these cases demonstrate Claude 3.5 Computer Use's unprecedented ability in end-to-end language to desktop actions. Along with this study, we provide an out-of-the-box agent framework for deploying API-based GUI automation models with easy implementation. Our case studies aim to showcase a groundwork of capabilities and limitations of Claude 3.5 Computer Use with detailed analyses and bring to the fore questions about planning, action, and critic, which must be considered for future improvement. We hope this preliminary exploration will inspire future research into the GUI agent community. All the test cases in the paper can be tried through the project: https://github.com/showlab/computer_use_ootb.
• Abstract（参考訳）: 最近リリースされたClaude 3.5 Computer Useは、グラフィカルユーザインタフェース(GUI)エージェントとしてコンピュータをパブリックベータで提供する最初のフロンティアAIモデルとして注目されている。 ベータ版として、実世界の複雑な環境での能力は未だに不明である。 このケーススタディでは、Claude 3.5 Computer Useを探索するために、さまざまなドメインやソフトウェアにまたがる、慎重に設計されたタスクのコレクションをキュレートし、整理する。 これらのケースからの観察は、デスクトップアクションへのエンドツーエンド言語におけるClaude 3.5 Computer Useの前例のない能力を示している。 本研究は,APIベースのGUI自動化モデルを実装容易な実装でデプロイするための,既定のエージェントフレームワークを提供する。 ケーススタディでは,Claude 3.5 Computer Useの能力と限界を詳細に分析し,今後の改善を検討する必要がある計画,行動,批判に関する前向きな疑問を提起することを目的としている。 この予備的な調査がGUIエージェントコミュニティに将来の研究を刺激することを期待している。 論文のすべてのテストケースは、プロジェクトを通して試すことができる。

関連論文リスト

• GUI-Bee: Align GUI Action Grounding to Novel Environments via Autonomous Exploration [56.58744345634623]
  MLLMをベースとした自律エージェントGUI-Beeを提案する。 NovelScreenSpotも導入しています。これはGUIアクショングラウンドモデルと新しい環境との整合性をテストするためのベンチマークです。
  論文  参考訳（メタデータ） (2025-01-23T18:16:21Z)
• GUI Agents: A Survey [129.94551809688377]
  グラフィカルユーザインタフェース(GUI)エージェントは、人間とコンピュータのインタラクションを自動化するためのトランスフォーメーションアプローチとして登場した。 GUIエージェントの関心の高まりと基本的な重要性により、ベンチマーク、評価指標、アーキテクチャ、トレーニングメソッドを分類する総合的な調査を提供する。
  論文  参考訳（メタデータ） (2024-12-18T04:48:28Z)
• Aguvis: Unified Pure Vision Agents for Autonomous GUI Interaction [69.57190742976091]
  自律型GUIエージェントのための統合視覚ベースのフレームワークであるAguvisを紹介する。 提案手法は,画像に基づく観察と,自然言語の接地命令を視覚要素に活用する。 これまでの作業の限界に対処するため、モデル内に明確な計画と推論を統合する。
  論文  参考訳（メタデータ） (2024-12-05T18:58:26Z)
• Large Language Model-Brained GUI Agents: A Survey [42.82362907348966]
  マルチモーダルモデルはGUI自動化の新しい時代を支えてきた。 彼らは自然言語理解、コード生成、視覚処理において例外的な能力を示した。 これらのエージェントはパラダイムシフトを表しており、ユーザーは単純な会話コマンドで複雑なマルチステップタスクを実行できる。
  論文  参考訳（メタデータ） (2024-11-27T12:13:39Z)
• OS-ATLAS: A Foundation Action Model for Generalist GUI Agents [55.37173845836839]
  OS-AtlasはGUIグラウンディングとOODエージェントタスクに優れた基礎的なGUIアクションモデルである。 現在までに1300万以上のGUI要素を含む、オープンソースのクロスプラットフォームGUI基盤コーパスをリリースしています。
  論文  参考訳（メタデータ） (2024-10-30T17:10:19Z)
• GUICourse: From General Vision Language Models to Versatile GUI Agents [75.5150601913659]
  GUICourseは、ビジュアルベースのGUIエージェントをトレーニングするためのデータセットスイートです。 まず、OCRとVLMのグラウンド機能を強化するためにGUIEnvデータセットを導入する。 次にGUIActとGUIChatデータセットを導入し、GUIコンポーネントやインタラクションに関する知識を充実させます。
  論文  参考訳（メタデータ） (2024-06-17T08:30:55Z)
• OS-Copilot: Towards Generalist Computer Agents with Self-Improvement [48.29860831901484]
  オペレーティングシステム(OS)の包括的要素と対話可能な汎用エージェントを構築するためのフレームワークであるOS-Copilotを紹介する。 我々はOS-Copilotを使って、汎用コンピュータタスクを自動化する自己改善型実施エージェントであるFRIDAYを開発した。 一般的なAIアシスタントのベンチマークであるGAIAでは、FRIDAYが従来の手法を35%上回り、以前のタスクから蓄積したスキルを通じて、目に見えないアプリケーションへの強力な一般化を示している。
  論文  参考訳（メタデータ） (2024-02-12T07:29:22Z)
• BlenderBot 3: a deployed conversational agent that continually learns to responsibly engage [41.87861654035883]
  BlenderBot 3は、インターネットへのアクセスと長期記憶による対話をオープンドメインで行うことができる対話モデルである。 モデルウェイトとコードの両方をリリースし、また、オーガニックユーザと対話するために、モデルを公開Webページにデプロイしました。
  論文  参考訳（メタデータ） (2022-08-05T14:20:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。