論文の概要: AI Agents for Computer Use: A Review of Instruction-based Computer Control, GUI Automation, and Operator Assistants

• arxiv url: http://arxiv.org/abs/2501.16150v1
• Date: Mon, 27 Jan 2025 15:44:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-28 13:54:26.610402
• Title: AI Agents for Computer Use: A Review of Instruction-based Computer Control, GUI Automation, and Operator Assistants
• Title（参考訳）: AI Agents for Computer Use: An review of Instruction-based Computer Control, GUI Automation, Operator Assistants
• Authors: Pascal J. Sager, Benjamin Meyer, Peng Yan, Rebekka von Wartburg-Kottler, Layan Etaiwi, Aref Enayati, Gabriel Nobel, Ahmed Abdulkadir, Benjamin F. Grewe, Thilo Stadelmann,
• Abstract要約: 本総説では,命令型コンピュータ制御の新たな分野について概観する。 問題を定式化し,3つの観点からエージェントを解析する分野の分類を確立する。 計86のCCAと33の関連データセットをレビュー・分類した。
• 参考スコア（独自算出の注目度）: 4.904229981437243
• License:
• Abstract: Instruction-based computer control agents (CCAs) execute complex action sequences on personal computers or mobile devices to fulfill tasks using the same graphical user interfaces as a human user would, provided instructions in natural language. This review offers a comprehensive overview of the emerging field of instruction-based computer control, examining available agents -- their taxonomy, development, and respective resources -- and emphasizing the shift from manually designed, specialized agents to leveraging foundation models such as large language models (LLMs) and vision-language models (VLMs). We formalize the problem and establish a taxonomy of the field to analyze agents from three perspectives: (a) the environment perspective, analyzing computer environments; (b) the interaction perspective, describing observations spaces (e.g., screenshots, HTML) and action spaces (e.g., mouse and keyboard actions, executable code); and (c) the agent perspective, focusing on the core principle of how an agent acts and learns to act. Our framework encompasses both specialized and foundation agents, facilitating their comparative analysis and revealing how prior solutions in specialized agents, such as an environment learning step, can guide the development of more capable foundation agents. Additionally, we review current CCA datasets and CCA evaluation methods and outline the challenges to deploying such agents in a productive setting. In total, we review and classify 86 CCAs and 33 related datasets. By highlighting trends, limitations, and future research directions, this work presents a comprehensive foundation to obtain a broad understanding of the field and push its future development.
• Abstract（参考訳）: 命令ベースのコンピュータ制御エージェント(CCAs)は、パーソナルコンピュータやモバイルデバイス上で複雑なアクションシーケンスを実行し、人間のユーザと同じグラフィカルユーザインタフェースを使ってタスクを遂行する。 このレビューは、命令ベースのコンピュータ制御の新しい分野の概要を概観し、利用可能なエージェント(それらの分類、開発、およびそれぞれの資源)を調べ、手作業で設計された特殊エージェントから、大きな言語モデル(LLM)や視覚言語モデル(VLM)といった基礎モデルへのシフトを強調する。 我々は問題を定式化し、その分野の分類を確立し、エージェントを3つの観点から分析する。 (a)コンピュータ環境を解析する環境視点 b) インタラクションの観点からは、観察空間(例、スクリーンショット、HTML)とアクション空間(例、マウスとキーボードのアクション、実行可能コード)を記述する。 (c)エージェント・パースペクティブは、エージェントがどのように振舞い、行動を学ぶかという中核的な原則に焦点を合わせます。 本フレームワークは, 専門エージェントと基礎エージェントの両方を包含し, 比較分析の促進と, 環境学習などの専門エージェントにおける先行ソリューションが, より有能な基礎エージェントの開発をいかに導くかを明らかにする。 さらに、現在のCCAデータセットとCCA評価手法を概観し、生産的な環境においてそのようなエージェントをデプロイする上での課題について概説する。 計86のCCAと33の関連データセットをレビュー・分類した。 本研究は,傾向,限界,今後の研究方向性を強調することにより,この分野の広範な理解と今後の発展を促進するための総合的な基盤を提供する。

関連論文リスト

• PC-Agent: A Hierarchical Multi-Agent Collaboration Framework for Complex Task Automation on PC [98.82146219495792]
  本稿では,PC-Agentという階層型エージェントフレームワークを提案する。 認識の観点からは,現在のMLLMのスクリーンショットコンテンツに対する認識能力の不十分さを克服するために,アクティブ知覚モジュール(APM)を考案する。 意思決定の観点から、複雑なユーザ命令や相互依存サブタスクをより効果的に扱うために、階層的なマルチエージェント協調アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2025-02-20T05:41:55Z)
• AIOpsLab: A Holistic Framework to Evaluate AI Agents for Enabling Autonomous Clouds [12.464941027105306]
  AI for IT Operations(AIOps)は、障害のローカライゼーションや根本原因分析といった複雑な運用タスクを自動化することを目的としており、人間の作業量を削減し、顧客への影響を最小限にする。 大規模言語モデル(LLM)とAIエージェントの最近の進歩は、エンドツーエンドとマルチタスクの自動化を可能にすることで、AIOpsに革命をもたらしている。 マイクロサービスクラウド環境をデプロイし、障害を注入し、ワークロードを生成し、テレメトリデータをエクスポートするフレームワークであるAIOPSLABを紹介します。
  論文  参考訳（メタデータ） (2025-01-12T04:17:39Z)
• GUI Agents: A Survey [129.94551809688377]
  グラフィカルユーザインタフェース(GUI)エージェントは、人間とコンピュータのインタラクションを自動化するためのトランスフォーメーションアプローチとして登場した。 GUIエージェントの関心の高まりと基本的な重要性により、ベンチマーク、評価指標、アーキテクチャ、トレーニングメソッドを分類する総合的な調査を提供する。
  論文  参考訳（メタデータ） (2024-12-18T04:48:28Z)
• GUI Agents with Foundation Models: A Comprehensive Survey [91.97447457550703]
  この調査は(M)LLMベースのGUIエージェントに関する最近の研究を集約する。 重要な課題を特定し,今後の研究方向性を提案する。 この調査が(M)LLMベースのGUIエージェントの分野におけるさらなる進歩を促すことを願っている。
  論文  参考訳（メタデータ） (2024-11-07T17:28:10Z)
• Agent S: An Open Agentic Framework that Uses Computers Like a Human [31.16046798529319]
  我々は、GUI(Graphical User Interface)を通じてコンピュータとの自律的なインタラクションを可能にするオープンエージェントフレームワークであるAgent Sを提案する。 Agent Sは、ドメイン固有の知識の取得、長いタスクの水平線の計画、動的で一様でないインターフェイスの処理という、コンピュータタスクの自動化における3つの重要な課題に対処することを目指している。
  論文  参考訳（メタデータ） (2024-10-10T17:43:51Z)
• Data Analysis in the Era of Generative AI [56.44807642944589]
  本稿では,AIを活用したデータ分析ツールの可能性について考察する。 我々は、大規模言語とマルチモーダルモデルの出現が、データ分析ワークフローの様々な段階を強化する新しい機会を提供する方法について検討する。 次に、直感的なインタラクションを促進し、ユーザ信頼を構築し、AI支援分析ワークフローを複数のアプリにわたって合理化するための、人間中心の設計原則を調べます。
  論文  参考訳（メタデータ） (2024-09-27T06:31:03Z)
• AgentStudio: A Toolkit for Building General Virtual Agents [57.02375267926862]
  一般的な仮想エージェントは、マルチモーダルな観察、複雑なアクション空間のマスター、動的でオープンなドメイン環境における自己改善を扱う必要がある。 AgentStudioは、非常に汎用的な観察とアクション空間を備えた軽量でインタラクティブな環境を提供する。 オンラインベンチマークタスクの作成、GUI要素の注釈付け、ビデオ内のアクションのラベル付けといったツールを統合する。 環境とツールに基づいて、GUIインタラクションと関数呼び出しの両方を効率的な自動評価でベンチマークするオンラインタスクスイートをキュレートします。
  論文  参考訳（メタデータ） (2024-03-26T17:54:15Z)
• Knowledge-based Reasoning and Learning under Partial Observability in Ad Hoc Teamwork [4.454557728745761]
  本稿では,非単調な論理的推論に基づいてアドホックエージェントの動作を決定するアーキテクチャを提案する。 これは、他のエージェントの行動を予測するモデルのオンライン選択、適応、学習をサポートする。 単純なシナリオと複雑なシナリオの両方において、アーキテクチャのパフォーマンスが、最先端のデータ駆動ベースラインと同等か、あるいは同等であることを示す。
  論文  参考訳（メタデータ） (2023-06-01T15:21:27Z)
• Toward a Reasoning and Learning Architecture for Ad Hoc Teamwork [4.454557728745761]
  先行調整のないエージェントチームにおけるコラボレーションを指すアドホックなチームワークのためのアーキテクチャを提案する。 私たちのアーキテクチャは、知識ベースとデータ駆動推論と学習の原則を組み合わせています。 シミュレーションされたマルチエージェントのコラボレーションドメインであるFort Attackを使って、アーキテクチャが予期せぬ変更への適応をサポートすることを実証しています。
  論文  参考訳（メタデータ） (2022-08-24T13:57:33Z)
• Realistic simulation of users for IT systems in cyber ranges [63.20765930558542]
  ユーザアクティビティを生成するために,外部エージェントを用いて各マシンを計測する。 このエージェントは、決定論的および深層学習に基づく手法を組み合わせて、異なる環境に適応する。 また,会話や文書の作成を容易にする条件付きテキスト生成モデルを提案する。
  論文  参考訳（メタデータ） (2021-11-23T10:53:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。