論文の概要: GUI Agents with Foundation Models: A Comprehensive Survey

• arxiv url: http://arxiv.org/abs/2411.04890v1
• Date: Thu, 07 Nov 2024 17:28:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-08 19:37:44.116951
• Title: GUI Agents with Foundation Models: A Comprehensive Survey
• Title（参考訳）: GUIエージェントと基礎モデル: 総合的な調査
• Authors: Shuai Wang, Weiwen Liu, Jingxuan Chen, Weinan Gan, Xingshan Zeng, Shuai Yu, Xinlong Hao, Kun Shao, Yasheng Wang, Ruiming Tang,
• Abstract要約: この調査は(M)LLMベースのGUIエージェントに関する最近の研究を集約する。 データ、フレームワーク、アプリケーションにおける重要なイノベーションを強調します。 本稿では, (M)LLM ベースの GUI エージェントの分野におけるさらなる発展を期待する。
• 参考スコア（独自算出の注目度）: 52.991688542729385
• License:
• Abstract: Recent advances in foundation models, particularly Large Language Models (LLMs) and Multimodal Large Language Models (MLLMs), facilitate intelligent agents being capable of performing complex tasks. By leveraging the ability of (M)LLMs to process and interpret Graphical User Interfaces (GUIs), these agents can autonomously execute user instructions by simulating human-like interactions such as clicking and typing. This survey consolidates recent research on (M)LLM-based GUI agents, highlighting key innovations in data, frameworks, and applications. We begin by discussing representative datasets and benchmarks. Next, we summarize a unified framework that captures the essential components used in prior research, accompanied by a taxonomy. Additionally, we explore commercial applications of (M)LLM-based GUI agents. Drawing from existing work, we identify several key challenges and propose future research directions. We hope this paper will inspire further developments in the field of (M)LLM-based GUI agents.
• Abstract（参考訳）: 基礎モデル、特にLarge Language Models (LLMs) やMultimodal Large Language Models (MLLMs) の進歩により、知的エージェントが複雑なタスクを実行できるようになった。 M)LLMによるグラフィカルユーザインタフェース(GUI)の処理と解釈の能力を活用することで、これらのエージェントは、クリックやタイピングといった人間のようなインタラクションをシミュレートすることで、ユーザ命令を自律的に実行することができる。 この調査は、(M)LLMベースのGUIエージェントに関する最近の研究を統合し、データ、フレームワーク、アプリケーションにおける重要なイノベーションを強調します。 まず、代表的データセットとベンチマークについて議論する。 次に、先行研究で使われる必須成分を捉える統一的な枠組みについて、分類を伴ってまとめる。 さらに、(M)LLMベースのGUIエージェントの商用応用についても検討する。 既存の作業から,いくつかの重要な課題を特定し,今後の研究方向性を提案する。 本稿では, (M)LLM ベースの GUI エージェントの分野におけるさらなる発展を期待する。

関連論文リスト

• A Survey on Large Language Model-based Agents for Statistics and Data Science [7.240586338370509]
  LLM(Large Language Models)を利用したデータサイエンスエージェントは、従来のデータ分析パラダイムを変える大きな可能性を示している。 この調査は、LLMベースのデータエージェントの進化、機能、および応用の概要を提供する。
  論文  参考訳（メタデータ） (2024-12-18T15:03:26Z)
• GUI Agents: A Survey [129.94551809688377]
  グラフィカルユーザインタフェース(GUI)エージェントは、人間とコンピュータのインタラクションを自動化するためのトランスフォーメーションアプローチとして登場した。 GUIエージェントの関心の高まりと基本的な重要性により、ベンチマーク、評価指標、アーキテクチャ、トレーニングメソッドを分類する総合的な調査を提供する。
  論文  参考訳（メタデータ） (2024-12-18T04:48:28Z)
• Large Action Models: From Inception to Implementation [51.81485642442344]
  大規模アクションモデル(LAM)は動的環境内でのアクション生成と実行のために設計されている。 LAMは、AIを受動的言語理解からアクティブなタスク完了に変換する可能性を秘めている。 創発から展開まで,LAMを体系的に開発するための総合的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-13T11:19:56Z)
• Personalized Multimodal Large Language Models: A Survey [127.9521218125761]
  マルチモーダル大言語モデル(MLLM)は、最先端の性能と複数のデータモダリティを統合する能力により、ますます重要になっている。 本稿では,パーソナライズされたマルチモーダルな大規模言語モデルに関する包括的調査を行い,そのアーキテクチャ,トレーニング方法,アプリケーションに焦点をあてる。
  論文  参考訳（メタデータ） (2024-12-03T03:59:03Z)
• Large Language Model-Brained GUI Agents: A Survey [42.82362907348966]
  マルチモーダルモデルはGUI自動化の新しい時代を支えてきた。 彼らは自然言語理解、コード生成、視覚処理において例外的な能力を示した。 これらのエージェントはパラダイムシフトを表しており、ユーザーは単純な会話コマンドで複雑なマルチステップタスクを実行できる。
  論文  参考訳（メタデータ） (2024-11-27T12:13:39Z)
• A Survey on Multimodal Benchmarks: In the Era of Large AI Models [13.299775710527962]
  MLLM(Multimodal Large Language Models)は、人工知能に大きな進歩をもたらした。 この調査は、4つのコアドメイン(理解、推論、生成、アプリケーション)にわたるMLLMを評価する211のベンチマークを体系的にレビューする。
  論文  参考訳（メタデータ） (2024-09-21T15:22:26Z)
• VisualAgentBench: Towards Large Multimodal Models as Visual Foundation Agents [50.12414817737912]
  大規模マルチモーダルモデル(LMM)は、人工知能の新たな時代を迎え、言語と視覚の融合によって、高い能力を持つVisual Foundation Agentを形成する。 既存のベンチマークでは、複雑な実世界の環境でのLMMの可能性を十分に証明できない。 VisualAgentBench (VAB) は、視覚基礎エージェントとしてLMMを訓練し評価するための先駆的なベンチマークである。
  論文  参考訳（メタデータ） (2024-08-12T17:44:17Z)
• The Revolution of Multimodal Large Language Models: A Survey [46.84953515670248]
  MLLM(Multimodal Large Language Models)は、視覚とテキストのモダリティをシームレスに統合することができる。 本稿では,近年の視覚的MLLMのレビュー,アーキテクチャ選択,マルチモーダルアライメント戦略,トレーニング手法について述べる。
  論文  参考訳（メタデータ） (2024-02-19T19:01:01Z)
• Retrieval-Enhanced Machine Learning [110.5237983180089]
  本稿では,いくつかの既存モデルを含む汎用的な検索強化機械学習フレームワークについて述べる。 REMLは情報検索の慣例に挑戦し、最適化を含む中核領域における新たな進歩の機会を提示している。 REMLリサーチアジェンダは、情報アクセス研究の新しいスタイルの基礎を築き、機械学習と人工知能の進歩への道を開く。
  論文  参考訳（メタデータ） (2022-05-02T21:42:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。