論文の概要: GUI Agents with Foundation Models: A Comprehensive Survey

• arxiv url: http://arxiv.org/abs/2411.04890v2
• Date: Thu, 13 Feb 2025 10:09:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-14 13:45:04.820601
• Title: GUI Agents with Foundation Models: A Comprehensive Survey
• Title（参考訳）: GUIエージェントと基礎モデル: 総合的な調査
• Authors: Shuai Wang, Weiwen Liu, Jingxuan Chen, Yuqi Zhou, Weinan Gan, Xingshan Zeng, Yuhan Che, Shuai Yu, Xinlong Hao, Kun Shao, Bin Wang, Chuhan Wu, Yasheng Wang, Ruiming Tang, Jianye Hao,
• Abstract要約: この調査は(M)LLMベースのGUIエージェントに関する最近の研究を集約する。 重要な課題を特定し,今後の研究方向性を提案する。 この調査が(M)LLMベースのGUIエージェントの分野におけるさらなる進歩を促すことを願っている。
• 参考スコア（独自算出の注目度）: 91.97447457550703
• License:
• Abstract: Recent advances in foundation models, particularly Large Language Models (LLMs) and Multimodal Large Language Models (MLLMs), have facilitated the development of intelligent agents capable of performing complex tasks. By leveraging the ability of (M)LLMs to process and interpret Graphical User Interfaces (GUIs), these agents can autonomously execute user instructions, simulating human-like interactions such as clicking and typing. This survey consolidates recent research on (M)LLM-based GUI agents, highlighting key innovations in data resources, frameworks, and applications. We begin by reviewing representative datasets and benchmarks, followed by an overview of a generalized, unified framework that encapsulates the essential components of prior studies, supported by a detailed taxonomy. Additionally, we explore relevant commercial applications. Drawing insights from existing work, we identify key challenges and propose future research directions. We hope this survey will inspire further advancements in the field of (M)LLM-based GUI agents.
• Abstract（参考訳）: 基礎モデル,特にLarge Language Models (LLMs) とMultimodal Large Language Models (MLLMs) の最近の進歩は,複雑なタスクを実行できるインテリジェントエージェントの開発を促進する。 M)LLMによるグラフィカルユーザインタフェース(GUI)の処理と解釈の能力を活用することで、これらのエージェントは、クリックやタイピングといった人間のようなインタラクションをシミュレートして、ユーザ命令を自律的に実行することができる。 この調査は、(M)LLMベースのGUIエージェントに関する最近の研究を統合し、データリソース、フレームワーク、アプリケーションにおける重要なイノベーションを強調します。 まず、代表的データセットとベンチマークをレビューし、続いて、詳細な分類学によってサポートされている先行研究の本質的なコンポーネントをカプセル化した、一般化された統一されたフレームワークの概要を概観する。 さらに、関連する商用アプリケーションについても検討する。 既存の作業から洞察を得た上で,重要な課題を特定し,今後の研究方向性を提案する。 この調査が(M)LLMベースのGUIエージェントの分野におけるさらなる進歩を促すことを願っている。

関連論文リスト

• A Survey on Large Language Model-based Agents for Statistics and Data Science [7.240586338370509]
  LLM(Large Language Models)を利用したデータサイエンスエージェントは、従来のデータ分析パラダイムを変える大きな可能性を示している。 この調査は、LLMベースのデータエージェントの進化、機能、および応用の概要を提供する。
  論文  参考訳（メタデータ） (2024-12-18T15:03:26Z)
• GUI Agents: A Survey [129.94551809688377]
  グラフィカルユーザインタフェース(GUI)エージェントは、人間とコンピュータのインタラクションを自動化するためのトランスフォーメーションアプローチとして登場した。 GUIエージェントの関心の高まりと基本的な重要性により、ベンチマーク、評価指標、アーキテクチャ、トレーニングメソッドを分類する総合的な調査を提供する。
  論文  参考訳（メタデータ） (2024-12-18T04:48:28Z)
• Large Action Models: From Inception to Implementation [51.81485642442344]
  大規模アクションモデル(LAM)は動的環境内でのアクション生成と実行のために設計されている。 LAMは、AIを受動的言語理解からアクティブなタスク完了に変換する可能性を秘めている。 創発から展開まで,LAMを体系的に開発するための総合的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-13T11:19:56Z)
• Personalized Multimodal Large Language Models: A Survey [127.9521218125761]
  マルチモーダル大言語モデル(MLLM)は、最先端の性能と複数のデータモダリティを統合する能力により、ますます重要になっている。 本稿では,パーソナライズされたマルチモーダルな大規模言語モデルに関する包括的調査を行い,そのアーキテクチャ,トレーニング方法,アプリケーションに焦点をあてる。
  論文  参考訳（メタデータ） (2024-12-03T03:59:03Z)
• Large Language Model-Brained GUI Agents: A Survey [42.82362907348966]
  マルチモーダルモデルはGUI自動化の新しい時代を支えてきた。 彼らは自然言語理解、コード生成、視覚処理において例外的な能力を示した。 これらのエージェントはパラダイムシフトを表しており、ユーザーは単純な会話コマンドで複雑なマルチステップタスクを実行できる。
  論文  参考訳（メタデータ） (2024-11-27T12:13:39Z)
• A Survey on Multimodal Benchmarks: In the Era of Large AI Models [13.299775710527962]
  MLLM(Multimodal Large Language Models)は、人工知能に大きな進歩をもたらした。 この調査は、4つのコアドメイン(理解、推論、生成、アプリケーション)にわたるMLLMを評価する211のベンチマークを体系的にレビューする。
  論文  参考訳（メタデータ） (2024-09-21T15:22:26Z)
• VisualAgentBench: Towards Large Multimodal Models as Visual Foundation Agents [50.12414817737912]
  大規模マルチモーダルモデル(LMM)は、人工知能の新たな時代を迎え、言語と視覚の融合によって、高い能力を持つVisual Foundation Agentを形成する。 既存のベンチマークでは、複雑な実世界の環境でのLMMの可能性を十分に証明できない。 VisualAgentBench (VAB) は、視覚基礎エージェントとしてLMMを訓練し評価するための先駆的なベンチマークである。
  論文  参考訳（メタデータ） (2024-08-12T17:44:17Z)
• The Revolution of Multimodal Large Language Models: A Survey [46.84953515670248]
  MLLM(Multimodal Large Language Models)は、視覚とテキストのモダリティをシームレスに統合することができる。 本稿では,近年の視覚的MLLMのレビュー,アーキテクチャ選択,マルチモーダルアライメント戦略,トレーニング手法について述べる。
  論文  参考訳（メタデータ） (2024-02-19T19:01:01Z)
• Retrieval-Enhanced Machine Learning [110.5237983180089]
  本稿では,いくつかの既存モデルを含む汎用的な検索強化機械学習フレームワークについて述べる。 REMLは情報検索の慣例に挑戦し、最適化を含む中核領域における新たな進歩の機会を提示している。 REMLリサーチアジェンダは、情報アクセス研究の新しいスタイルの基礎を築き、機械学習と人工知能の進歩への道を開く。
  論文  参考訳（メタデータ） (2022-05-02T21:42:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。