論文の概要: AutoGLM: Autonomous Foundation Agents for GUIs

• arxiv url: http://arxiv.org/abs/2411.00820v1
• Date: Mon, 28 Oct 2024 17:05:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-10 11:30:41.683747
• Title: AutoGLM: Autonomous Foundation Agents for GUIs
• Title（参考訳）: AutoGLM: GUIのための自律的ファンデーションエージェント
• Authors: Xiao Liu, Bo Qin, Dongzhu Liang, Guang Dong, Hanyu Lai, Hanchen Zhang, Hanlin Zhao, Iat Long Iong, Jiadai Sun, Jiaqi Wang, Junjie Gao, Junjun Shan, Kangning Liu, Shudan Zhang, Shuntian Yao, Siyi Cheng, Wentao Yao, Wenyi Zhao, Xinghan Liu, Xinyi Liu, Xinying Chen, Xinyue Yang, Yang Yang, Yifan Xu, Yu Yang, Yujia Wang, Yulin Xu, Zehan Qi, Yuxiao Dong, Jie Tang,
• Abstract要約: 我々は、グラフィカルユーザインタフェース(GUI)を介してデジタルデバイスを自律的に制御するための基礎エージェントとして設計された、ChatGLMファミリーの新しいシリーズであるAutoGLMを紹介する。 実世界のGUIインタラクションのための実践的基礎エージェントシステムとしてAutoGLMを開発した。 評価では、AutoGLMが複数のドメインにまたがって有効であることを示す。
• 参考スコア（独自算出の注目度）: 51.276965515952
• License:
• Abstract: We present AutoGLM, a new series in the ChatGLM family, designed to serve as foundation agents for autonomous control of digital devices through Graphical User Interfaces (GUIs). While foundation models excel at acquiring human knowledge, they often struggle with decision-making in dynamic real-world environments, limiting their progress toward artificial general intelligence. This limitation underscores the importance of developing foundation agents capable of learning through autonomous environmental interactions by reinforcing existing models. Focusing on Web Browser and Phone as representative GUI scenarios, we have developed AutoGLM as a practical foundation agent system for real-world GUI interactions. Our approach integrates a comprehensive suite of techniques and infrastructures to create deployable agent systems suitable for user delivery. Through this development, we have derived two key insights: First, the design of an appropriate "intermediate interface" for GUI control is crucial, enabling the separation of planning and grounding behaviors, which require distinct optimization for flexibility and accuracy respectively. Second, we have developed a novel progressive training framework that enables self-evolving online curriculum reinforcement learning for AutoGLM. Our evaluations demonstrate AutoGLM's effectiveness across multiple domains. For web browsing, AutoGLM achieves a 55.2% success rate on VAB-WebArena-Lite (improving to 59.1% with a second attempt) and 96.2% on OpenTable evaluation tasks. In Android device control, AutoGLM attains a 36.2% success rate on AndroidLab (VAB-Mobile) and 89.7% on common tasks in popular Chinese APPs.
• Abstract（参考訳）: 本稿では、グラフィカルユーザインタフェース(GUI)を介してデジタルデバイスを自律的に制御するための基礎エージェントとして設計された、ChatGLMファミリーの新しいシリーズであるAutoGLMを紹介する。 基礎モデルは人間の知識を得るのに優れているが、動的現実世界環境における意思決定に苦しむことが多く、人工知能への進歩を制限している。 この制限は、既存のモデルを補強することにより、自律的な環境相互作用を通じて学習できる基礎エージェントの開発の重要性を浮き彫りにしている。 我々は,Webブラウザと電話を代表的GUIシナリオとして重視し,実世界のGUIインタラクションのための実用的な基盤エージェントシステムとしてAutoGLMを開発した。 当社のアプローチでは,ユーザデリバリに適したデプロイ可能なエージェントシステムを構築するために,包括的な技術とインフラストラクチャのスイートを統合しています。 この開発を通じて、我々は2つの重要な洞察を導き出した。 まず、GUI制御に適した「中間インターフェース」の設計が重要である。 第2に、AutoGLMのための自己進化型オンラインカリキュラム強化学習を可能にする、新しいプログレッシブトレーニングフレームワークを開発した。 評価では、AutoGLMが複数のドメインにまたがって有効であることを示す。 Webブラウジングでは、AutoGLMはVAB-WebArena-Liteで55.2%、OpenTableで96.2%の成功率を達成した。 Androidデバイスコントロールでは、AutoGLMはAndroidLab(VAB-Mobile)で36.2%の成功率、中国の人気のあるAPPで一般的なタスクで89.7%を達成した。

関連論文リスト

• OS-ATLAS: A Foundation Action Model for Generalist GUI Agents [55.37173845836839]
  OS-AtlasはGUIグラウンディングとOODエージェントタスクに優れた基礎的なGUIアクションモデルである。 現在までに1300万以上のGUI要素を含む、オープンソースのクロスプラットフォームGUI基盤コーパスをリリースしています。
  論文  参考訳（メタデータ） (2024-10-30T17:10:19Z)
• ClickAgent: Enhancing UI Location Capabilities of Autonomous Agents [0.0]
  ClickAgentは、自律エージェントを構築するための新しいフレームワークである。 ClickAgentでは、MLLMが推論とアクションプランニングを処理し、別のUIロケーションモデルが画面上の関連するUI要素を識別する。 本評価は,Androidスマートフォンエミュレータと実際のAndroidスマートフォンの両方で実施し,タスク成功率をエージェント性能測定の指標として用いた。
  論文  参考訳（メタデータ） (2024-10-09T14:49:02Z)
• CoCo-Agent: A Comprehensive Cognitive MLLM Agent for Smartphone GUI Automation [61.68049335444254]
  MLLM(Multimodal large language model)は、人間のような自律型言語エージェントが現実世界の環境と相互作用する可能性を示している。 包括的環境認識(CEP)と条件付き行動予測(CAP)の2つの新しいアプローチを備えた包括的認知型LLMエージェントCoCo-Agentを提案する。 AITW と META-GUI ベンチマークにおいて,我々のエージェントは実シナリオで有望な性能を示す新しい最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-02-19T08:29:03Z)
• AutoAct: Automatic Agent Learning from Scratch for QA via Self-Planning [54.47116888545878]
  AutoActはQAのための自動エージェント学習フレームワークである。 大規模アノテートデータやクローズドソースモデルからの合成計画軌道は依存していない。
  論文  参考訳（メタデータ） (2024-01-10T16:57:24Z)
• DriveLM: Driving with Graph Visual Question Answering [57.51930417790141]
  本研究では,Webスケールデータに基づいて学習した視覚言語モデル(VLM)を,エンド・ツー・エンドの運転システムに統合する方法について検討する。 グラフVQAとエンドツーエンド駆動を併用するVLMベースラインアプローチ(DriveLM-Agent)を提案する。
  論文  参考訳（メタデータ） (2023-12-21T18:59:12Z)
• ASSISTGUI: Task-Oriented Desktop Graphical User Interface Automation [30.693616802332745]
  本稿では,ユーザが要求するタスクに応じて,Windowsプラットフォーム上でマウスとキーボードを操作することができるかどうかを評価するための新しいベンチマーク,AssistGUIを提案する。 本稿では,AIエージェントによって駆動される高度なGUIを組み込んだ高度なアクタ・クリティカル・フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-20T15:28:38Z)
• You Only Look at Screens: Multimodal Chain-of-Action Agents [37.118034745972956]
  Auto-GUIは、インターフェースと直接対話するマルチモーダルソリューションである。 そこで本研究では,エージェントが実行すべきアクションを決定するためのチェーン・オブ・アクション手法を提案する。 我々は,30$Kのユニークな命令を持つ新しいデバイス制御ベンチマークAITWに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2023-09-20T16:12:32Z)
• Mobile-Env: Building Qualified Evaluation Benchmarks for LLM-GUI Interaction [28.53259866617677]
  Android モバイル環境で GUI ベンチマークを作成するための総合ツールキットである Mobile-Env を紹介した。 我々は、さまざまな現実世界のアプリにまたがるオープンワールドのタスクと、固定されたワールドセットWikiHowを収集し、大量の動的オンラインコンテンツをキャプチャする。 我々の研究結果によると、高度なモデルでさえ、人間にとって比較的簡単なタスクに苦しむことがわかった。
  論文  参考訳（メタデータ） (2023-05-14T12:31:03Z)
• AutoGL: A Library for Automated Graph Learning [67.63587865669372]
  グラフ上での機械学習を自動化するための,最初の専用ライブラリであるAutomated Graph Learning(AutoGL)を紹介する。 AutoGLはオープンソースで、使いやすく、拡張も柔軟です。 また、パイプラインのカスタマイズとアプリケーションの強化を容易にする、AutoGLの軽量バージョンであるAutoGL-lightも紹介します。
  論文  参考訳（メタデータ） (2021-04-11T10:49:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。