論文の概要: PC-Agent: A Hierarchical Multi-Agent Collaboration Framework for Complex Task Automation on PC

• arxiv url: http://arxiv.org/abs/2502.14282v2
• Date: Fri, 21 Feb 2025 02:54:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-24 12:50:06.166200
• Title: PC-Agent: A Hierarchical Multi-Agent Collaboration Framework for Complex Task Automation on PC
• Title（参考訳）: PC上の複雑なタスク自動化のための階層的マルチエージェント協調フレームワークPC-Agent
• Authors: Haowei Liu, Xi Zhang, Haiyang Xu, Yuyang Wanyan, Junyang Wang, Ming Yan, Ji Zhang, Chunfeng Yuan, Changsheng Xu, Weiming Hu, Fei Huang,
• Abstract要約: 本稿では,PC-Agentという階層型エージェントフレームワークを提案する。 認識の観点からは,現在のMLLMのスクリーンショットコンテンツに対する認識能力の不十分さを克服するために,アクティブ知覚モジュール(APM)を考案する。 意思決定の観点から、複雑なユーザ命令や相互依存サブタスクをより効果的に扱うために、階層的なマルチエージェント協調アーキテクチャを提案する。
• 参考スコア（独自算出の注目度）: 98.82146219495792
• License:
• Abstract: In the field of MLLM-based GUI agents, compared to smartphones, the PC scenario not only features a more complex interactive environment, but also involves more intricate intra- and inter-app workflows. To address these issues, we propose a hierarchical agent framework named PC-Agent. Specifically, from the perception perspective, we devise an Active Perception Module (APM) to overcome the inadequate abilities of current MLLMs in perceiving screenshot content. From the decision-making perspective, to handle complex user instructions and interdependent subtasks more effectively, we propose a hierarchical multi-agent collaboration architecture that decomposes decision-making processes into Instruction-Subtask-Action levels. Within this architecture, three agents (i.e., Manager, Progress and Decision) are set up for instruction decomposition, progress tracking and step-by-step decision-making respectively. Additionally, a Reflection agent is adopted to enable timely bottom-up error feedback and adjustment. We also introduce a new benchmark PC-Eval with 25 real-world complex instructions. Empirical results on PC-Eval show that our PC-Agent achieves a 32% absolute improvement of task success rate over previous state-of-the-art methods. The code is available at https://github.com/X-PLUG/MobileAgent/tree/main/PC-Agent.
• Abstract（参考訳）: MLLMベースのGUIエージェントの分野では、スマートフォンと比較して、PCシナリオはより複雑な対話環境だけでなく、より複雑なアプリケーション内およびアプリケーション間ワークフローも含む。 これらの問題に対処するために,PC-Agentという階層型エージェントフレームワークを提案する。 具体的には、認識の観点から、現在のMLLMがスクリーンショットコンテンツを知覚する不適切な能力を克服するために、アクティブ・パーセプション・モジュール(APM)を考案する。 意思決定の観点からは、複雑なユーザ命令や相互依存サブタスクをより効果的に扱うために、意思決定プロセスを命令-サブタスク-アクションレベルに分解する階層的なマルチエージェント協調アーキテクチャを提案する。 このアーキテクチャでは、3つのエージェント(マネージャ、プログレス、決定)がそれぞれ命令分解、進捗追跡、ステップバイステップの意思決定のために設定される。 さらに、タイムリーなボトムアップエラーフィードバックと調整を可能にするために、リフレクションエージェントが採用されている。 また,25個の実世界の複素命令を用いたPC-Evalのベンチマークも導入した。 PC-Evalにおける実験結果から,PC-Agentは従来の最先端手法に比べてタスク成功率を32%向上させることがわかった。 コードはhttps://github.com/X-PLUG/MobileAgent/tree/main/PC-Agentで入手できる。

関連論文リスト

• TheAgentCompany: Benchmarking LLM Agents on Consequential Real World Tasks [52.46737975742287]
  私たちは小さなソフトウェア企業環境を模倣したデータによる自己完結型環境を構築します。 最も競争力のあるエージェントでは、タスクの24%が自律的に完了できます。 これは、LMエージェントによるタスク自動化に関するニュアンスな絵を描く。
  論文  参考訳（メタデータ） (2024-12-18T18:55:40Z)
• Agent S: An Open Agentic Framework that Uses Computers Like a Human [31.16046798529319]
  我々は、GUI(Graphical User Interface)を通じてコンピュータとの自律的なインタラクションを可能にするオープンエージェントフレームワークであるAgent Sを提案する。 Agent Sは、ドメイン固有の知識の取得、長いタスクの水平線の計画、動的で一様でないインターフェイスの処理という、コンピュータタスクの自動化における3つの重要な課題に対処することを目指している。
  論文  参考訳（メタデータ） (2024-10-10T17:43:51Z)
• CRAB: Cross-environment Agent Benchmark for Multimodal Language Model Agents [49.68117560675367]
  Crabは、クロス環境タスクをサポートするように設計された最初のベンチマークフレームワークである。 私たちのフレームワークは複数のデバイスをサポートし、Pythonインターフェースで簡単に任意の環境に拡張できます。 実験の結果、GPT-4oの1剤が38.01%の最高完成率を達成することが示された。
  論文  参考訳（メタデータ） (2024-07-01T17:55:04Z)
• CAAP: Context-Aware Action Planning Prompting to Solve Computer Tasks with Front-End UI Only [21.054681757006385]
  本稿では,スクリーンショット画像のみを通して環境を知覚するエージェントを提案する。 大規模言語モデルの推論能力を活用することで,大規模人間の実演データの必要性を解消する。 AgentはMiniWoB++の平均成功率は94.5%、WebShopの平均タスクスコアは62.3である。
  論文  参考訳（メタデータ） (2024-06-11T05:21:20Z)
• Mobile-Agent-v2: Mobile Device Operation Assistant with Effective Navigation via Multi-Agent Collaboration [52.25473993987409]
  モバイルデバイス操作支援のためのマルチエージェントアーキテクチャであるMobile-Agent-v2を提案する。 アーキテクチャは、計画エージェント、決定エージェント、反射エージェントの3つのエージェントから構成される。 単一エージェントアーキテクチャと比較して,Mobile-Agent-v2ではタスク完了率が30%以上向上していることを示す。
  論文  参考訳（メタデータ） (2024-06-03T05:50:00Z)
• AgentLite: A Lightweight Library for Building and Advancing Task-Oriented LLM Agent System [91.41155892086252]
  LLMエージェントの研究を簡略化する新しいAIエージェントライブラリであるAgentLiteをオープンソースとして公開する。 AgentLiteは、タスクを分解するエージェントの機能を強化するために設計されたタスク指向フレームワークである。 我々は,その利便性と柔軟性を示すために,AgentLiteで開発された実用アプリケーションを紹介した。
  論文  参考訳（メタデータ） (2024-02-23T06:25:20Z)
• TaskBench: Benchmarking Large Language Models for Task Automation [82.2932794189585]
  タスク自動化における大規模言語モデル(LLM)の機能を評価するためのフレームワークであるTaskBenchを紹介する。 具体的には、タスクの分解、ツールの選択、パラメータ予測を評価する。 提案手法は, 自動構築と厳密な人的検証を組み合わせることで, 人的評価との整合性を確保する。
  論文  参考訳（メタデータ） (2023-11-30T18:02:44Z)
• Agents meet OKR: An Object and Key Results Driven Agent System with Hierarchical Self-Collaboration and Self-Evaluation [25.308341461293857]
  OKR-Agentは、タスク解決におけるLarge Language Models(LLM)の機能を強化するように設計されている。 我々のフレームワークには、階層オブジェクトとキー結果の生成とマルチレベル評価という、2つの新しいモジュールが含まれています。
  論文  参考訳（メタデータ） (2023-11-28T06:16:30Z)
• AutoAgents: A Framework for Automatic Agent Generation [27.74332323317923]
  AutoAgentsは、さまざまなタスクに応じてAIチームを構築するために、複数の専門エージェントを適応的に生成し、コーディネートする革新的なフレームワークである。 各種ベンチマーク実験により,AutoAgentsは既存のマルチエージェント手法よりも一貫性と正確な解を生成することが示された。
  論文  参考訳（メタデータ） (2023-09-29T14:46:30Z)
• Learning how to Interact with a Complex Interface using Hierarchical Reinforcement Learning [38.51668090813733]
  階層強化学習(HRL)は、対話型エージェントが複雑な問題をサブタスクの階層に分解することを可能にする。 複雑なインタフェースと対話する適切な方法を学ぶための階層的分解の有用性について検討する。
  論文  参考訳（メタデータ） (2022-04-21T19:07:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。