論文の概要: Proposer-Agent-Evaluator(PAE): Autonomous Skill Discovery For Foundation Model Internet Agents

• arxiv url: http://arxiv.org/abs/2412.13194v1
• Date: Tue, 17 Dec 2024 18:59:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-18 14:02:06.939681
• Title: Proposer-Agent-Evaluator(PAE): Autonomous Skill Discovery For Foundation Model Internet Agents
• Title（参考訳）: Proposer-Agent-Evaluator (PAE): Foundation Model Internet Agentsのための自律的スキル発見
• Authors: Yifei Zhou, Qianlan Yang, Kaixiang Lin, Min Bai, Xiong Zhou, Yu-Xiong Wang, Sergey Levine, Erran Li,
• Abstract要約: Proposer-Agent-Evaluatorは、基礎モデルエージェントが野生のスキルを自律的に発見し、実践することを可能にする学習システムである。 PAEの中心となるタスクプロポーサは、エージェントがコンテキスト情報で実践するためのタスクを自律的に提案するコンテキスト対応タスクプロポーサである。 成功評価は、エージェントがRLを介してポリシーを洗練するための報酬信号として機能する。
• 参考スコア（独自算出の注目度）: 64.75036903373712
• License:
• Abstract: The vision of a broadly capable and goal-directed agent, such as an Internet-browsing agent in the digital world and a household humanoid in the physical world, has rapidly advanced, thanks to the generalization capability of foundation models. Such a generalist agent needs to have a large and diverse skill repertoire, such as finding directions between two travel locations and buying specific items from the Internet. If each skill needs to be specified manually through a fixed set of human-annotated instructions, the agent's skill repertoire will necessarily be limited due to the quantity and diversity of human-annotated instructions. In this work, we address this challenge by proposing Proposer-Agent-Evaluator, an effective learning system that enables foundation model agents to autonomously discover and practice skills in the wild. At the heart of PAE is a context-aware task proposer that autonomously proposes tasks for the agent to practice with context information of the environment such as user demos or even just the name of the website itself for Internet-browsing agents. Then, the agent policy attempts those tasks with thoughts and actual grounded operations in the real world with resulting trajectories evaluated by an autonomous VLM-based success evaluator. The success evaluation serves as the reward signal for the agent to refine its policies through RL. We validate PAE on challenging vision-based web navigation, using both real-world and self-hosted websites from WebVoyager and WebArena.To the best of our knowledge, this work represents the first effective learning system to apply autonomous task proposal with RL for agents that generalizes real-world human-annotated benchmarks with SOTA performances. Our open-source checkpoints and code can be found in https://yanqval.github.io/PAE/
• Abstract（参考訳）: デジタル世界におけるインターネットブラウジングエージェントや物理世界における家庭用ヒューマノイドなど,幅広い能力を持つ目標指向エージェントのビジョンは,基礎モデルの一般化能力により急速に進歩している。 このようなジェネラリストエージェントは、2つの旅行場所間の方向を見つけ、インターネットから特定のアイテムを購入するなど、多種多様なスキルレパートリーを持つ必要がある。 人手による指示によって各スキルを手動で指定する必要がある場合、人手による指示の量と多様性のために、エージェントのスキルレパートリーは必然的に制限される。 本研究では,基礎モデルエージェントが自然界のスキルを自律的に発見し,実践することを可能にする効果的な学習システムであるProposer-Agent-Evaluatorを提案することで,この問題に対処する。 PAEの中心となるタスクプロジェクタは、エージェントがユーザデモのような環境のコンテキスト情報や、インターネットブラウジングエージェントのためのウェブサイト自体の名前だけを実践するためのタスクを自律的に提案するコンテキスト対応タスクプロジェクタである。 そして, エージェント政策は, 自律型VLMによる成功評価器による軌道評価を行い, 実世界の思考と実地操作を用いてこれらのタスクを試みている。 成功評価は、エージェントがRLを介してポリシーを洗練するための報酬信号として機能する。 我々は,WebVoyagerとWebArenaの実際のWebサイトと自己ホスト型のWebサイトを用いて,視覚に基づくWebナビゲーションに挑戦する上で,PAEを検証した。この研究は,私たちの知る限り,実世界の人間によるSOTAパフォーマンスのベンチマークを一般化するエージェントに対して,RLを用いた自律的なタスク提案を適用するための,初めての効果的な学習システムである。 私たちのオープンソースのチェックポイントとコードはhttps://yanqval.github.io/PAE/にある。

関連論文リスト

• OpenWebVoyager: Building Multimodal Web Agents via Iterative Real-World Exploration, Feedback and Optimization [66.22117723598872]
  マルチモーダルWebエージェントの開発を容易にするために設計されたオープンソースフレームワークを紹介する。 まず、基本モデルを模倣学習で訓練し、基礎能力を得る。 次に、エージェントにオープンウェブを探索させ、その軌道に関するフィードバックを収集する。
  論文  参考訳（メタデータ） (2024-10-25T15:01:27Z)
• AgentOccam: A Simple Yet Strong Baseline for LLM-Based Web Agents [52.13695464678006]
  本研究は, 観察空間と行動空間を簡略化することで, LLMベースのWebエージェントを強化する。 AgentOccam は以前の最先端および同時処理を 9.8 (+29.4%) と 5.9 (+15.8%) で上回っている。
  論文  参考訳（メタデータ） (2024-10-17T17:50:38Z)
• WorkArena++: Towards Compositional Planning and Reasoning-based Common Knowledge Work Tasks [85.95607119635102]
  大型言語モデル(LLM)は人間のような知性を模倣することができる。 WorkArena++は、Webエージェントの計画、問題解決、論理的/論理的推論、検索、コンテキスト的理解能力を評価するように設計されている。
  論文  参考訳（メタデータ） (2024-07-07T07:15:49Z)
• WorkArena: How Capable Are Web Agents at Solving Common Knowledge Work Tasks? [83.19032025950986]
  本稿では,Webブラウザを介してソフトウェアと対話する大規模言語モデルベースエージェントについて検討する。 WorkArenaは、広く使用されているServiceNowプラットフォームに基づく33のタスクのベンチマークである。 BrowserGymは、そのようなエージェントの設計と評価のための環境である。
  論文  参考訳（メタデータ） (2024-03-12T14:58:45Z)
• The Rise and Potential of Large Language Model Based Agents: A Survey [91.71061158000953]
  大規模言語モデル(LLM)は、人工知能(AGI)の潜在的な火花と見なされる まず、エージェントの概念を哲学的起源からAI開発まで追跡し、LLMがエージェントに適した基盤である理由を説明します。 単一エージェントシナリオ,マルチエージェントシナリオ,ヒューマンエージェント協調の3つの側面において,LLMベースのエージェントの広範な応用について検討する。
  論文  参考訳（メタデータ） (2023-09-14T17:12:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。