論文の概要: Luban: Building Open-Ended Creative Agents via Autonomous Embodied Verification

• arxiv url: http://arxiv.org/abs/2405.15414v1
• Date: Fri, 24 May 2024 10:25:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-27 14:52:03.922357
• Title: Luban: Building Open-Ended Creative Agents via Autonomous Embodied Verification
• Title（参考訳）: Luban: 自律的身体認証によるオープンエンディングクリエイティブエージェントの構築
• Authors: Yuxuan Guo, Shaohui Peng, Jiaming Guo, Di Huang, Xishan Zhang, Rui Zhang, Yifan Hao, Ling Li, Zikang Tian, Mingju Gao, Yutai Li, Yiming Gan, Shuai Liang, Zihao Zhang, Zidong Du, Qi Guo, Xing Hu, Yunji Chen,
• Abstract要約: オープンエージェントの構築は常にAI研究の最終的な目標であり、クリエイティブエージェントはより魅力的です。 エージェントがギャップを埋める自律的な実施検証手法を導入し、創造的なタスクの基盤を築き上げます。 具体的には,2段階の自律的実施検証を取り入れた,Minecraftにおける創造的建築タスクを目標とするLubanエージェントを提案する。
• 参考スコア（独自算出の注目度）: 34.97881486372797
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Building open agents has always been the ultimate goal in AI research, and creative agents are the more enticing. Existing LLM agents excel at long-horizon tasks with well-defined goals (e.g., `mine diamonds' in Minecraft). However, they encounter difficulties on creative tasks with open goals and abstract criteria due to the inability to bridge the gap between them, thus lacking feedback for self-improvement in solving the task. In this work, we introduce autonomous embodied verification techniques for agents to fill the gap, laying the groundwork for creative tasks. Specifically, we propose the Luban agent target creative building tasks in Minecraft, which equips with two-level autonomous embodied verification inspired by human design practices: (1) visual verification of 3D structural speculates, which comes from agent synthesized CAD modeling programs; (2) pragmatic verification of the creation by generating and verifying environment-relevant functionality programs based on the abstract criteria. Extensive multi-dimensional human studies and Elo ratings show that the Luban completes diverse creative building tasks in our proposed benchmark and outperforms other baselines ($33\%$ to $100\%$) in both visualization and pragmatism. Additional demos on the real-world robotic arm show the creation potential of the Luban in the physical world.
• Abstract（参考訳）: オープンエージェントの構築は常にAI研究の最終的な目標であり、クリエイティブエージェントはより魅力的です。 既存のLLMエージェントは、明確に定義された目標(Minecraftの「マイニングダイアモンド」など)で、長い水平タスクで優れています。 しかし、両者のギャップを埋めることができないため、オープンな目標と抽象的な基準を持つ創造的なタスクでは困難に直面するため、タスクの解決における自己改善に対するフィードバックが欠如している。 本研究では,エージェントがギャップを埋める自律的実施検証手法を導入し,創造的タスクの基盤となる。 具体的には,(1)エージェント合成CADモデリングプログラムから得られた3次元構造的推測の視覚的検証,(2)抽象的基準に基づいて環境関連機能プログラムを生成し,検証することにより,創造の実用的検証を行う。 大規模な多次元人間の研究とエロの評価は、ルバンが提案したベンチマークで多様な創造的な建築タスクを完了し、可視化とプラグマティズムの両方において他のベースライン(33\%$から100\%$)を上回っていることを示している。 現実世界のロボットアームのさらなるデモは、物理的な世界でのルバンの創造の可能性を示している。

関連論文リスト

• APT: Architectural Planning and Text-to-Blueprint Construction Using Large Language Models for Open-World Agents [8.479128275067742]
  本稿では,自律型エージェントによるMinecraftの複雑な構造構築を可能にする,LLM(Large Language Model)駆動のフレームワークを提案する。 連鎖分解とマルチモーダル入力を用いることで、このフレームワークは詳細なアーキテクチャレイアウトと青写真を生成する。 本エージェントは, メモリとリフレクションモジュールの両方を組み込んで, 生涯学習, 適応的洗練, エラー訂正を容易にする。
  論文  参考訳（メタデータ） (2024-11-26T09:31:28Z)
• OpenWebVoyager: Building Multimodal Web Agents via Iterative Real-World Exploration, Feedback and Optimization [66.22117723598872]
  マルチモーダルWebエージェントの開発を容易にするために設計されたオープンソースフレームワークを紹介する。 まず、基本モデルを模倣学習で訓練し、基礎能力を得る。 次に、エージェントにオープンウェブを探索させ、その軌道に関するフィードバックを収集する。
  論文  参考訳（メタデータ） (2024-10-25T15:01:27Z)
• Odyssey: Empowering Minecraft Agents with Open-World Skills [26.537984734738764]
  Odysseyは、LLM(Large Language Model)ベースのエージェントにオープンワールドスキルを付与し、Minecraftの世界を探索する新しいフレームワークである。 Odysseyは,(1)40のプリミティブスキルと183の作曲スキルからなるオープンワールドスキルライブラリを備えた対話型エージェント,(2)Minecraft Wikiから派生した390k以上のインストラクションインストラクションを持つ大規模質問応答データセット上で訓練された微調整LLaMA-3モデル,(3)新しいエージェント能力ベンチマークの3つの重要な部分から構成される。
  論文  参考訳（メタデータ） (2024-07-22T02:06:59Z)
• WorkArena++: Towards Compositional Planning and Reasoning-based Common Knowledge Work Tasks [85.95607119635102]
  大型言語モデル(LLM)は人間のような知性を模倣することができる。 WorkArena++は、Webエージェントの計画、問題解決、論理的/論理的推論、検索、コンテキスト的理解能力を評価するように設計されている。
  論文  参考訳（メタデータ） (2024-07-07T07:15:49Z)
• Creative Agents: Empowering Agents with Imagination for Creative Tasks [31.920963353890393]
  本稿では,言語命令に基づくタスク結果の詳細な想像力を生成するイマジネータを用いて,制御器を拡張したクリエイティブエージェントのためのソリューションのクラスを提案する。 私たちは創造的なタスクを、オープンワールドの挑戦的なゲームMinecraftでベンチマークします。 我々は、創造的エージェントの詳細な実験分析を行い、創造的エージェントがMinecraftの生存モードにおける多様な建築創造を達成する最初のAIエージェントであることを示した。
  論文  参考訳（メタデータ） (2023-12-05T06:00:52Z)
• Brain in a Vat: On Missing Pieces Towards Artificial General Intelligence in Large Language Models [83.63242931107638]
  本稿では,知的エージェントの4つの特徴について述べる。 実世界の物体との活発な関わりは、概念的表現を形成するためのより堅牢な信号をもたらすと我々は主張する。 我々は、人工知能分野における将来的な研究の方向性を概説して結論付ける。
  論文  参考訳（メタデータ） (2023-07-07T13:58:16Z)
• Augmenting Autotelic Agents with Large Language Models [24.16977502082188]
  言語モデル拡張オートテリックエージェント(LMA3)を導入する。 LMA3は多様で抽象的で人間に関連する目標の表現、生成、学習をサポートする。 LMA3エージェントはタスクに依存しないテキストベースの環境において,多種多様なスキルを習得する。
  論文  参考訳（メタデータ） (2023-05-21T15:42:41Z)
• OpenAGI: When LLM Meets Domain Experts [51.86179657467822]
  ヒューマン・インテリジェンス(HI)は、複雑なタスクを解くための基本的なスキルの組み合わせに長けている。 この機能は人工知能(AI)にとって不可欠であり、包括的なAIエージェントに組み込まれるべきである。 マルチステップで現実的なタスクを解決するために設計されたオープンソースのプラットフォームであるOpenAGIを紹介します。
  論文  参考訳（メタデータ） (2023-04-10T03:55:35Z)
• Reinforcement Learning for Sparse-Reward Object-Interaction Tasks in a First-person Simulated 3D Environment [73.9469267445146]
  高忠実な3Dシミュレーション環境において、AI2Thorのような一対一のオブジェクトインタラクションタスクは、強化学習エージェントに顕著なサンプル効率の課題をもたらす。 補助的なタスクとして注意的オブジェクトモデルを学ぶことで、監督なしに、ゼロからオブジェクトインタラクションタスクを学習できることが示される。
  論文  参考訳（メタデータ） (2020-10-28T19:27:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。