論文の概要: MindForge: Empowering Embodied Agents with Theory of Mind for Lifelong Collaborative Learning
- arxiv url: http://arxiv.org/abs/2411.12977v3
- Date: Wed, 19 Feb 2025 22:59:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-21 17:43:45.338804
- Title: MindForge: Empowering Embodied Agents with Theory of Mind for Lifelong Collaborative Learning
- Title（参考訳）: MindForge: 一生の協調学習のための心の理論による身体的エージェントの強化
- Authors: Mircea Lică, Ojas Shirekar, Baptiste Colle, Chirag Raman,
- Abstract要約: 我々は、明示的な視点による生涯学習のためのジェネレーティブ・エージェントフレームワークであるMindForgeを提示する。
本稿では,(1)知覚,信念,欲求,行動をリンクする心的表現の構造化理論,(2)自然な相互通信,(3)多成分記憶システムを紹介する。
- 参考スコア（独自算出の注目度）: 3.187381965457262
- License:
- Abstract: Contemporary embodied agents powered by large language models (LLMs), such as Voyager, have shown promising capabilities in individual learning within open-ended environments like Minecraft. However, when powered by open LLMs, they struggle with basic tasks even after domain-specific fine-tuning. We present MindForge, a generative-agent framework for collaborative lifelong learning through explicit perspective taking. We introduce three key innovations: (1) a structured theory of mind representation linking percepts, beliefs, desires, and actions; (2) natural interagent communication; and (3) a multicomponent memory system. In Minecraft experiments, MindForge agents powered by open-weight LLMs significantly outperform their Voyager counterparts in basic tasks where traditional Voyager fails without GPT-4, collecting $2.3\times$ more unique items and achieving $3\times$ more tech-tree milestones, advancing from basic wood tools to advanced iron equipment. MindForge agents demonstrate sophisticated behaviors, including expert-novice knowledge transfer, collaborative problem solving, and adaptation to out-of-distribution tasks through accumulated collaborative experiences. MindForge advances the democratization of embodied AI development through open-ended social learning, enabling peer-to-peer knowledge sharing.
- Abstract（参考訳）: Voyagerのような大規模言語モデル(LLM)を利用した現代的なエンボディエージェントは、Minecraftのようなオープンな環境において、個々の学習に有望な能力を示している。
しかし、オープンなLLMで動く場合、ドメイン固有の微調整をした後でも、基本的なタスクに苦労する。
我々は、明示的な視点による生涯学習のためのジェネレーティブ・エージェントフレームワークであるMindForgeを提示する。
本稿では,(1)知覚,信念,欲求,行動をリンクする心的表現の構造化理論,(2)自然な相互通信,(3)多成分記憶システムを紹介する。
Minecraftの実験では、オープンウェイトLLMを搭載したMindForgeのエージェントは、伝統的なボイジャーがGPT-4を使わずに失敗し、2.3\times$のユニークなアイテムを集め、3.3\times$のテックツリーのマイルストーンを達成し、基本的な木製ツールから高度な鉄製機器へと進歩する基本的なタスクにおいて、ボイジャーのエージェントを著しく上回った。
MindForgeエージェントは、専門家・初心者の知識伝達、協調的な問題解決、そして蓄積された協調体験を通じて配布外タスクへの適応を含む洗練された行動を示す。
MindForgeは、オープンエンドのソーシャルラーニングを通じて、インボディードAI開発の民主化を進め、ピアツーピアの知識共有を可能にしている。
関連論文リスト
- ADAM: An Embodied Causal Agent in Open-World Environments [3.2474668680608314]
Minecraftのエンボダイド因果エージェントであるADAMを紹介する。
ADAMは、オープンワールドを自律的にナビゲートし、マルチモーダルなコンテキストを認識し、因果世界知識を学び、生涯学習を通じて複雑なタスクに取り組むことができる。
論文 参考訳（メタデータ） (2024-10-29T16:32:01Z) - Odyssey: Empowering Minecraft Agents with Open-World Skills [26.537984734738764]
Odysseyは、LLM(Large Language Model)ベースのエージェントにオープンワールドスキルを付与し、Minecraftの世界を探索する新しいフレームワークである。
Odysseyは,(1)40のプリミティブスキルと183の作曲スキルからなるオープンワールドスキルライブラリを備えた対話型エージェント,(2)Minecraft Wikiから派生した390k以上のインストラクションインストラクションを持つ大規模質問応答データセット上で訓練された微調整LLaMA-3モデル,(3)新しいエージェント能力ベンチマークの3つの重要な部分から構成される。
論文 参考訳（メタデータ） (2024-07-22T02:06:59Z) - LEGENT: Open Platform for Embodied Agents [60.71847900126832]
LEGENTはLarge Language Models (LLM) とLarge Multimodal Models (LMM) を用いたエンボディエージェントを開発するためのオープンでスケーラブルなプラットフォームである。
LEGENTはリッチでインタラクティブな3D環境を提供し、コミュニケーション可能でアクション可能なエージェントをユーザフレンドリーなインターフェースと組み合わせている。
実験では、EGENT生成データに基づいて訓練された胚性視覚言語モデルが、エンボディタスクにおいてGPT-4Vを超える。
論文 参考訳（メタデータ） (2024-04-28T16:50:12Z) - See and Think: Embodied Agent in Virtual Environment [12.801720916220823]
大規模言語モデル(LLM)は、いくつかのオープンワールドタスクにおいて印象的な進歩を遂げた。
本稿では,Minecraft仮想環境における包括的で視覚的なエンボディエージェントであるSTEVEを提案する。
論文 参考訳（メタデータ） (2023-11-26T06:38:16Z) - Unleashing the Emergent Cognitive Synergy in Large Language Models: A Task-Solving Agent through Multi-Persona Self-Collaboration [116.09561564489799]
Solo Performance Promptingは、複数のペルソナと多ターンの自己コラボレーションをすることで、単一のLCMを認知的シナジストに変換する。
認知シナジスト(英: Cognitive Synergist)は、複雑なタスクにおける問題解決を強化するために、複数の心の強みと知識を協調的に結合するインテリジェントエージェントである。
より詳細な分析により,LLMに複数の微粒なペルソナを割り当てることによって,単一あるいは固定数のペルソナに比べて問題解決能力が向上することが示された。
論文 参考訳（メタデータ） (2023-07-11T14:45:19Z) - Building Cooperative Embodied Agents Modularly with Large Language
Models [104.57849816689559]
本研究では, 分散制御, 生の知覚観察, コストのかかるコミュニケーション, 様々な実施環境下でインスタンス化された多目的タスクといった課題に対処する。
我々は,LLMの常識知識,推論能力,言語理解,テキスト生成能力を活用し,認知に触発されたモジュラーフレームワークにシームレスに組み込む。
C-WAH と TDW-MAT を用いた実験により, GPT-4 で駆動される CoELA が, 強い計画に基づく手法を超越し, 創発的な効果的なコミュニケーションを示すことを示した。
論文 参考訳（メタデータ） (2023-07-05T17:59:27Z) - Ghost in the Minecraft: Generally Capable Agents for Open-World
Environments via Large Language Models with Text-based Knowledge and Memory [97.87093169454431]
Ghost in the Minecraft (GITM) は、LLM(Large Language Models)とテキストベースの知識と記憶を統合する新しいフレームワークである。
我々は、構造化されたアクションのセットを開発し、LSMを活用してエージェントが実行するアクションプランを生成する。
LLMをベースとしたエージェントは、従来の手法を著しく上回り、成功率+47.5%という顕著な改善を達成している。
論文 参考訳（メタデータ） (2023-05-25T17:59:49Z) - Voyager: An Open-Ended Embodied Agent with Large Language Models [103.76509266014165]
VoyagerはMinecraft初の生涯学習エージェントだ。
常に世界を探索し、多様なスキルを身につけ、人間の介入なしに新しい発見を行う。
Voyagerは、Minecraftの新しい世界で学んだスキルライブラリを利用して、新しいタスクをゼロから解決することができる。
論文 参考訳（メタデータ） (2023-05-25T17:46:38Z) - MineDojo: Building Open-Ended Embodied Agents with Internet-Scale
Knowledge [70.47759528596711]
私たちは、人気のMinecraftゲーム上に構築された新しいフレームワークであるMineDojoを紹介します。
本稿では,学習報酬関数として,大規模な事前学習ビデオ言語モデルを活用する新しいエージェント学習アルゴリズムを提案する。
我々のエージェントは、手動で設計した密なシェーピング報酬なしで、自由形式の言語で指定された様々なオープンエンドタスクを解くことができる。
論文 参考訳（メタデータ） (2022-06-17T15:53:05Z) - Help Me Explore: Minimal Social Interventions for Graph-Based Autotelic
Agents [7.644107117422287]
本稿では,双方の視点が,自己複製エージェントの学習に組み合わされ,スキル獲得が促進されることを論じる。
1) HME(Help Me Explore)と呼ばれる新しいソーシャルインタラクションプロトコルでは,個人と社会的に指導された探索の双方から,自律的なエージェントが恩恵を受けることができる。
GANGSTRは、HME内での学習において、最も複雑な構成を習得することで、個々の学習限界を克服する。
論文 参考訳（メタデータ） (2022-02-10T16:34:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。