論文の概要: Creative Agents: Empowering Agents with Imagination for Creative Tasks
- arxiv url: http://arxiv.org/abs/2312.02519v1
- Date: Tue, 5 Dec 2023 06:00:52 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-06 16:39:33.161433
- Title: Creative Agents: Empowering Agents with Imagination for Creative Tasks
- Title（参考訳）: 創造的エージェント:創造的タスクのためのイマジネーションによるエージェントの強化
- Authors: Chi Zhang, Penglin Cai, Yuhui Fu, Haoqi Yuan, Zongqing Lu
- Abstract要約: 本稿では,言語命令に基づくタスク結果の詳細な想像力を生成するイマジネータを用いて,制御器を拡張したクリエイティブエージェントのためのソリューションのクラスを提案する。
私たちは創造的なタスクを、オープンワールドの挑戦的なゲームMinecraftでベンチマークします。
我々は、創造的エージェントの詳細な実験分析を行い、創造的エージェントがMinecraftの生存モードにおける多様な建築創造を達成する最初のAIエージェントであることを示した。
- 参考スコア（独自算出の注目度）: 31.920963353890393
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study building embodied agents for open-ended creative tasks. While
existing methods build instruction-following agents that can perform diverse
open-ended tasks, none of them demonstrates creativity -- the ability to give
novel and diverse task solutions implicit in the language instructions. This
limitation comes from their inability to convert abstract language instructions
into concrete task goals in the environment and perform long-horizon planning
for such complicated goals. Given the observation that humans perform creative
tasks with the help of imagination, we propose a class of solutions for
creative agents, where the controller is enhanced with an imaginator that
generates detailed imaginations of task outcomes conditioned on language
instructions. We introduce several approaches to implementing the components of
creative agents. We implement the imaginator with either a large language model
for textual imagination or a diffusion model for visual imagination. The
controller can either be a behavior-cloning policy learned from data or a
pre-trained foundation model generating executable codes in the environment. We
benchmark creative tasks with the challenging open-world game Minecraft, where
the agents are asked to create diverse buildings given free-form language
instructions. In addition, we propose novel evaluation metrics for open-ended
creative tasks utilizing GPT-4V, which holds many advantages over existing
metrics. We perform a detailed experimental analysis of creative agents,
showing that creative agents are the first AI agents accomplishing diverse
building creation in the survival mode of Minecraft. Our benchmark and models
are open-source for future research on creative agents
(https://github.com/PKU-RL/Creative-Agents).
- Abstract（参考訳）: オープンエンドな創造的タスクのための具体化エージェントの構築について検討する。
既存のメソッドでは、多様なオープンなタスクを実行できるインストラクションフォローエージェントが構築されているが、クリエイティビティ(創造性)は示されていない。
この制限は、抽象言語命令を環境内の具体的なタスク目標に変換し、そのような複雑な目標に対する長期計画を実行することができないことに由来する。
人間が創造的なタスクを想像力の助けを借りて実行するという観察を踏まえ、我々は創造的なエージェントのためのソリューションのクラスを提案し、そこでは、言語命令で条件付けられたタスク成果の詳細な想像力を生成する想像力によって、コントローラを拡張させる。
創造的エージェントの構成要素を実装するためのいくつかのアプローチを紹介する。
テキスト・イマジネーションのための大きな言語モデルと視覚的イマジネーションのための拡散モデルを実装した。
コントローラは、データから学んだ行動閉鎖ポリシーか、環境内で実行可能なコードを生成する事前訓練された基礎モデルのいずれかである。
私たちは、オープンワールドゲームminecraftで創造的なタスクをベンチマークし、エージェントにフリーフォームの言語指示を与えて、多様な建物を作るように依頼します。
また,GPT-4Vを用いたオープンエンドクリエイティブタスクの新たな評価指標を提案する。
我々は、創造的エージェントの詳細な実験分析を行い、創造的エージェントがMinecraftの生存モードにおける多様な建築創造を達成する最初のAIエージェントであることを示した。
私たちのベンチマークとモデルは、クリエイティブエージェント(https://github.com/PKU-RL/Creative-Agents)に関する将来の研究のためにオープンソースです。
関連論文リスト
- Creative Agents: Simulating the Systems Model of Creativity with Generative Agents [0.0]
仮想エージェントを用いた創造性のシステムモデルの実装とシミュレーションを行った。
その結果, 生成エージェントは, 創造性のシステムモデルにおいて, より優れた性能を発揮する可能性が示唆された。
論文 参考訳（メタデータ） (2024-11-26T03:06:04Z) - OpenWebVoyager: Building Multimodal Web Agents via Iterative Real-World Exploration, Feedback and Optimization [66.22117723598872]
マルチモーダルWebエージェントの開発を容易にするために設計されたオープンソースフレームワークを紹介する。
まず、基本モデルを模倣学習で訓練し、基礎能力を得る。
次に、エージェントにオープンウェブを探索させ、その軌道に関するフィードバックを収集する。
論文 参考訳（メタデータ） (2024-10-25T15:01:27Z) - A Framework for Collaborating a Large Language Model Tool in Brainstorming for Triggering Creative Thoughts [2.709166684084394]
本研究は, 設計者に対して, ブレインストーミング時のアイデアの創造性向上のために, LLMツールで体系的に作業するための目標, プロンプト, 戦略を取り入れたGPSというフレームワークを提案する。
設計事例とケーススタディを通じてテストした本フレームワークは,創造性を刺激する効果と,設計プラクティスへのLCMツールのシームレスな統合を実証する。
論文 参考訳（メタデータ） (2024-10-10T13:39:27Z) - Luban: Building Open-Ended Creative Agents via Autonomous Embodied Verification [34.97881486372797]
オープンエージェントの構築は常にAI研究の最終的な目標であり、クリエイティブエージェントはより魅力的です。
エージェントがギャップを埋める自律的な実施検証手法を導入し、創造的なタスクの基盤を築き上げます。
具体的には,2段階の自律的実施検証を取り入れた,Minecraftにおける創造的建築タスクを目標とするLubanエージェントを提案する。
論文 参考訳（メタデータ） (2024-05-24T10:25:59Z) - Scaling Instructable Agents Across Many Simulated Worlds [70.97268311053328]
私たちのゴールは、シミュレーションされた3D環境で人間ができることを何でも達成できるエージェントを開発することです。
我々のアプローチは、最小限の仮定を示唆しながら、言語駆動の一般性に焦点を当てている。
我々のエージェントは、汎用的なヒューマンライクなインタフェースを使って、リアルタイムで環境と対話する。
論文 参考訳（メタデータ） (2024-03-13T17:50:32Z) - Can AI Be as Creative as Humans? [84.43873277557852]
理論的には、AIは人間の創造者によって生成されたデータに適切に適合できるという条件の下で、人間と同じくらい創造的になれることを証明しています。
AIの創造性に関する議論は、十分な量のデータに適合する能力の問題に縮小されている。
論文 参考訳（メタデータ） (2024-01-03T08:49:12Z) - Creative Wand: A System to Study Effects of Communications in
Co-Creative Settings [9.356870107137093]
共創造的な混合開始システムは、アルゴリズムに影響を与えるユーザー中心の手段を必要とする。
共創造AIの主な疑問は以下のとおりである。
本稿では,共同創造型混合開始生成のためのカスタマイズ可能なフレームワークCREATIVE-WANDを紹介する。
論文 参考訳（メタデータ） (2022-08-04T20:56:40Z) - MineDojo: Building Open-Ended Embodied Agents with Internet-Scale
Knowledge [70.47759528596711]
私たちは、人気のMinecraftゲーム上に構築された新しいフレームワークであるMineDojoを紹介します。
本稿では,学習報酬関数として,大規模な事前学習ビデオ言語モデルを活用する新しいエージェント学習アルゴリズムを提案する。
我々のエージェントは、手動で設計した密なシェーピング報酬なしで、自由形式の言語で指定された様々なオープンエンドタスクを解くことができる。
論文 参考訳（メタデータ） (2022-06-17T15:53:05Z) - Exploring Latent Dimensions of Crowd-sourced Creativity [0.02294014185517203]
私たちは、AIベースの最大のクリエイティビティプラットフォームであるArtbreederの開発を行っています。
このプラットフォーム上で生成された画像の潜在次元を探索し、画像を操作するための新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2021-12-13T19:24:52Z) - Telling Creative Stories Using Generative Visual Aids [52.623545341588304]
私たちはライターに、開始プロンプトからクリエイティブなストーリーを書くように頼み、同じプロンプトから生成するAIモデルによって生成されたビジュアルを提供した。
コントロールグループと比較すると、ビジュアルをストーリー・ライティング・アシストとして使用した作家は、より創造的で、オリジナルで、完全で、視覚的にできるストーリーを著した。
発見は、AIによる横断的なモダリティ入力は、人間とAIの共創において創造性の異なる側面に利益をもたらすが、収束する思考を妨げることを示している。
論文 参考訳（メタデータ） (2021-10-27T23:13:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。