論文の概要: DreamGarden: A Designer Assistant for Growing Games from a Single Prompt

• arxiv url: http://arxiv.org/abs/2410.01791v1
• Date: Wed, 2 Oct 2024 17:49:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-04 15:14:33.728804
• Title: DreamGarden: A Designer Assistant for Growing Games from a Single Prompt
• Title（参考訳）: DreamGarden:1つのプロンプトからゲームを育てるデザイナーアシスタント
• Authors: Sam Earle, Samyak Parajuli, Andrzej Banburski-Fahey,
• Abstract要約: 本稿では,Unreal Engineにおける多様なゲーム環境の開発を支援するAIシステムであるDreamGardenを紹介する。 提案手法のコアとなるのがLCM駆動型プランナーで、単一の高レベルプロンプトを階層的なアクションプランに分解することができる。 このシステムは、独立して成長し、シードプロンプト、プルーニング、フィードバックを通じてユーザーの介入に反応する計画と行動の庭としてユーザに提示される。
• 参考スコア（独自算出の注目度）: 1.8906710320196731
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Coding assistants are increasingly leveraged in game design, both generating code and making high-level plans. To what degree can these tools align with developer workflows, and what new modes of human-computer interaction can emerge from their use? We present DreamGarden, an AI system capable of assisting with the development of diverse game environments in Unreal Engine. At the core of our method is an LLM-driven planner, capable of breaking down a single, high-level prompt -- a dream, memory, or imagined scenario provided by a human user -- into a hierarchical action plan, which is then distributed across specialized submodules facilitating concrete implementation. This system is presented to the user as a garden of plans and actions, both growing independently and responding to user intervention via seed prompts, pruning, and feedback. Through a user study, we explore design implications of this system, charting courses for future work in semi-autonomous assistants and open-ended simulation design.
• Abstract（参考訳）: コーディングアシスタントは、コード生成と高レベルプラン作成の両方において、ゲーム設計においてますます活用されている。 これらのツールは、どの程度開発者ワークフローと整合できるのか、また、人とコンピュータのインタラクションの新しいモードが、彼らの使用から生まれるのか? 本稿では,Unreal Engineにおける多様なゲーム環境の開発を支援するAIシステムであるDreamGardenを紹介する。 我々の手法の中核はLLM駆動のプランナーで、夢、記憶、想像上のシナリオを1つの高レベルなプロンプト(夢、記憶、または人間の提供するシナリオ)を階層的なアクションプランに分解し、具体的な実装を容易にする特別なサブモジュールに分散します。 このシステムは、独立して成長し、シードプロンプト、プルーニング、フィードバックを通じてユーザーの介入に反応する計画と行動の庭としてユーザに提示される。 ユーザスタディを通じて,本システムの設計意味,半自律型アシスタントにおける今後の作業のためのチャート作成コース,およびオープンエンドシミュレーション設計について検討する。

関連論文リスト

• AgentTrek: Agent Trajectory Synthesis via Guiding Replay with Web Tutorials [53.376263056033046]
  Webチュートリアルを利用して高品質なGUIエージェントトラジェクトリを生成するスケーラブルなデータ合成パイプラインを提案する。 提案手法では,インターネットからチュートリアル的なテキストを自動的に収集し,ステップバイステップでタスク目標に変換し,視覚言語モデルエージェントを用いる。 VLMに基づく評価器は、生成された軌道の正確性を保証する。
  論文  参考訳（メタデータ） (2024-12-12T18:59:27Z)
• WorkArena++: Towards Compositional Planning and Reasoning-based Common Knowledge Work Tasks [85.95607119635102]
  大型言語モデル(LLM)は人間のような知性を模倣することができる。 WorkArena++は、Webエージェントの計画、問題解決、論理的/論理的推論、検索、コンテキスト的理解能力を評価するように設計されている。
  論文  参考訳（メタデータ） (2024-07-07T07:15:49Z)
• Towards a copilot in BIM authoring tool using a large language model-based agent for intelligent human-machine interaction [0.40964539027092917]
  デザイナーは、しばしばよりインテリジェントで軽量な方法でソフトウェアと対話しようとします。 本稿では,BIMオーサリングツールにおいて,協調動作として機能する自律エージェントフレームワークを提案する。 BIMオーサリングソフトウェアであるVectorworksのケーススタディでは,提案したフレームワークをシームレスに統合するソフトウェアプロトタイプを実装した。
  論文  参考訳（メタデータ） (2024-06-02T17:47:57Z)
• Autonomous Workflow for Multimodal Fine-Grained Training Assistants Towards Mixed Reality [28.27036270001756]
  この作業は、AIエージェントを詳細にトレーニングするための拡張現実(XR)アプリケーションにシームレスに統合するための自律ワークフローを設計する。 パイロットXR環境におけるLEGOブロック組立のためのマルチモーダルきめ細粒度トレーニングアシスタントのデモンストレーションを行う。
  論文  参考訳（メタデータ） (2024-05-16T14:20:30Z)
• Scaling Instructable Agents Across Many Simulated Worlds [70.97268311053328]
  私たちのゴールは、シミュレーションされた3D環境で人間ができることを何でも達成できるエージェントを開発することです。 我々のアプローチは、最小限の仮定を示唆しながら、言語駆動の一般性に焦点を当てている。 我々のエージェントは、汎用的なヒューマンライクなインタフェースを使って、リアルタイムで環境と対話する。
  論文  参考訳（メタデータ） (2024-03-13T17:50:32Z)
• On Automating Video Game Regression Testing by Planning and Learning [3.746904317622708]
  本稿では,あるゲーム面の回帰テストを自動化する手法とワークフローを提案する。 基本的な考え方は、詳細なゲームログとインクリメンタルアクションモデル学習技術を使用して、フォーマルモデルを維持することである。 本稿では,ワークフローにおけるモデリング専門家の必要性を最小限に抑えるか,あるいは取り除くための第一歩を示す。
  論文  参考訳（メタデータ） (2024-02-16T14:28:25Z)
• An Interactive Agent Foundation Model [49.77861810045509]
  本稿では,AIエージェントを訓練するための新しいマルチタスクエージェントトレーニングパラダイムを用いた対話型エージェント基礎モデルを提案する。 トレーニングパラダイムは、視覚マスク付きオートエンコーダ、言語モデリング、次世代の予測など、多様な事前学習戦略を統一する。 私たちは、ロボティクス、ゲームAI、ヘルスケアという3つの異なる領域でフレームワークのパフォーマンスを実演します。
  論文  参考訳（メタデータ） (2024-02-08T18:58:02Z)
• Octopus: Embodied Vision-Language Programmer from Environmental Feedback [58.04529328728999]
  身体視覚言語モデル(VLM)は多モード認識と推論において大きな進歩を遂げた。 このギャップを埋めるために、我々は、計画と操作を接続する媒体として実行可能なコード生成を使用する、具体化された視覚言語プログラマであるOctopusを紹介した。 Octopusは、1)エージェントの視覚的およびテキスト的タスクの目的を正確に理解し、2)複雑なアクションシーケンスを定式化し、3)実行可能なコードを生成するように設計されている。
  論文  参考訳（メタデータ） (2023-10-12T17:59:58Z)
• Learning of Generalizable and Interpretable Knowledge in Grid-Based Reinforcement Learning Environments [5.217870815854702]
  本稿では,強化学習ポリシーを模倣するプログラム合成を提案する。 我々は,グリッド環境における概念学習に最先端のプログラム合成システムDreamCoderを適用した。
  論文  参考訳（メタデータ） (2023-09-07T11:46:57Z)
• MineDojo: Building Open-Ended Embodied Agents with Internet-Scale Knowledge [70.47759528596711]
  私たちは、人気のMinecraftゲーム上に構築された新しいフレームワークであるMineDojoを紹介します。 本稿では,学習報酬関数として,大規模な事前学習ビデオ言語モデルを活用する新しいエージェント学習アルゴリズムを提案する。 我々のエージェントは、手動で設計した密なシェーピング報酬なしで、自由形式の言語で指定された様々なオープンエンドタスクを解くことができる。
  論文  参考訳（メタデータ） (2022-06-17T15:53:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。