論文の概要: Promptable Game Models: Text-Guided Game Simulation via Masked Diffusion Models

• arxiv url: http://arxiv.org/abs/2303.13472v3
• Date: Sun, 21 Jan 2024 16:14:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-23 22:01:31.496059
• Title: Promptable Game Models: Text-Guided Game Simulation via Masked Diffusion Models
• Title（参考訳）: Promptable Game Models: Masked Diffusion Modelsによるテキストガイドゲームシミュレーション
• Authors: Willi Menapace, Aliaksandr Siarohin, St\'ephane Lathuili\`ere, Panos Achlioptas, Vladislav Golyanik, Sergey Tulyakov, Elisa Ricci
• Abstract要約: ニューラルビデオゲームシミュレータのためのPGM(Promptable Game Model)を提案する。 ユーザーは高レベルのアクションシーケンスと低レベルのアクションシーケンスでゲームを実行することができる。 私たちのPGMは、エージェントの目標をプロンプトの形で指定することで、ディレクターのモードをアンロックします。 提案手法は,既存のニューラルビデオゲームシミュレータのレンダリング品質を著しく上回り,現在の最先端の能力を超えたアプリケーションをアンロックする。
• 参考スコア（独自算出の注目度）: 68.85478477006178
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural video game simulators emerged as powerful tools to generate and edit videos. Their idea is to represent games as the evolution of an environment's state driven by the actions of its agents. While such a paradigm enables users to play a game action-by-action, its rigidity precludes more semantic forms of control. To overcome this limitation, we augment game models with prompts specified as a set of natural language actions and desired states. The result-a Promptable Game Model (PGM)-makes it possible for a user to play the game by prompting it with high- and low-level action sequences. Most captivatingly, our PGM unlocks the director's mode, where the game is played by specifying goals for the agents in the form of a prompt. This requires learning "game AI", encapsulated by our animation model, to navigate the scene using high-level constraints, play against an adversary, and devise a strategy to win a point. To render the resulting state, we use a compositional NeRF representation encapsulated in our synthesis model. To foster future research, we present newly collected, annotated and calibrated Tennis and Minecraft datasets. Our method significantly outperforms existing neural video game simulators in terms of rendering quality and unlocks applications beyond the capabilities of the current state of the art. Our framework, data, and models are available at https://snap-research.github.io/promptable-game-models/.
• Abstract（参考訳）: ニューラルビデオゲームシミュレーターは、ビデオの生成と編集のための強力なツールとして登場した。 彼らの考えは、エージェントのアクションによって駆動される環境の状態の進化としてゲームを表現することである。 このようなパラダイムは、ユーザがアクションバイアクションをプレイすることを可能にするが、その剛性はより意味的な制御形式を妨げる。 この制限を克服するために、自然言語アクションと所望の状態のセットとして指定されたプロンプトでゲームモデルを拡張する。 結果-aプロンプト可能ゲームモデル(pgm)は、高レベルおよび低レベルなアクションシーケンスを促すことで、ユーザがゲームをプレイできるようにする。 私たちのPGMは、エージェントの目標をプロンプトの形で指定することで、ディレクターのモードをアンロックします。 これは、我々のアニメーションモデルによってカプセル化された"ゲームAI"を学習し、高いレベルの制約を使用してシーンをナビゲートし、敵と対戦し、ポイントを獲得するための戦略を考案する必要があります。 得られた状態を描画するために、合成モデルにカプセル化された合成NeRF表現を用いる。 今後の研究を進めるために,新たに収集,注釈,校正したテニスおよびマインクラフトデータセットを提案する。 提案手法は,既存のニューラルビデオゲームシミュレータのレンダリング品質を著しく上回り,現在の最先端の能力を超えたアプリケーションをアンロックする。 私たちのフレームワーク、データ、モデルはhttps://snap-research.github.io/promptable-game-models/で利用可能です。

関連論文リスト

• Instruction-Driven Game Engines on Large Language Models [59.280666591243154]
  IDGEプロジェクトは、大規模な言語モデルが自由形式のゲームルールに従うことを可能にすることで、ゲーム開発を民主化することを目的としている。 我々は、複雑なシナリオに対するモデルの露出を徐々に増大させるカリキュラム方式でIDGEを訓練する。 私たちの最初の進歩は、汎用的なカードゲームであるPoker用のIDGEを開発することです。
  論文  参考訳（メタデータ） (2024-03-30T08:02:16Z)
• Infusing Commonsense World Models with Graph Knowledge [89.27044249858332]
  オープンワールドテキストアドベンチャーゲームにおける物語生成の設定について検討する。 基礎となるゲーム状態のグラフ表現は、接地グラフ表現と自然言語記述とアクションの両方を消費し出力するモデルを訓練するために使用することができる。
  論文  参考訳（メタデータ） (2023-01-13T19:58:27Z)
• Pre-trained Language Models as Prior Knowledge for Playing Text-based Games [2.423547527175808]
  本稿では,LMフレームワークを用いたシンプルなRLを提案することにより,エージェントの意味的理解を改善する。 我々は,この人気ゲームであるZolk1において,我々のモデルがどのように既存のエージェントよりも優れているかを実証するために,我々のフレームワークの詳細な研究を行う。 提案手法は,テキストゲームの他のセットにおける最先端モデルに対して,コンパレントに機能する。
  論文  参考訳（メタデータ） (2021-07-18T10:28:48Z)
• Teach me to play, gamer! Imitative learning in computer games via linguistic description of complex phenomena and decision tree [55.41644538483948]
  本稿では,複雑な現象の言語記述に基づく模倣による新しい機械学習モデルを提案する。 この手法は,ゲーム開発における知的エージェントの動作を設計し,実装するための優れた代替手段となる。
  論文  参考訳（メタデータ） (2021-01-06T21:14:10Z)
• Keep CALM and Explore: Language Models for Action Generation in Text-based Games [27.00685301984832]
  本研究では,各ゲーム状態におけるアクション候補のコンパクトなセットを生成するために,文脈行動言語モデル(CALM)を提案する。 我々はCALMと強化学習エージェントを組み合わせることで、生成したアクション候補を再ランクし、ゲーム内報酬を最大化する。
  論文  参考訳（メタデータ） (2020-10-06T17:36:29Z)
• Learning to Simulate Dynamic Environments with GameGAN [109.25308647431952]
  本稿では,エージェントが環境と対話するのを見ることでシミュレーターを学習することを目的とする。 ゲームGANは,学習中にスクリーンプレイやキーボード操作を取り入れることで,所望のゲームを視覚的に模倣することを学習する生成モデルである。
  論文  参考訳（メタデータ） (2020-05-25T14:10:17Z)
• Neural Game Engine: Accurate learning of generalizable forward models from pixels [0.0]
  本稿では,ピクセルから直接モデルを学習する手段として,ニューラルゲームエンジンを紹介する。 10の決定論的汎用ビデオゲームAIゲームの結果は、競争力のあるパフォーマンスを示している。
  論文  参考訳（メタデータ） (2020-03-23T20:04:55Z)
• Model-Based Reinforcement Learning for Atari [89.3039240303797]
  エージェントがモデルフリーの手法よりも少ないインタラクションでAtariゲームを解くことができることを示す。 本実験は,エージェントと環境間の100kの相互作用の少ないデータ構造における,AtariゲームにおけるSimPLeの評価である。
  論文  参考訳（メタデータ） (2019-03-01T15:40:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。