論文の概要: Plotting Behind the Scenes: Towards Learnable Game Engines
- arxiv url: http://arxiv.org/abs/2303.13472v1
- Date: Thu, 23 Mar 2023 17:43:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-24 13:02:31.448367
- Title: Plotting Behind the Scenes: Towards Learnable Game Engines
- Title（参考訳）: 裏でプロットする: 学習可能なゲームエンジンを目指して
- Authors: Willi Menapace, Aliaksandr Siarohin, St\'ephane Lathuili\`ere, Panos
Achlioptas, Vladislav Golyanik, Elisa Ricci, Sergey Tulyakov
- Abstract要約: 単分子アノテーション付きビデオのみを用いて,ゲームエンジンのようなニューラルモデルをトレーニングするためのフレームワークを提案する。
学習可能なゲームエンジン(Learnerable Game Engine, LGE)は、シーン、オブジェクト、エージェントの状態を保持し、制御可能な視点から環境をレンダリングする。
本手法は,既存のニューラルビデオゲームシミュレータよりもレンダリング品質が優れている。
- 参考スコア（独自算出の注目度）: 59.65079676137377
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Game engines are powerful tools in computer graphics. Their power comes at
the immense cost of their development. In this work, we present a framework to
train game-engine-like neural models, solely from monocular annotated videos.
The result-a Learnable Game Engine (LGE)-maintains states of the scene, objects
and agents in it, and enables rendering the environment from a controllable
viewpoint. Similarly to a game engine, it models the logic of the game and the
underlying rules of physics, to make it possible for a user to play the game by
specifying both high- and low-level action sequences. Most captivatingly, our
LGE unlocks the director's mode, where the game is played by plotting behind
the scenes, specifying high-level actions and goals for the agents in the form
of language and desired states. This requires learning "game AI", encapsulated
by our animation model, to navigate the scene using high-level constraints,
play against an adversary, devise the strategy to win a point. The key to
learning such game AI is the exploitation of a large and diverse text corpus,
collected in this work, describing detailed actions in a game and used to train
our animation model. To render the resulting state of the environment and its
agents, we use a compositional NeRF representation used in our synthesis model.
To foster future research, we present newly collected, annotated and calibrated
large-scale Tennis and Minecraft datasets. Our method significantly outperforms
existing neural video game simulators in terms of rendering quality. Besides,
our LGEs unlock applications beyond capabilities of the current state of the
art. Our framework, data, and models are available at
https://learnable-game-engines.github.io/lge-website.
- Abstract（参考訳）: ゲームエンジンはコンピュータグラフィックスの強力なツールである。
彼らの力は開発に莫大なコストがかかる。
本稿では,モノクロアノテートビデオのみからゲームエンジンライクなニューラルモデルを学習するためのフレームワークを提案する。
学習可能なゲームエンジン(LGE)は、シーン、オブジェクト、エージェントの状態を保持し、制御可能な視点から環境をレンダリングする。
ゲームエンジンと同様に、ゲームのロジックと基礎となる物理ルールをモデル化し、ユーザーがハイレベルとローレベルの両方のアクションシーケンスを指定してゲームをプレイできるようにする。
最も魅惑的なことに、我々のlgeは監督のモードを解き放ち、そこではゲームは舞台裏でプロットし、言語と望ましい状態の形でエージェントのハイレベルなアクションと目標を指定する。
これは、我々のアニメーションモデルによってカプセル化された"ゲームAI"を学習し、高いレベルの制約を使ってシーンをナビゲートし、敵と対戦し、ポイントを獲得するための戦略を考案するために必要です。
このようなゲームAIを学ぶための鍵は、この研究で収集された、大きく多様なテキストコーパスの活用であり、ゲーム内の詳細なアクションを記述し、アニメーションモデルをトレーニングするために使用される。
生成した環境とそのエージェントをレンダリングするために、合成モデルで使用される合成NeRF表現を用いる。
今後の研究を進めるために,新たに収集,注釈,校正を行った大規模テニスおよびマインクラフトデータセットを提案する。
本手法は,既存のニューラルゲームシミュレータのレンダリング品質を著しく上回っている。
さらに、私たちのlgeは、現在の最先端の技術の能力を超えて、アプリケーションをアンロックしています。
私たちのフレームワーク、データ、モデルはhttps://learnable-game-engines.github.io/lge-websiteで利用可能です。
関連論文リスト
- Instruction-Driven Game Engines on Large Language Models [59.280666591243154]
IDGEプロジェクトは、大規模な言語モデルが自由形式のゲームルールに従うことを可能にすることで、ゲーム開発を民主化することを目的としている。
我々は、複雑なシナリオに対するモデルの露出を徐々に増大させるカリキュラム方式でIDGEを訓練する。
私たちの最初の進歩は、汎用的なカードゲームであるPoker用のIDGEを開発することです。
論文 参考訳（メタデータ） (2024-03-30T08:02:16Z) - Infusing Commonsense World Models with Graph Knowledge [89.27044249858332]
オープンワールドテキストアドベンチャーゲームにおける物語生成の設定について検討する。
基礎となるゲーム状態のグラフ表現は、接地グラフ表現と自然言語記述とアクションの両方を消費し出力するモデルを訓練するために使用することができる。
論文 参考訳（メタデータ） (2023-01-13T19:58:27Z) - Pre-trained Language Models as Prior Knowledge for Playing Text-based
Games [2.423547527175808]
本稿では,LMフレームワークを用いたシンプルなRLを提案することにより,エージェントの意味的理解を改善する。
我々は,この人気ゲームであるZolk1において,我々のモデルがどのように既存のエージェントよりも優れているかを実証するために,我々のフレームワークの詳細な研究を行う。
提案手法は,テキストゲームの他のセットにおける最先端モデルに対して,コンパレントに機能する。
論文 参考訳（メタデータ） (2021-07-18T10:28:48Z) - Teach me to play, gamer! Imitative learning in computer games via
linguistic description of complex phenomena and decision tree [55.41644538483948]
本稿では,複雑な現象の言語記述に基づく模倣による新しい機械学習モデルを提案する。
この手法は,ゲーム開発における知的エージェントの動作を設計し,実装するための優れた代替手段となる。
論文 参考訳（メタデータ） (2021-01-06T21:14:10Z) - Keep CALM and Explore: Language Models for Action Generation in
Text-based Games [27.00685301984832]
本研究では,各ゲーム状態におけるアクション候補のコンパクトなセットを生成するために,文脈行動言語モデル(CALM)を提案する。
我々はCALMと強化学習エージェントを組み合わせることで、生成したアクション候補を再ランクし、ゲーム内報酬を最大化する。
論文 参考訳（メタデータ） (2020-10-06T17:36:29Z) - Learning to Simulate Dynamic Environments with GameGAN [109.25308647431952]
本稿では,エージェントが環境と対話するのを見ることでシミュレーターを学習することを目的とする。
ゲームGANは,学習中にスクリーンプレイやキーボード操作を取り入れることで,所望のゲームを視覚的に模倣することを学習する生成モデルである。
論文 参考訳（メタデータ） (2020-05-25T14:10:17Z) - Neural Game Engine: Accurate learning of generalizable forward models
from pixels [0.0]
本稿では,ピクセルから直接モデルを学習する手段として,ニューラルゲームエンジンを紹介する。
10の決定論的汎用ビデオゲームAIゲームの結果は、競争力のあるパフォーマンスを示している。
論文 参考訳（メタデータ） (2020-03-23T20:04:55Z) - Model-Based Reinforcement Learning for Atari [89.3039240303797]
エージェントがモデルフリーの手法よりも少ないインタラクションでAtariゲームを解くことができることを示す。
本実験は,エージェントと環境間の100kの相互作用の少ないデータ構造における,AtariゲームにおけるSimPLeの評価である。
論文 参考訳（メタデータ） (2019-03-01T15:40:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。