論文の概要: GameFactory: Creating New Games with Generative Interactive Videos
- arxiv url: http://arxiv.org/abs/2501.08325v1
- Date: Tue, 14 Jan 2025 18:57:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-15 13:29:05.199421
- Title: GameFactory: Creating New Games with Generative Interactive Videos
- Title（参考訳）: GameFactory: ジェネレーティブなインタラクティブビデオで新しいゲームを作る
- Authors: Jiwen Yu, Yiran Qin, Xintao Wang, Pengfei Wan, Di Zhang, Xihui Liu,
- Abstract要約: 本稿では,ゲームビデオ生成におけるシーンの一般化を探求するフレームワークであるGameFactoryを紹介する。
オープンドメインの一般化を保ちつつ,アクション制御からゲームスタイルの学習を分離する多段階学習戦略を提案する。
フレームワークを拡張して、自動回帰アクション制御可能なゲームビデオ生成を可能にし、無制限のインタラクティブなゲームビデオの作成を可能にします。
- 参考スコア（独自算出の注目度）: 32.98135338530966
- License:
- Abstract: Generative game engines have the potential to revolutionize game development by autonomously creating new content and reducing manual workload. However, existing video-based game generation methods fail to address the critical challenge of scene generalization, limiting their applicability to existing games with fixed styles and scenes. In this paper, we present GameFactory, a framework focused on exploring scene generalization in game video generation. To enable the creation of entirely new and diverse games, we leverage pre-trained video diffusion models trained on open-domain video data. To bridge the domain gap between open-domain priors and small-scale game dataset, we propose a multi-phase training strategy that decouples game style learning from action control, preserving open-domain generalization while achieving action controllability. Using Minecraft as our data source, we release GF-Minecraft, a high-quality and diversity action-annotated video dataset for research. Furthermore, we extend our framework to enable autoregressive action-controllable game video generation, allowing the production of unlimited-length interactive game videos. Experimental results demonstrate that GameFactory effectively generates open-domain, diverse, and action-controllable game videos, representing a significant step forward in AI-driven game generation. Our dataset and project page are publicly available at \url{https://vvictoryuki.github.io/gamefactory/}.
- Abstract（参考訳）: 生成型ゲームエンジンは、新しいコンテンツを自律的に作成し、手作業の負荷を減らすことで、ゲーム開発に革命をもたらす可能性がある。
しかし、既存の映像ベースのゲーム生成手法はシーンの一般化における重要な課題に対処できず、固定されたスタイルやシーンを持つ既存のゲームに適用性を制限する。
本稿では,ゲームビデオ生成におけるシーンの一般化を探求するフレームワークであるGameFactoryを紹介する。
全く新しい多様なゲームの作成を可能にするために、オープンドメインのビデオデータに基づいてトレーニングされた事前学習されたビデオ拡散モデルを活用する。
オープンドメイン事前と小規模ゲームデータセットのドメインギャップを埋めるため,アクション制御からゲームスタイル学習を分離し,オープンドメインの一般化を保ちながらアクション制御性を実現するマルチフェーズトレーニング戦略を提案する。
データソースとしてMinecraftを使用することで、研究用の高品質で多様性の高いアクションアノテーション付きビデオデータセットであるGF-Minecraftをリリースします。
さらに,我々のフレームワークを拡張して,自動回帰アクション制御可能なゲームビデオ生成を実現し,無制限のインタラクティブなゲームビデオの制作を可能にした。
実験の結果、GameFactoryは、オープンドメイン、多様性、アクションコントロール可能なゲームビデオを効果的に生成し、AIによるゲーム生成における重要な一歩であることが示された。
私たちのデータセットとプロジェクトページは、 \url{https://vvictoryuki.github.io/gamefactory/}で公開されています。
関連論文リスト
- GameGen-X: Interactive Open-world Game Video Generation [10.001128258269675]
我々は,オープンワールドゲームビデオの生成とインタラクティブ制御に特化して設計された,最初の拡散トランスフォーマーモデルであるGameGen-Xを紹介する。
革新的なキャラクター、動的環境、複雑なアクション、多様なイベントなど、一連のゲームエンジン機能をシミュレートする。
インタラクティブな制御性を提供し、現在のクリップに基づいたコンテンツの予測と将来的な変更を可能にし、ゲームプレイシミュレーションを可能にする。
論文 参考訳（メタデータ） (2024-11-01T17:59:17Z) - GAVEL: Generating Games Via Evolution and Language Models [40.896938709468465]
我々は,Ludiiゲーム記述言語における新規ゲームの生成について検討する。
我々は、コードとして表現されたゲームやメカニクスをインテリジェントに変更し、再結合するモデルを訓練する。
生成されたゲームのサンプルは、Ludiiポータルからオンラインでプレイすることができる。
論文 参考訳（メタデータ） (2024-07-12T16:08:44Z) - A Text-to-Game Engine for UGC-Based Role-Playing Games [6.5715027492220734]
本稿では,単純なテキスト入力を複雑なマルチモーダルRPG体験に変換する基礎モデルを活用する,テキスト・ツー・ゲームエンジンの新しいフレームワークを提案する。
エンジンは動的にゲームナラティブを生成し、テキスト、ビジュアル、メカニックを統合すると同時に、プレイヤーのインタラクションに基づいてキャラクター、環境、ゲームプレイをリアルタイムで適応させる。
論文 参考訳（メタデータ） (2024-07-11T05:33:19Z) - Towards General Game Representations: Decomposing Games Pixels into
Content and Style [2.570570340104555]
ゲームのピクセル表現を学習することは、複数の下流タスクにまたがる人工知能の恩恵を受けることができる。
本稿では,コンピュータビジョンエンコーダの汎用化について検討する。
我々は、ゲームジャンルに基づく事前学習されたビジョントランスフォーマーエンコーダと分解技術を用いて、個別のコンテンツとスタイルの埋め込みを得る。
論文 参考訳（メタデータ） (2023-07-20T17:53:04Z) - Promptable Game Models: Text-Guided Game Simulation via Masked Diffusion
Models [68.85478477006178]
ニューラルビデオゲームシミュレータのためのPGM(Promptable Game Model)を提案する。
ユーザーは高レベルのアクションシーケンスと低レベルのアクションシーケンスでゲームを実行することができる。
私たちのPGMは、エージェントの目標をプロンプトの形で指定することで、ディレクターのモードをアンロックします。
提案手法は,既存のニューラルビデオゲームシミュレータのレンダリング品質を著しく上回り,現在の最先端の能力を超えたアプリケーションをアンロックする。
論文 参考訳（メタデータ） (2023-03-23T17:43:17Z) - Multi-Game Decision Transformers [49.257185338595434]
そこで本研究では,1つのトランスフォーマーモデルを用いて,最大46個のAtariゲーム群を,人間に近いパフォーマンスで同時にプレイ可能であることを示す。
オンラインやオフラインのRL手法や行動クローンなど,マルチゲーム設定におけるいくつかのアプローチを比較した。
マルチゲーム決定変換モデルは、最高のスケーラビリティとパフォーマンスを提供します。
論文 参考訳（メタデータ） (2022-05-30T16:55:38Z) - Playable Environments: Video Manipulation in Space and Time [98.0621309257937]
再生可能な環境 - 空間と時間におけるインタラクティブなビデオ生成と操作のための新しい表現。
提案フレームワークでは,1枚の画像を推論時に生成し,対象物を3次元に移動させ,所望のアクションを連続して生成する。
提案手法は,各フレームの環境状態を構築し,提案したアクションモジュールで操作し,ボリュームレンダリングで画像空間に復号化することができる。
論文 参考訳（メタデータ） (2022-03-03T18:51:05Z) - A Good Image Generator Is What You Need for High-Resolution Video
Synthesis [73.82857768949651]
現代画像生成装置を用いて高解像度映像のレンダリングを行うフレームワークを提案する。
我々は,映像合成問題を,予め訓練された固定された画像生成装置の潜時空間における軌跡の発見とみなす。
本稿では,コンテンツや動きが絡み合っている所望の軌跡を検出するモーションジェネレータを提案する。
論文 参考訳（メタデータ） (2021-04-30T15:38:41Z) - Playable Video Generation [47.531594626822155]
我々は,ユーザが生成した映像を,ビデオゲームのように毎回個別のアクションを選択することで制御できるようにすることを目標とする。
タスクの難しさは、意味的に一貫性のあるアクションを学習することと、ユーザ入力に条件付けされたリアルなビデオを生成することの両方にある。
本稿では,ビデオの大規模なデータセットに基づいて,自己教師型で訓練されたPVGのための新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2021-01-28T18:55:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。