論文の概要: From Virtual Games to Real-World Play

• arxiv url: http://arxiv.org/abs/2506.18901v1
• Date: Mon, 23 Jun 2025 17:59:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-24 19:06:37.123245
• Title: From Virtual Games to Real-World Play
• Title（参考訳）: バーチャルゲームからリアルワールドプレイへ
• Authors: Wenqiang Sun, Fangyun Wei, Jinjing Zhao, Xi Chen, Zilong Chen, Hongyang Zhang, Jun Zhang, Yan Lu,
• Abstract要約: 本稿では,ユーザ制御信号からインタラクティブなビデオ生成を可能にするニューラルネットワークベースのリアルワールドゲームエンジンであるRealPlayを紹介する。 RealPlayは、現実世界の映像に似た、写真リアリスティックで時間的に一貫したビデオシーケンスを作ることを目指している。
• 参考スコア（独自算出の注目度）: 34.022575851703145
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce RealPlay, a neural network-based real-world game engine that enables interactive video generation from user control signals. Unlike prior works focused on game-style visuals, RealPlay aims to produce photorealistic, temporally consistent video sequences that resemble real-world footage. It operates in an interactive loop: users observe a generated scene, issue a control command, and receive a short video chunk in response. To enable such realistic and responsive generation, we address key challenges including iterative chunk-wise prediction for low-latency feedback, temporal consistency across iterations, and accurate control response. RealPlay is trained on a combination of labeled game data and unlabeled real-world videos, without requiring real-world action annotations. Notably, we observe two forms of generalization: (1) control transfer-RealPlay effectively maps control signals from virtual to real-world scenarios; and (2) entity transfer-although training labels originate solely from a car racing game, RealPlay generalizes to control diverse real-world entities, including bicycles and pedestrians, beyond vehicles. Project page can be found: https://wenqsun.github.io/RealPlay/
• Abstract（参考訳）: 本稿では,ユーザ制御信号からインタラクティブなビデオ生成を可能にするニューラルネットワークベースのリアルワールドゲームエンジンであるRealPlayを紹介する。 ゲームスタイルのビジュアルに焦点を当てた以前の作品とは異なり、RealPlayは現実世界の映像に似た、写真リアリスティックで時間的に一貫したビデオシーケンスを作ることを目指している。 ユーザは生成されたシーンを観察し、コントロールコマンドを発行し、応答中に短いビデオチャンクを受け取る。 このような現実的でレスポンシブな生成を実現するために、低レイテンシフィードバックの反復的チャンクワイズ予測、イテレーション間の時間的一貫性、正確な制御応答など、重要な課題に対処する。 RealPlayは、実世界のアクションアノテーションを必要とせずに、ラベル付きゲームデータとラベルなしのリアルワールドビデオの組み合わせでトレーニングされている。 特に,(1)制御伝達-RealPlayは,仮想シナリオから実世界のシナリオへ効果的に制御信号をマッピングし,(2)車いすゲームのみを起源とする実体移動型トレーニングラベルを一般化し,自転車や歩行者を含む多様な現実の実体を車両を超えて制御する。 プロジェクトページは以下の通りである。

関連論文リスト

• Matrix-Game: Interactive World Foundation Model [11.144250200432458]
  Matrix-Gameは、制御可能なゲームワールドジェネレーションのためのインタラクティブなワールドファンデーションモデルである。 本モデルでは,参照画像,動作コンテキスト,ユーザアクションを条件とした,制御可能な画像から世界への生成パラダイムを採用している。 17億以上のパラメータを持つMatrix-Gameは、キャラクタアクションとカメラの動きを正確に制御できる。
  論文  参考訳（メタデータ） (2025-06-23T14:40:49Z)
• Hunyuan-GameCraft: High-dynamic Interactive Game Video Generation with Hybrid History Condition [18.789597877579986]
  Hunyuan-GameCraftは、ゲーム環境におけるハイダイナミックなインタラクティブなビデオ生成のための新しいフレームワークである。 アクション制御をきめ細かいものにするため,標準キーボードとマウス入力を共有カメラ表現空間に統合する。 本稿では,ゲームシーン情報を保存しながら,映像シーケンスを自動回帰的に拡張するハイブリッド履歴条件学習手法を提案する。
  論文  参考訳（メタデータ） (2025-06-20T17:50:37Z)
• PlayerOne: Egocentric World Simulator [73.88786358213694]
  PlayerOneは、最初のエゴセントリックなリアルワールドシミュレータである。 それは、エゴセントリックなビデオを生成し、エゴセントリックなカメラで捉えたユーザーの実際のシーンの人間の動きと厳密に一致している。
  論文  参考訳（メタデータ） (2025-06-11T17:59:53Z)
• The Matrix: Infinite-Horizon World Generation with Real-Time Moving Control [16.075784652681172]
  The Matrixは、連続した720pのリアルタイム映像ストリームを生成することができる最初の基礎的現実的世界シミュレータである。 Matrixは、ユーザーが連続して1時間連続で様々な地形を横断することを可能にする。 Matrixは、BMW X3がオフィス設定で運転する環境をシミュレートすることができる。
  論文  参考訳（メタデータ） (2024-12-04T18:59:05Z)
• Learning Interactive Real-World Simulators [96.5991333400566]
  生成モデルを用いて実世界の相互作用の普遍的なシミュレータを学習する可能性について検討する。 シミュレーターを用いて、高レベルな視覚言語ポリシーと低レベルな強化学習ポリシーの両方を訓練する。 ビデオキャプションモデルは、シミュレートされた経験を持つトレーニングの恩恵を受けることができる。
  論文  参考訳（メタデータ） (2023-10-09T19:42:22Z)
• Sim-to-Real via Sim-to-Seg: End-to-end Off-road Autonomous Driving Without Real Data [56.49494318285391]
  我々は、オフロード自動運転の視覚的現実的ギャップを横断するRCANを再想像するSim2Segを紹介する。 これは、ランダム化されたシミュレーション画像をシミュレートされたセグメンテーションと深さマップに変換する学習によって行われる。 これにより、シミュレーションでエンドツーエンドのRLポリシーをトレーニングし、現実世界に直接デプロイできます。
  論文  参考訳（メタデータ） (2022-10-25T17:50:36Z)
• DriveGAN: Towards a Controllable High-Quality Neural Simulation [147.6822288981004]
  DriveGANと呼ばれる新しい高品質のニューラルシミュレータを紹介します。 DriveGANは、異なるコンポーネントを監督なしで切り離すことによって制御性を達成する。 実世界の運転データ160時間を含む複数のデータセットでdriveganをトレーニングします。
  論文  参考訳（メタデータ） (2021-04-30T15:30:05Z)
• Automated acquisition of structured, semantic models of manipulation activities from human VR demonstration [21.285606436442656]
  本稿では,仮想環境から,人間の動作,ロボットの理解,日常活動の収集とアノテートを行うシステムを提案する。 人間の動きは、全体と視線追跡機能を備えた市販のバーチャルリアリティーデバイスを使用して、シミュレーションの世界にマッピングされる。
  論文  参考訳（メタデータ） (2020-11-27T11:58:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。