論文の概要: The Matrix: Infinite-Horizon World Generation with Real-Time Moving Control

• arxiv url: http://arxiv.org/abs/2412.03568v1
• Date: Wed, 04 Dec 2024 18:59:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-05 15:08:37.066720
• Title: The Matrix: Infinite-Horizon World Generation with Real-Time Moving Control
• Title（参考訳）: マトリックス:リアルタイム移動制御による無限水平世界生成
• Authors: Ruili Feng, Han Zhang, Zhantao Yang, Jie Xiao, Zhilei Shu, Zhiheng Liu, Andy Zheng, Yukun Huang, Yu Liu, Hongyang Zhang,
• Abstract要約: The Matrixは、連続した720pのリアルタイム映像ストリームを生成することができる最初の基礎的現実的世界シミュレータである。 Matrixは、ユーザーが連続して1時間連続で様々な地形を横断することを可能にする。 Matrixは、BMW X3がオフィス設定で運転する環境をシミュレートすることができる。
• 参考スコア（独自算出の注目度）: 16.075784652681172
• License:
• Abstract: We present The Matrix, the first foundational realistic world simulator capable of generating continuous 720p high-fidelity real-scene video streams with real-time, responsive control in both first- and third-person perspectives, enabling immersive exploration of richly dynamic environments. Trained on limited supervised data from AAA games like Forza Horizon 5 and Cyberpunk 2077, complemented by large-scale unsupervised footage from real-world settings like Tokyo streets, The Matrix allows users to traverse diverse terrains -- deserts, grasslands, water bodies, and urban landscapes -- in continuous, uncut hour-long sequences. Operating at 16 FPS, the system supports real-time interactivity and demonstrates zero-shot generalization, translating virtual game environments to real-world contexts where collecting continuous movement data is often infeasible. For example, The Matrix can simulate a BMW X3 driving through an office setting--an environment present in neither gaming data nor real-world sources. This approach showcases the potential of AAA game data to advance robust world models, bridging the gap between simulations and real-world applications in scenarios with limited data.
• Abstract（参考訳）: The Matrixは,一対一の視点と三対三の視点でリアルタイムかつ応答性の高い映像ストリームを連続720pの高精細な映像ストリームで生成し,リッチな動的環境の没入的な探索を可能にする,最初の基礎的現実的世界シミュレータである。 Forza Horizon 5やCyberpunk 2077のようなAAAゲームからの限られた監督されたデータに基づいて訓練され、東京の街路のような現実世界の大規模な監視されていない映像を補完し、The Matrixは砂漠、草原、水域、都市景観などさまざまな地形を1時間連続で横断できる。 16 FPSで動作するシステムは、リアルタイムの対話性をサポートし、ゼロショットの一般化を実証し、仮想ゲーム環境を、連続的な動きデータの収集がしばしば不可能な現実世界のコンテキストに翻訳する。 例えば、マトリックスはBMW X3をシミュレーションしてオフィスの設定を通すことができる。 このアプローチは、限られたデータを持つシナリオにおけるシミュレーションと実世界のアプリケーションの間のギャップを埋め、堅牢な世界モデルを進めるためのAAAゲームデータの可能性を示す。

関連論文リスト

• DrivingSphere: Building a High-fidelity 4D World for Closed-loop Simulation [54.02069690134526]
  本研究では,現実的でクローズドループなシミュレーションフレームワークであるDrivingSphereを提案する。 その中核となる考え方は、4Dの世界表現を構築し、実生活と制御可能な運転シナリオを生成することである。 動的で現実的なシミュレーション環境を提供することで、DrivingSphereは自律運転アルゴリズムの包括的なテストと検証を可能にする。
  論文  参考訳（メタデータ） (2024-11-18T03:00:33Z)
• Unbounded: A Generative Infinite Game of Character Life Simulation [68.37260000219479]
  生成モデルを用いて,有限なハードコードシステムの境界を超越したゲームである生成無限ゲームの概念を導入する。 我々は、生成AIの最近の進歩を活用して、生成モデルに完全にカプセル化されたキャラクターライフシミュレーションゲームUnboundedを作成する。
  論文  参考訳（メタデータ） (2024-10-24T17:59:31Z)
• DriveArena: A Closed-loop Generative Simulation Platform for Autonomous Driving [30.024309081789053]
  DriveArenaは、実際のシナリオをナビゲートするエージェントを駆動するために設計された、高忠実なクローズドループシミュレーションシステムである。 グローバルなストリートマップ上で現実的なトラフィックフローを生成することのできる交通シミュレータであるTraffic Managerと、無限の自己回帰を持つ高忠実な条件生成モデルであるWorld Dreamerが特徴である。
  論文  参考訳（メタデータ） (2024-08-01T09:32:01Z)
• Learning Interactive Real-World Simulators [96.5991333400566]
  生成モデルを用いて実世界の相互作用の普遍的なシミュレータを学習する可能性について検討する。 シミュレーターを用いて、高レベルな視覚言語ポリシーと低レベルな強化学習ポリシーの両方を訓練する。 ビデオキャプションモデルは、シミュレートされた経験を持つトレーニングの恩恵を受けることができる。
  論文  参考訳（メタデータ） (2023-10-09T19:42:22Z)
• Sim-to-Real via Sim-to-Seg: End-to-end Off-road Autonomous Driving Without Real Data [56.49494318285391]
  我々は、オフロード自動運転の視覚的現実的ギャップを横断するRCANを再想像するSim2Segを紹介する。 これは、ランダム化されたシミュレーション画像をシミュレートされたセグメンテーションと深さマップに変換する学習によって行われる。 これにより、シミュレーションでエンドツーエンドのRLポリシーをトレーニングし、現実世界に直接デプロイできます。
  論文  参考訳（メタデータ） (2022-10-25T17:50:36Z)
• Data generation using simulation technology to improve perception mechanism of autonomous vehicles [0.0]
  実世界から収集したデータと模擬世界から生成されたデータを組み合わせることで、認識システムを訓練する効果を実証する。 また,人間の学習体験をエミュレートすることを目的とした多段階深層学習知覚フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-01T03:42:33Z)
• SceneGen: Learning to Generate Realistic Traffic Scenes [92.98412203941912]
  私たちは、ルールと分布の必要性を緩和するトラフィックシーンのニューラルオートレグレッシブモデルであるSceneGenを紹介します。 実トラフィックシーンの分布を忠実にモデル化するSceneGenの能力を実証する。
  論文  参考訳（メタデータ） (2021-01-16T22:51:43Z)
• LiDARsim: Realistic LiDAR Simulation by Leveraging the Real World [84.57894492587053]
  物理に基づくシミュレーションと学習に基づくシミュレーションの両方のパワーをキャプチャする新しいシミュレータを開発した。 まず3Dシーン上でレイキャストを行い、次にディープニューラルネットワークを用いて物理シミュレーションから偏差を生成する。 本稿では,LiDARsimが長距離イベントにおける認識アルゴリズムのテストに有用であること,および安全クリティカルシナリオにおけるエンドツーエンドのクローズループ評価について紹介する。
  論文  参考訳（メタデータ） (2020-06-16T17:44:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。