論文の概要: Building Pretraining Data for World Models: An Unreal Engine-Based Pipeline for Action-Conditioned Video Generation

• arxiv url: http://arxiv.org/abs/2609.03557v1
• Date: Thu, 03 Sep 2026 08:58:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-04 18:28:38.998426
• Title: Building Pretraining Data for World Models: An Unreal Engine-Based Pipeline for Action-Conditioned Video Generation
• Title（参考訳）: 世界モデルのための事前学習データの構築:アクション駆動ビデオ生成のための非現実的なエンジンベースパイプライン
• Abstract要約: 動作条件付きマルチビュービデオを生成するためにUnreal Engine上に構築した大規模合成データ生成パイプラインを提案する。 パイプラインは1080pビデオの2,691時間、720pビデオの6,076時間を生成する。
• 参考スコア（独自算出の注目度）: 53.851483224691634
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Action-conditioned video models require large-scale visual data paired with control signals that are temporally aligned with the resulting scene transitions. Such supervision is difficult to obtain from ordinary real-world video because the actions that caused each visual change are typically unknown. We present a large-scale synthetic data production pipeline built on Unreal Engine for generating action-conditioned, multi-view video. To accommodate the different execution requirements of real-time physics and high-quality offline rendering, the pipeline executes trajectory generation and final rendering in two stages: Stage I runs real physics in PIE and records per-frame character states, control inputs, and camera states into an intermediate trajectory representation; Stage II replays those trajectories in a new engine process and renders them offline with Movie Render Queue (MRQ). Around this core, we develop a distributed production system with cache-aware task partitioning, node-local slot scheduling, automated scene screening, aesthetic and luminance filtering, partial-output recovery, asynchronous upload, and continuous cluster health monitoring. The production cluster contains 25 servers with eight NVIDIA RTX 5090 GPUs per server. From 2,384 asset packs, 429 levels were retained for production together with a pool of 40 humanoid characters. The pipeline has produced 2,691 hours of 1080p video and 6,076 hours of 720p video. We describe the system architecture, the implementation decisions that emerged from production failures, and the limitations of using perceptual quality proxies for world-model data curation. The pipeline described in this report constitutes the Unreal Engine synthetic-data production component used in EchoWM.
• Abstract（参考訳）: アクション条件付きビデオモデルは、結果のシーン遷移と時間的に一致した制御信号と組み合わせた大規模な視覚データを必要とする。 このような監督は、視覚的変化の原因となる行動が通常不明であるため、通常の現実世界のビデオから入手することは困難である。 動作条件付きマルチビュービデオを生成するために,Unreal Engine上に構築した大規模合成データ生成パイプラインを提案する。 リアルタイム物理と高品質のオフラインレンダリングの異なる実行要件を満たすため、パイプラインは2つのステージで軌道生成と最終的なレンダリングを実行する:ステージIはPIEで実際の物理を実行し、フレームごとの文字の状態を記録し、制御入力とカメラ状態は中間の軌道表現に記録する。 このコアを中心に、キャッシュ対応タスク分割、ノードローカルスロットスケジューリング、自動シーンスクリーニング、美学と輝度フィルタリング、部分出力回復、非同期アップロード、継続的クラスタヘルス監視を備えた分散プロダクションシステムを開発した。 運用クラスタには、サーバ毎に8つのNVIDIA RTX 5090 GPUを備えた25のサーバが含まれている。 2,384のアセットパックから429のレベルが40のヒューマノイド文字のプールと共に生産された。 パイプラインは1080pビデオの2,691時間、720pビデオの6,076時間を生成する。 本稿では、システムアーキテクチャ、生産失敗から生じる実装決定、そして世界モデルデータキュレーションに知覚品質プロキシを使用することの限界について述べる。 本報告で説明したパイプラインは,EchoWMで使用されるUnreal Engineの合成データ生成コンポーネントを構成する。

関連論文リスト

• SolarWM: Open Data and Scalable Training for Long-Horizon Video World Models [88.64689505355055]
  我々は、データ準備から長距離推論まで、インタラクティブなビデオワールドモデルを構築するための完全にオープンな基盤であるSolarWMを紹介した。 SolarWMは、再構成可能なマルチソースデータエンジンとバックボーンネイティブ適応フレームワークとの結合に対処する。 Wan2.2、LTX-2.5、MiniMax-H3に基づく4つの5B-33Bモデルを、ネイティブ表現と目的を保存しながらインスタンス化する。 結果として生じる因果モデルにより、わずか5秒のシーケンスでトレーニングされた数分から数時間のロールアウトをリアルタイムに対話することができる。
  論文  参考訳（メタデータ） (2026-09-02T17:59:41Z)
• VideoCoCo: Code-as-CoT for Physically-Consistent Video Generation via an Agentic Dual-Engine System [77.32035315337522]
  テキストビデオモデルは物理的に一貫したダイナミクスを生成するのに苦労し、シーンの時間的進化は圧縮されたテキストプロンプトから暗黙的に推論されなければならない。 既存のチェーン・オブ・シークレットのアプローチは中間計画や視覚的状態を導入しているが、これらの表現は通常、非計算可能または時間的にスパースである。 我々は,実行可能なBlenderコードがプロセスレベルの思考の連鎖として機能する,エージェント型デュアルエンジンフレームワークであるVideoCoを紹介した。
  論文  参考訳（メタデータ） (2026-07-29T18:38:23Z)
• The GEST-Engine: From Event Graphs to Synthetic Video. A Full Technical Report [4.964902130083661]
  GEST-Engineは、自然言語テキストから完全注釈付きマルチアクタビデオまで、完全なシステムである。 その中核は明示的な世界モデルであり、学習した潜伏者として状態をエンコードするのではなく、エンジンは世界の完全な、検査可能な表現を維持している。 本稿では,ゲーム内エディタ,実行時能力抽出,テキスト生成パイプライン,並列仮想マシン間のコーパスを大規模にレンダリングするプロダクションシステムについて述べる。
  論文  参考訳（メタデータ） (2026-07-14T00:25:00Z)
• DriveGen3D: Boosting Feed-Forward Driving Scene Generation with Efficient Video Diffusion [62.589889759543446]
  DriveGen3Dは、高品質で制御可能な動的3D駆動シーンを生成するための新しいフレームワークである。 本研究は,映像の高速化と大規模動的シーン再構築を融合させることにより,この手法のギャップを埋めるものである。
  論文  参考訳（メタデータ） (2025-10-17T03:00:08Z)
• MotionAura: Generating High-Quality and Motion Consistent Videos using Discrete Diffusion [3.7270979204213446]
  ビデオ処理の課題に対処するための4つの重要なコントリビューションを提示する。 まず,3次元逆ベクトル量子化バリエンコエンコオートコーダを紹介する。 次に,テキスト・ビデオ生成フレームワークであるMotionAuraを紹介する。 第3に,スペクトル変換器を用いたデノナイジングネットワークを提案する。 第4に,Sketch Guided Videopaintingのダウンストリームタスクを導入する。
  論文  参考訳（メタデータ） (2024-10-10T07:07:56Z)
• xGen-VideoSyn-1: High-fidelity Text-to-Video Synthesis with Compressed Representations [120.52120919834988]
  xGen-SynVideo-1(xGen-SynVideo-1)は、テキスト記述からリアルなシーンを生成することができるテキスト・ツー・ビデオ(T2V)生成モデルである。 VidVAEはビデオデータを空間的にも時間的にも圧縮し、視覚トークンの長さを大幅に削減する。 DiTモデルは、空間的および時間的自己アテンション層を取り入れ、異なる時間枠とアスペクト比をまたいだ堅牢な一般化を可能にする。
  論文  参考訳（メタデータ） (2024-08-22T17:55:22Z)
• Render In-between: Motion Guided Video Synthesis for Action Interpolation [53.43607872972194]
  本研究では、リアルな人間の動きと外観を生成できる動き誘導型フレームアップサンプリングフレームワークを提案する。 大規模モーションキャプチャーデータセットを活用することにより、フレーム間の非線形骨格運動を推定するために、新しいモーションモデルが訓練される。 私たちのパイプラインでは、低フレームレートのビデオと不自由な人間のモーションデータしか必要としませんが、トレーニングには高フレームレートのビデオは必要ありません。
  論文  参考訳（メタデータ） (2021-11-01T15:32:51Z)
• Video-Data Pipelines for Machine Learning Applications [0.9594432031144714]
  提案するフレームワークは、MLバージョニング用の追加のビデオシーケンスデータセットに拡張することができる。 本稿では,オブジェクト検出アルゴリズムのバージョニングと監視のためのビデオデータパイプラインの性能解析を行う。
  論文  参考訳（メタデータ） (2021-10-15T20:28:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。