論文の概要: 4DStreamCtrl: Interactive Video Generation with Online 4D Control

• arxiv url: http://arxiv.org/abs/2608.25479v2
• Date: Thu, 27 Aug 2026 05:39:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-28 14:16:51.85908
• Title: 4DStreamCtrl: Interactive Video Generation with Online 4D Control
• Title（参考訳）: 4DStreamCtrl:オンライン4D制御によるインタラクティブビデオ生成
• Abstract要約: カメラの動き,物体の軌跡,深度を1つの3Dポイントトラック表現に統一できることを示す。 1つのモデルは、ジョイントカメラとオブジェクトコントロール、深度編集、モーショントランスファーを1つの前方パスで実行する。 我々は,このモデルを,長さに依存しない4ステップのデノナイジングステップで任意に長ビデオを生成する因果的学生に蒸留する。
• 参考スコア（独自算出の注目度）: 17.839928455658896
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Generative video models now synthesize footage nearly indistinguishable from reality. Their promise as interactive tools hinges on fine-grained control of how objects and the camera move over time, yet each existing approach captures only part of this: camera-parameter methods steer the viewpoint but cannot move objects, 2D-trajectory methods act in the image plane and ignore depth and occlusion, and recent 3D methods add geometry but run only offline at a fixed length. In particular, none combines 3D-consistent control of both camera and objects with real-time, streaming generation. Here we show that camera motion, object trajectories, and depth can be unified into a single 3D point-track representation, from which one model performs joint camera and object control, depth editing, and motion transfer in a single forward pass. To learn this interface at scale, we mine in-the-wild video for 3D motion supervision, yielding OpenVidHD-Motion3D, and encode it with a lightweight Geometric Motion Head that plugs into a pretrained video diffusion model. Because this encoder is temporally separable, we distill the model into a causal streaming student that generates arbitrarily long video in four denoising steps at memory independent of length. This unified design surpasses prior camera-only, 2D, and offline-3D methods in motion-control precision while covering modalities they address only in isolation. 4DStreamCtrl runs at 20 FPS on a single high-end GPU for 480p video and stays temporally coherent over hundreds of frames, enabling, to our knowledge, interactive 4D-controllable streaming generation for the first time. More broadly, grounding generation in explicit 3D geometry with efficient causal inference points toward interactive world models with closed-loop spatiotemporal control, from controllable simulators to real-time visual imagination for embodied agents.
• Abstract（参考訳）: 生成するビデオモデルは、現実とほとんど区別がつかない映像を合成する。 インタラクティブツールとしての彼らの約束は、オブジェクトとカメラが時間とともにどのように動くかのきめ細かな制御にあるが、既存のアプローチは、その一部だけを捉えている: カメラパラメーターメソッドは視点を操縦するが、オブジェクトを動かすことはできない 2Dトラジェクトリメソッドはイメージプレーンで作用し、深さと閉塞を無視する。 特に、カメラとオブジェクトの両方の3D一貫性のあるコントロールと、リアルタイムのストリーミング生成を組み合わせたものはありません。 ここでは, カメラの動き, 物体軌道, 深度を1つの3Dポイントトラック表現に統合し, 1つのモデルが1つの前方パスでジョイントカメラとオブジェクト制御, 深度編集, 動き伝達を行うことを示す。 このインターフェースを大規模に学習するために、我々は3Dモーション・インスペクティブのためのその場で動画をマイニングし、OpenVidHD-Motion3Dを生成し、事前に訓練されたビデオ拡散モデルに差し込む軽量な幾何学的モーション・ヘッドでエンコードした。 このエンコーダは時間的に分離可能であるため、長さによらず4段階のデノナイジングステップで任意の長ビデオを生成する因果ストリーミング学習者にモデルを蒸留する。 この統一された設計は、カメラオンリー、2D、オフラインの3Dメソッドを単独で扱えるモードをカバーしながら、モーションコントロールの精度で上回っている。 4DStreamCtrlは1台のハイエンドGPU上で20FPSで動作する。 より広義には、制御可能なシミュレータから、エンボディエージェントのリアルタイム視覚的想像力まで、クローズドループ時空間制御による対話的世界モデルに向けて、効率的な因果推論点を持つ明示的な3次元幾何学の基底生成を行う。

関連論文リスト

• Full-4D: Generating Full-Scope 4D Scenes from a Single-View Video [63.61099683012546]
  本稿では,同期マルチビュービデオのデータセットであるRealMV-4Dを紹介する。 次に、新しい融合時間(T)-ビュー(V)アテンション機構によって駆動される多視点ビデオ拡散モデルを訓練する。 実験により,本手法は視覚的忠実度と一貫性の両方において既存手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2026-05-25T06:59:26Z)
• VerseCrafter: Dynamic Realistic Video World Model with 4D Geometric Control [83.92729346325163]
  VerseCrafterは、4D対応のビデオワールドモデルであり、カメラとオブジェクトのダイナミクスの両方を明示的で一貫性のある制御を可能にする。 当社のアプローチは,静的な背景点雲を通じて世界状態をエンコードする,新しい4次元幾何制御表現を中心にしている。 これらの4D制御は、事前訓練されたビデオ拡散モデルのための条件付け信号にレンダリングされ、高忠実でビュー一貫性のあるビデオを生成することができる。
  論文  参考訳（メタデータ） (2026-01-08T17:28:52Z)
• Pixel-to-4D: Camera-Controlled Image-to-Video Generation with Dynamic 3D Gaussians [7.051077403685518]
  人間は、1つの画像だけを与えられたシーンの将来のダイナミクスを予測するのに優れています。 この能力を模倣できるビデオ生成モデルは、インテリジェントシステムにとって不可欠なコンポーネントである。 最近のアプローチでは、単一画像条件のビデオ生成における時間的コヒーレンスと3次元の整合性が改善されている。
  論文  参考訳（メタデータ） (2026-01-02T13:04:47Z)
• In-2-4D: Inbetweening from Two Single-View Images to 4D Generation [63.68181731564576]
  Inbetween-2-4Dという,2枚のシングルビュー画像を補間する4次元(つまり3D + モーション)の生成問題を提案する。 テキストや1つの画像のみからの映像/4D生成とは対照的に、補間タスクはより正確なモーション制御を利用して生成をよりよく制約することができる。
  論文  参考訳（メタデータ） (2025-04-11T09:01:09Z)
• GS-DiT: Advancing Video Generation with Pseudo 4D Gaussian Fields through Efficient Dense 3D Point Tracking [38.104532522698285]
  ビデオ拡散変換器(DiT)を直接訓練して4Dコンテンツを制御するには、高価なマルチビュービデオが必要である。 モノクロ・ダイナミック・ノベル・ビュー・シンセサイザー (MDVS) に触発され, 擬似4次元ガウス場を映像生成に適用した。 プレトレーニング済みのDiTを微調整して、GS-DiTと呼ばれるレンダリングされたビデオのガイダンスに従ってビデオを生成する。
  論文  参考訳（メタデータ） (2025-01-05T23:55:33Z)
• LeviTor: 3D Trajectory Oriented Image-to-Video Synthesis [80.2461057573121]
  本研究では,新しい次元,すなわち深度次元との相互作用を増大させ,ユーザが軌道上の各点に対して相対的な深度を割り当てることを許す。 本稿では,オブジェクトマスクを数個のクラスタポイントに抽象化することで,画像から映像への3次元トラジェクトリ制御の先駆的手法を提案する。 静的画像から実写映像を生成する際の物体の動きを正確に操作する手法であるLeviTorの有効性を検証する実験を行った。
  論文  参考訳（メタデータ） (2024-12-19T18:59:56Z)
• 3DTrajMaster: Mastering 3D Trajectory for Multi-Entity Motion in Video Generation [83.98251722144195]
  制御可能なビデオ生成における従来の方法は、主に物体の動きを操作するために2D制御信号を利用する。 本稿では3次元空間におけるマルチエンタリティダイナミクスを制御する頑健なコントローラである3DTrajMasterを紹介する。 3DTrajMasterは,多心性3D動作を制御するための精度と一般化の両面において,新しい最先端技術を設定する。
  論文  参考訳（メタデータ） (2024-12-10T18:55:13Z)
• VD3D: Taming Large Video Diffusion Transformers for 3D Camera Control [74.5434726968562]
  制御ネットライクなコンディショニング機構を用いて3次元カメラ制御のためのトランスフォーマー映像の改ざん方法を示す。 我々の研究は、トランスフォーマーに基づくビデオ拡散モデルのカメラ制御を可能にする最初のものである。
  論文  参考訳（メタデータ） (2024-07-17T17:59:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。