論文の概要: GS-DiT: Advancing Video Generation with Pseudo 4D Gaussian Fields through Efficient Dense 3D Point Tracking

• arxiv url: http://arxiv.org/abs/2501.02690v1
• Date: Sun, 05 Jan 2025 23:55:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-07 17:07:12.518893
• Title: GS-DiT: Advancing Video Generation with Pseudo 4D Gaussian Fields through Efficient Dense 3D Point Tracking
• Title（参考訳）: GS-DiT:高密度3Dポイントトラッキングによる擬似4Dガウス場による映像生成の高速化
• Authors: Weikang Bian, Zhaoyang Huang, Xiaoyu Shi, Yijin Li, Fu-Yun Wang, Hongsheng Li,
• Abstract要約: ビデオ拡散変換器(DiT)を直接訓練して4Dコンテンツを制御するには、高価なマルチビュービデオが必要である。 モノクロ・ダイナミック・ノベル・ビュー・シンセサイザー (MDVS) に触発され, 擬似4次元ガウス場を映像生成に適用した。 プレトレーニング済みのDiTを微調整して、GS-DiTと呼ばれるレンダリングされたビデオのガイダンスに従ってビデオを生成する。
• 参考スコア（独自算出の注目度）: 38.104532522698285
• License:
• Abstract: 4D video control is essential in video generation as it enables the use of sophisticated lens techniques, such as multi-camera shooting and dolly zoom, which are currently unsupported by existing methods. Training a video Diffusion Transformer (DiT) directly to control 4D content requires expensive multi-view videos. Inspired by Monocular Dynamic novel View Synthesis (MDVS) that optimizes a 4D representation and renders videos according to different 4D elements, such as camera pose and object motion editing, we bring pseudo 4D Gaussian fields to video generation. Specifically, we propose a novel framework that constructs a pseudo 4D Gaussian field with dense 3D point tracking and renders the Gaussian field for all video frames. Then we finetune a pretrained DiT to generate videos following the guidance of the rendered video, dubbed as GS-DiT. To boost the training of the GS-DiT, we also propose an efficient Dense 3D Point Tracking (D3D-PT) method for the pseudo 4D Gaussian field construction. Our D3D-PT outperforms SpatialTracker, the state-of-the-art sparse 3D point tracking method, in accuracy and accelerates the inference speed by two orders of magnitude. During the inference stage, GS-DiT can generate videos with the same dynamic content while adhering to different camera parameters, addressing a significant limitation of current video generation models. GS-DiT demonstrates strong generalization capabilities and extends the 4D controllability of Gaussian splatting to video generation beyond just camera poses. It supports advanced cinematic effects through the manipulation of the Gaussian field and camera intrinsics, making it a powerful tool for creative video production. Demos are available at https://wkbian.github.io/Projects/GS-DiT/.
• Abstract（参考訳）: 4Dビデオ制御は、マルチカメラ撮影やドリーズームといった高度なレンズ技術の使用を可能にするため、ビデオ生成において不可欠である。 ビデオ拡散変換器(DiT)を直接訓練して4Dコンテンツを制御するには、高価なマルチビュービデオが必要である。 モノクロダイナミック・ノベル・ビュー・シンセサイザー (MDVS) にインスパイアされ、4D表現を最適化し、カメラポーズやオブジェクトモーション編集などの異なる4D要素に従って映像をレンダリングする。 具体的には、高密度な3Dポイントトラッキングを備えた擬似4Dガウス場を構築し、すべてのビデオフレームに対してガウス場を描画する新しいフレームワークを提案する。 次に、トレーニング済みのDiTを微調整して、GS-DiTと呼ばれるレンダリングされたビデオのガイダンスに従ってビデオを生成する。 また,GS-DiTのトレーニングを強化するために,擬似4次元ガウス場構築のためのDense 3D Point Tracking (D3D-PT)法を提案する。 我々のD3D-PTは、最先端のスパース3Dポイントトラッキング手法であるSpatialTrackerを精度良く上回り、2桁の精度で推論速度を加速する。 推論段階では、GS-DiTは異なるカメラパラメータに固執しながら、同じダイナミックなコンテンツでビデオを生成することができ、現在のビデオ生成モデルの大幅な制限に対処する。 GS-DiTは強力な一般化機能を示し、ガウシアンスプラッティングの4D制御性をカメラのポーズ以上のビデオ生成に拡張する。 ガウシアン・フィールドの操作とカメラの内在性によって、高度な映画効果をサポートしており、クリエイティブなビデオ制作のための強力なツールとなっている。 デモはhttps://wkbian.github.io/Projects/GS-DiT/で公開されている。

関連論文リスト

• Deblur4DGS: 4D Gaussian Splatting from Blurry Monocular Video [64.38566659338751]
  Deblur4DGSという,ぼやけたモノクロビデオから高品質な4Dモデルを再構成するための,最初の4Dガウス分割フレームワークを提案する。 本稿では,多面的,多面的整合性,多面的,多面的,多面的な整合性を実現するために露光規則化を導入し,斬新な視点以外では,デブレア4DGSは,デブロアリング,フレーム合成,ビデオ安定化など,多面的な視点からぼやけた映像を改善するために応用できる。
  論文  参考訳（メタデータ） (2024-12-09T12:02:11Z)
• GenXD: Generating Any 3D and 4D Scenes [137.5455092319533]
  本稿では,日常的によく見られるカメラと物体の動きを利用して,一般的な3Dと4Dの生成を共同で調査することを提案する。 すべての3Dおよび4Dデータを活用することで、我々は、あらゆる3Dまたは4Dシーンを生成できるフレームワークであるGenXDを開発した。
  論文  参考訳（メタデータ） (2024-11-04T17:45:44Z)
• Enhancing Temporal Consistency in Video Editing by Reconstructing Videos with 3D Gaussian Splatting [94.84688557937123]
  Video-3DGSは、ゼロショットビデオエディタの時間的一貫性を高めるために設計された3Dガウススプラッティング(3DGS)ベースのビデオ精細機である。 本手法は動的モノクロビデオの編集に適した2段階の3次元ガウス最適化プロセスを利用する。 58の動的モノクロビデオ間の時間的一貫性を確保することで、ビデオ編集を強化する。
  論文  参考訳（メタデータ） (2024-06-04T17:57:37Z)
• 4DGen: Grounded 4D Content Generation with Spatial-temporal Consistency [118.15258850780417]
  textbf4DGenは、4Dコンテンツ作成のための新しいフレームワークである。 我々のパイプラインは、制御可能な4D生成を容易にし、ユーザがモノクロビデオで動きを指定したり、画像から映像への世代を適用できる。 既存のビデオから4Dのベースラインと比較すると,入力信号の忠実な再構成には優れた結果が得られる。
  論文  参考訳（メタデータ） (2023-12-28T18:53:39Z)
• DreamGaussian4D: Generative 4D Gaussian Splatting [56.49043443452339]
  DG4D(DreamGaussian 4D:DreamGaussian 4D)はGaussian Splatting(GS)をベースとした効率的な4D生成フレームワークである。 我々の重要な洞察は、空間変換の明示的なモデリングと静的GSを組み合わせることで、4次元生成の効率的かつ強力な表現ができるということである。 ビデオ生成手法は、高画質の4D生成を向上し、価値ある時空間前兆を提供する可能性がある。
  論文  参考訳（メタデータ） (2023-12-28T17:16:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。