論文の概要: Fast Dynamic 3D Object Generation from a Single-view Video

• arxiv url: http://arxiv.org/abs/2401.08742v1
• Date: Tue, 16 Jan 2024 18:58:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-18 17:59:44.323013
• Title: Fast Dynamic 3D Object Generation from a Single-view Video
• Title（参考訳）: シングルビュービデオからの高速動的3dオブジェクト生成
• Authors: Zijie Pan, Zeyu Yang, Xiatian Zhu, Li Zhang
• Abstract要約: 本稿では,効率的な4Dオブジェクト生成フレームワークであるEfficient4Dを提案する。 異なるカメラビューの下で高品質な時空一貫性の画像を生成し、ラベル付きデータとして使用する。 合成ビデオと実ビデオの実験によると、Efficient4Dのスピードは10倍に向上している。
• 参考スコア（独自算出の注目度）: 45.996494048942075
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generating dynamic three-dimensional (3D) object from a single-view video is challenging due to the lack of 4D labeled data. Existing methods extend text-to-3D pipelines by transferring off-the-shelf image generation models such as score distillation sampling, but they are slow and expensive to scale (e.g., 150 minutes per object) due to the need for back-propagating the information-limited supervision signals through a large pretrained model. To address this limitation, we propose an efficient video-to-4D object generation framework called Efficient4D. It generates high-quality spacetime-consistent images under different camera views, and then uses them as labeled data to directly train a novel 4D Gaussian splatting model with explicit point cloud geometry, enabling real-time rendering under continuous camera trajectories. Extensive experiments on synthetic and real videos show that Efficient4D offers a remarkable 10-fold increase in speed when compared to prior art alternatives while preserving the same level of innovative view synthesis quality. For example, Efficient4D takes only 14 minutes to model a dynamic object.
• Abstract（参考訳）: 4dラベル付きデータがないため、シングルビュービデオから動的3次元オブジェクトを生成するのは困難である。 既存の方法では、スコア蒸留サンプリングなどのオフ・ザ・シェルフ画像生成モデルを転送することでテキストから3Dパイプラインを拡張するが、大きな事前訓練されたモデルを通して情報制限された監視信号のバックプロパゲートを必要とするため、遅くてコストがかかる(例えば、1オブジェクトあたり150分)。 この制限に対処するため,Efficient4Dと呼ばれる効率的な4Dオブジェクト生成フレームワークを提案する。 異なるカメラビューの下で高品質な時空一貫性画像を生成し、ラベル付きデータとして使用して、明示的なポイントクラウド幾何学を持つ新しい4Dガウススプラッティングモデルをトレーニングし、連続カメラ軌道下でリアルタイムレンダリングを可能にする。 合成ビデオと実写ビデオの広範囲な実験により、efficiant4dは、同じレベルの革新的なビュー合成品質を維持しながら、先行技術よりも10倍の速度向上をもたらすことが示されている。 例えば、Efficient4Dは動的オブジェクトをモデル化するのにわずか14分しかかからない。

関連論文リスト

• Deblur4DGS: 4D Gaussian Splatting from Blurry Monocular Video [64.38566659338751]
  Deblur4DGSという,ぼやけたモノクロビデオから高品質な4Dモデルを再構成するための,最初の4Dガウス分割フレームワークを提案する。 本稿では,多面的,多面的整合性,多面的,多面的,多面的な整合性を実現するために露光規則化を導入し,斬新な視点以外では,デブレア4DGSは,デブロアリング,フレーム合成,ビデオ安定化など,多面的な視点からぼやけた映像を改善するために応用できる。
  論文  参考訳（メタデータ） (2024-12-09T12:02:11Z)
• SV4D: Dynamic 3D Content Generation with Multi-Frame and Multi-View Consistency [37.96042037188354]
  本稿では,多フレーム・多視点一貫した動的3Dコンテンツ生成のための遅延ビデオ拡散モデルであるStable Video 4D(SV4D)を提案する。
  論文  参考訳（メタデータ） (2024-07-24T17:59:43Z)
• EG4D: Explicit Generation of 4D Object without Score Distillation [105.63506584772331]
  DG4Dは、スコア蒸留なしで高品質で一貫した4Dアセットを生成する新しいフレームワークである。 私たちのフレームワークは、世代品質のベースラインをかなりのマージンで上回ります。
  論文  参考訳（メタデータ） (2024-05-28T12:47:22Z)
• Diffusion4D: Fast Spatial-temporal Consistent 4D Generation via Video Diffusion Models [116.31344506738816]
  高速でスケーラブルな4Dコンテンツ生成のための新しいフレームワーク textbfDiffusion4D を提案する。 ダイナミックな3Dアセットの軌道ビューを合成できる4D対応ビデオ拡散モデルを開発した。 提案手法は, 生成効率と4次元幾何整合性の観点から, 従来の最先端技術を超えている。
  論文  参考訳（メタデータ） (2024-05-26T17:47:34Z)
• 4DGen: Grounded 4D Content Generation with Spatial-temporal Consistency [118.15258850780417]
  textbf4DGenは、4Dコンテンツ作成のための新しいフレームワークである。 我々のパイプラインは、制御可能な4D生成を容易にし、ユーザがモノクロビデオで動きを指定したり、画像から映像への世代を適用できる。 既存のビデオから4Dのベースラインと比較すると,入力信号の忠実な再構成には優れた結果が得られる。
  論文  参考訳（メタデータ） (2023-12-28T18:53:39Z)
• DreamGaussian4D: Generative 4D Gaussian Splatting [56.49043443452339]
  DG4D(DreamGaussian 4D:DreamGaussian 4D)はGaussian Splatting(GS)をベースとした効率的な4D生成フレームワークである。 我々の重要な洞察は、空間変換の明示的なモデリングと静的GSを組み合わせることで、4次元生成の効率的かつ強力な表現ができるということである。 ビデオ生成手法は、高画質の4D生成を向上し、価値ある時空間前兆を提供する可能性がある。
  論文  参考訳（メタデータ） (2023-12-28T17:16:44Z)
• Consistent4D: Consistent 360{\deg} Dynamic Object Generation from Monocular Video [15.621374353364468]
  Consistent4Dは、モノクロビデオから4D動的オブジェクトを生成するための新しいアプローチである。 我々は、360度ダイナミックオブジェクト再構成を4次元生成問題として、退屈なマルチビューデータ収集とカメラキャリブレーションの必要性を排除した。
  論文  参考訳（メタデータ） (2023-11-06T03:26:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。