論文の概要: Can Video Diffusion Model Reconstruct 4D Geometry?

• arxiv url: http://arxiv.org/abs/2503.21082v1
• Date: Thu, 27 Mar 2025 01:44:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-28 12:52:50.361261
• Title: Can Video Diffusion Model Reconstruct 4D Geometry?
• Title（参考訳）: ビデオ拡散モデルが4次元形状を再構成できるか?
• Authors: Jinjie Mai, Wenxuan Zhu, Haozhe Liu, Bing Li, Cheng Zheng, Jürgen Schmidhuber, Bernard Ghanem,
• Abstract要約: Sora3Rは、カジュアルなビデオから4Dのポイントマップを推測するために、大きなダイナミックビデオ拡散モデルのリッチ・テンポラリなテンポラリなテンポラリな時間を利用する新しいフレームワークである。 実験により、Sora3Rはカメラのポーズと詳細なシーン形状の両方を確実に復元し、動的4D再構成のための最先端の手法と同等の性能を発揮することが示された。
• 参考スコア（独自算出の注目度）: 66.5454886982702
• License:
• Abstract: Reconstructing dynamic 3D scenes (i.e., 4D geometry) from monocular video is an important yet challenging problem. Conventional multiview geometry-based approaches often struggle with dynamic motion, whereas recent learning-based methods either require specialized 4D representation or sophisticated optimization. In this paper, we present Sora3R, a novel framework that taps into the rich spatiotemporal priors of large-scale video diffusion models to directly infer 4D pointmaps from casual videos. Sora3R follows a two-stage pipeline: (1) we adapt a pointmap VAE from a pretrained video VAE, ensuring compatibility between the geometry and video latent spaces; (2) we finetune a diffusion backbone in combined video and pointmap latent space to generate coherent 4D pointmaps for every frame. Sora3R operates in a fully feedforward manner, requiring no external modules (e.g., depth, optical flow, or segmentation) or iterative global alignment. Extensive experiments demonstrate that Sora3R reliably recovers both camera poses and detailed scene geometry, achieving performance on par with state-of-the-art methods for dynamic 4D reconstruction across diverse scenarios.
• Abstract（参考訳）: モノクロビデオから動的3Dシーン(すなわち4D幾何学)を再構成することは重要な問題であるが、難しい問題である。 従来のマルチビュー幾何に基づくアプローチは動的運動にしばしば苦労するが、最近の学習に基づく手法では特殊な4D表現を必要とするか、洗練された最適化を必要とする。 本稿では,大規模ビデオ拡散モデルの時空間的優位性を活かし,カジュアルビデオから直接4Dポイントマップを推定する新しいフレームワークであるSora3Rを提案する。 Sora3R は,(1) 予め訓練されたビデオ VAE から点マップ VAE を適応させ,幾何とビデオ潜時空間の整合性を確保し,(2) 拡散バックボーンをビデオ空間とポイントマップ潜時空間の組み合わせで微調整し,フレーム毎にコヒーレントな 4D 点マップを生成する。 Sora3Rは完全にフィードフォワードで動作し、外部モジュール(例えば、深さ、光学フロー、セグメンテーション)や反復的なグローバルアライメントを必要としない。 大規模な実験により、Sora3Rはカメラのポーズと詳細なシーン形状の両方を確実に復元し、様々なシナリオにまたがる動的4D再構成のための最先端の手法と同等のパフォーマンスを達成している。

関連論文リスト

• Deblur4DGS: 4D Gaussian Splatting from Blurry Monocular Video [64.38566659338751]
  Deblur4DGSという,ぼやけたモノクロビデオから高品質な4Dモデルを再構成するための,最初の4Dガウス分割フレームワークを提案する。 本稿では,多面的,多面的整合性,多面的,多面的,多面的な整合性を実現するために露光規則化を導入し,斬新な視点以外では,デブレア4DGSは,デブロアリング,フレーム合成,ビデオ安定化など,多面的な視点からぼやけた映像を改善するために応用できる。
  論文  参考訳（メタデータ） (2024-12-09T12:02:11Z)
• CAT4D: Create Anything in 4D with Multi-View Video Diffusion Models [98.03734318657848]
  本研究では,モノクロ映像から4次元(ダイナミックな3D)シーンを生成するCAT4Dを提案する。 我々は、多様なデータセットの組み合わせに基づいて訓練された多視点ビデオ拡散モデルを活用して、新しいビュー合成を実現する。 新規なビュー合成と動的シーン再構成ベンチマークにおける競合性能を実証する。
  論文  参考訳（メタデータ） (2024-11-27T18:57:16Z)
• S4D: Streaming 4D Real-World Reconstruction with Gaussians and 3D Control Points [30.46796069720543]
  本稿では,離散的な3次元制御点を用いた4次元実世界の再構成をストリーミングする手法を提案する。 この方法は局所光を物理的にモデル化し、運動デカップリング座標系を確立する。 従来のグラフィックスと学習可能なパイプラインを効果的にマージすることにより、堅牢で効率的なローカルな6自由度(6自由度)モーション表現を提供する。
  論文  参考訳（メタデータ） (2024-08-23T12:51:49Z)
• Animate3D: Animating Any 3D Model with Multi-view Video Diffusion [47.05131487114018]
  Animate3Dは静的な3Dモデルをアニメーションするための新しいフレームワークである。 本研究では,3Dオブジェクトのアニメーション化に多視点ビデオ拡散プリミティブを活用するために,再構成と4Dスコア蒸留サンプリング(4D-SDS)を組み合わせたフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-16T05:35:57Z)
• Diffusion4D: Fast Spatial-temporal Consistent 4D Generation via Video Diffusion Models [116.31344506738816]
  高速でスケーラブルな4Dコンテンツ生成のための新しいフレームワーク textbfDiffusion4D を提案する。 ダイナミックな3Dアセットの軌道ビューを合成できる4D対応ビデオ拡散モデルを開発した。 提案手法は, 生成効率と4次元幾何整合性の観点から, 従来の最先端技術を超えている。
  論文  参考訳（メタデータ） (2024-05-26T17:47:34Z)
• DUSt3R: Geometric 3D Vision Made Easy [8.471330244002564]
  Dense and Unconstrained Stereo 3D Reconstruction of arbitrary image collections。 本定式化は単眼および両眼の再建症例を円滑に統一することを示す。 私たちの定式化はシーンの3Dモデルと深度情報を直接提供しますが、興味深いことに、シームレスに回復できます。
  論文  参考訳（メタデータ） (2023-12-21T18:52:14Z)
• Unbiased 4D: Monocular 4D Reconstruction with a Neural Deformation Model [76.64071133839862]
  モノクロRGBビデオから一般的なデフォーミングシーンをキャプチャすることは、多くのコンピュータグラフィックスや視覚アプリケーションにとって不可欠である。 提案手法であるUb4Dは、大きな変形を処理し、閉塞領域での形状補完を行い、可変ボリュームレンダリングを用いて、単眼のRGBビデオを直接操作することができる。 我々の新しいデータセットの結果は公開され、表面の復元精度と大きな変形に対する堅牢性の観点から、技術の現状が明らかに改善されていることを実証する。
  論文  参考訳（メタデータ） (2022-06-16T17:59:54Z)
• Class-agnostic Reconstruction of Dynamic Objects from Videos [127.41336060616214]
  動的オブジェクトをRGBDや校正ビデオから再構成するためのクラスに依存しないフレームワークであるREDOを紹介する。 我々は2つの新しいモジュールを開発し、まず、時間的視覚的手がかりを集約したピクセル整合性を持つ正準4次元暗黙関数を導入する。 第2に、時間的伝播と集約をサポートするためにオブジェクトのダイナミクスをキャプチャする4D変換モジュールを開発する。
  論文  参考訳（メタデータ） (2021-12-03T18:57:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。