論文の概要: SHaDe: Compact and Consistent Dynamic 3D Reconstruction via Tri-Plane Deformation and Latent Diffusion

• arxiv url: http://arxiv.org/abs/2505.16535v1
• Date: Thu, 22 May 2025 11:25:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-23 17:12:48.252872
• Title: SHaDe: Compact and Consistent Dynamic 3D Reconstruction via Tri-Plane Deformation and Latent Diffusion
• Title（参考訳）: SHaDe: トライプレーン変形と潜時拡散によるコンパクトかつ連続な動的3次元再構成
• Authors: Asrar Alruwayqi,
• Abstract要約: 本稿では3つの重要な要素を統合した動的3次元シーン再構成のための新しいフレームワークを提案する。 明示的な三面変形場、球面調和(SH)注目の視野条件付き正準場、時間的に認識される潜在拡散。 提案手法は,時間とともに進化する3つの2次元特徴面を用いて4次元シーンを符号化し,効率的なコンパクト表現を実現する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a novel framework for dynamic 3D scene reconstruction that integrates three key components: an explicit tri-plane deformation field, a view-conditioned canonical radiance field with spherical harmonics (SH) attention, and a temporally-aware latent diffusion prior. Our method encodes 4D scenes using three orthogonal 2D feature planes that evolve over time, enabling efficient and compact spatiotemporal representation. These features are explicitly warped into a canonical space via a deformation offset field, eliminating the need for MLP-based motion modeling. In canonical space, we replace traditional MLP decoders with a structured SH-based rendering head that synthesizes view-dependent color via attention over learned frequency bands improving both interpretability and rendering efficiency. To further enhance fidelity and temporal consistency, we introduce a transformer-guided latent diffusion module that refines the tri-plane and deformation features in a compressed latent space. This generative module denoises scene representations under ambiguous or out-of-distribution (OOD) motion, improving generalization. Our model is trained in two stages: the diffusion module is first pre-trained independently, and then fine-tuned jointly with the full pipeline using a combination of image reconstruction, diffusion denoising, and temporal consistency losses. We demonstrate state-of-the-art results on synthetic benchmarks, surpassing recent methods such as HexPlane and 4D Gaussian Splatting in visual quality, temporal coherence, and robustness to sparse-view dynamic inputs.
• Abstract（参考訳）: 本稿では,3つの重要な要素を統合した動的3次元シーン再構成フレームワークを提案する。 提案手法は,時間とともに進化する3つの直交2次元特徴面を用いて4次元シーンを符号化し,効率的かつコンパクトな時空間表現を実現する。 これらの特徴は、変形オフセットフィールドを介して、明示的に標準空間に歪められ、MDPベースのモーションモデリングが不要になる。 標準空間では、従来のMLPデコーダをSHベースの構造化レンダリングヘッドに置き換え、学習周波数帯上の注目によりビュー依存色を合成し、解釈性とレンダリング効率を向上する。 さらに忠実度と時間的整合性を高めるため,圧縮潜時空間における三面および変形特性を洗練させる変圧器誘導潜時拡散モジュールを導入する。 この生成モジュールは、不明瞭または外分布(OOD)動作下でのシーン表現を識別し、一般化を改善する。 本モデルでは, 拡散モジュールを独立に事前訓練し, 画像再構成, 拡散復調, 時間的整合性損失を組み合わせて, 完全パイプラインに微調整する。 我々は,HexPlaneや4D Gaussian Splattingといった最近の手法を,視覚的品質,時間的コヒーレンス,スパース・ビュー・ダイナミックな入力に対するロバスト性で上回っている。

関連論文リスト

• Sparc3D: Sparse Representation and Construction for High-Resolution 3D Shapes Modeling [34.238349310770886]
  Sarc3Dはスパース変形可能なマーチングキューブ表現と新しいエンコーダSparconv-VAEを組み合わせた統一フレームワークである。 Sparc3Dは、オープンサーフェス、切断されたコンポーネント、複雑な幾何学を含む挑戦的な入力に対して、最先端の再構築忠実性を達成する。
  論文  参考訳（メタデータ） (2025-05-20T15:44:54Z)
• LiftRefine: Progressively Refined View Synthesis from 3D Lifting with Volume-Triplane Representations [21.183524347952762]
  単視点または少数視点の入力画像から3次元のニューラルフィールドを用いた新しいビュー合成法を提案する。 我々の再構成モデルはまず、粗いスケールの3D表現として1つ以上の入力画像をボリュームから3D空間に持ち上げる。 我々の拡散モデルは、三面体からのレンダリング画像に欠けている詳細を幻覚させる。
  論文  参考訳（メタデータ） (2024-12-19T02:23:55Z)
• Event-boosted Deformable 3D Gaussians for Dynamic Scene Reconstruction [50.873820265165975]
  本稿では,高時間分解能連続運動データと動的シーン再構成のための変形可能な3D-GSを併用したイベントカメラについて紹介する。 本稿では、3次元再構成としきい値モデリングの両方を大幅に改善する相互強化プロセスを作成するGS-Thresholdジョイントモデリング戦略を提案する。 提案手法は,合成および実世界の動的シーンを用いた最初のイベント包摂型4Dベンチマークであり,その上で最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-11-25T08:23:38Z)
• VortSDF: 3D Modeling with Centroidal Voronoi Tesselation on Signed Distance Field [5.573454319150408]
  四面体グリッド上での3次元形状特性を推定するために,明示的なSDFフィールドと浅いカラーネットワークを組み合わせた体積最適化フレームワークを提案する。 Chamfer統計による実験結果は、オブジェクト、オープンシーン、人間などの様々なシナリオにおいて、前例のない復元品質でこのアプローチを検証する。
  論文  参考訳（メタデータ） (2024-07-29T09:46:39Z)
• CVT-xRF: Contrastive In-Voxel Transformer for 3D Consistent Radiance Fields from Sparse Inputs [65.80187860906115]
  スパース入力によるNeRFの性能向上のための新しい手法を提案する。 まず, サンプル線が, 3次元空間内の特定のボクセルと交差することを保証するために, ボクセルを用いた放射線サンプリング戦略を採用する。 次に、ボクセル内の追加点をランダムにサンプリングし、トランスフォーマーを適用して各線上の他の点の特性を推測し、ボリュームレンダリングに組み込む。
  論文  参考訳（メタデータ） (2024-03-25T15:56:17Z)
• Motion-aware 3D Gaussian Splatting for Efficient Dynamic Scene Reconstruction [89.53963284958037]
  動的シーン再構築のための新しい動き認識拡張フレームワークを提案する。 具体的には,まず3次元ガウス運動と画素レベルの流れの対応性を確立する。 より厳密な最適化問題を示す先行的な変形に基づくパラダイムに対して,過渡対応変形補助モジュールを提案する。
  論文  参考訳（メタデータ） (2024-03-18T03:46:26Z)
• Motion2VecSets: 4D Latent Vector Set Diffusion for Non-rigid Shape Reconstruction and Tracking [52.393359791978035]
  Motion2VecSetsは点雲列からの動的表面再構成のための4次元拡散モデルである。 グローバルな潜在符号の代わりに、潜在集合で4Dダイナミクスをパラメータ化する。 時間的コヒーレントな物体追跡のために、変形潜在集合を同期的に認知し、複数のフレーム間で情報を交換する。
  論文  参考訳（メタデータ） (2024-01-12T15:05:08Z)
• StableDreamer: Taming Noisy Score Distillation Sampling for Text-to-3D [88.66678730537777]
  本稿では3つの進歩を取り入れた方法論であるStableDreamerを紹介する。 まず、SDS生成前の等価性と、簡単な教師付きL2再構成損失を定式化する。 第2に,画像空間拡散は幾何学的精度に寄与するが,色調の鮮明化には潜時空間拡散が不可欠であることを示す。
  論文  参考訳（メタデータ） (2023-12-02T02:27:58Z)
• EmerNeRF: Emergent Spatial-Temporal Scene Decomposition via Self-Supervision [85.17951804790515]
  EmerNeRFは動的駆動シーンの時空間表現を学習するためのシンプルだが強力なアプローチである。 シーンの幾何学、外観、動き、セマンティクスを自己ブートストラップで同時にキャプチャする。 本手法はセンサシミュレーションにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-11-03T17:59:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。