論文の概要: Decompositional Neural Scene Reconstruction with Generative Diffusion Prior

• arxiv url: http://arxiv.org/abs/2503.14830v1
• Date: Wed, 19 Mar 2025 02:11:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-20 15:23:52.817951
• Title: Decompositional Neural Scene Reconstruction with Generative Diffusion Prior
• Title（参考訳）: 生成拡散を先行した分解型ニューラルシーン再構成
• Authors: Junfeng Ni, Yu Liu, Ruijie Lu, Zirui Zhou, Song-Chun Zhu, Yixin Chen, Siyuan Huang,
• Abstract要約: 完全な形状と詳細なテクスチャを持つ3次元シーンの分解的再構成は、下流の応用に興味深い。 近年のアプローチでは、この問題に対処するために意味的あるいは幾何学的正則化が取り入れられているが、制約の少ない領域では著しく劣化している。 本稿では,SDS(Score Distillation Sampling)の形で拡散先行値を用いたDP-Reconを提案し,新しい視点下で個々の物体の神経表現を最適化する。
• 参考スコア（独自算出の注目度）: 64.71091831762214
• License:
• Abstract: Decompositional reconstruction of 3D scenes, with complete shapes and detailed texture of all objects within, is intriguing for downstream applications but remains challenging, particularly with sparse views as input. Recent approaches incorporate semantic or geometric regularization to address this issue, but they suffer significant degradation in underconstrained areas and fail to recover occluded regions. We argue that the key to solving this problem lies in supplementing missing information for these areas. To this end, we propose DP-Recon, which employs diffusion priors in the form of Score Distillation Sampling (SDS) to optimize the neural representation of each individual object under novel views. This provides additional information for the underconstrained areas, but directly incorporating diffusion prior raises potential conflicts between the reconstruction and generative guidance. Therefore, we further introduce a visibility-guided approach to dynamically adjust the per-pixel SDS loss weights. Together these components enhance both geometry and appearance recovery while remaining faithful to input images. Extensive experiments across Replica and ScanNet++ demonstrate that our method significantly outperforms SOTA methods. Notably, it achieves better object reconstruction under 10 views than the baselines under 100 views. Our method enables seamless text-based editing for geometry and appearance through SDS optimization and produces decomposed object meshes with detailed UV maps that support photorealistic Visual effects (VFX) editing. The project page is available at https://dp-recon.github.io/.
• Abstract（参考訳）: 完全な形状と内部の全ての物体の詳細なテクスチャを持つ3次元シーンの分解的再構成は、下流のアプリケーションには興味深いが、特にスパースビューを入力として、依然として困難である。 近年のアプローチでは、この問題に対処するために意味的あるいは幾何学的正則化が取り入れられているが、制約の少ない地域では著しく劣化し、閉鎖領域の回復に失敗している。 この問題を解決する鍵は、これらの領域で欠落した情報を補うことであると我々は主張する。 この目的のために,新しい視点下での個々の物体の神経表現を最適化するために,SDS(Score Distillation Sampling)という形で拡散先行値を用いるDP-Reconを提案する。 これは、制約の少ない地域について追加情報を提供するが、拡散前の直接的統合は、再構成と生成誘導の間の潜在的な衝突を引き起こす。 そこで我々はさらに,画素ごとのSDS損失重みを動的に調整する可視性誘導手法を導入する。 これらのコンポーネントは、入力画像に忠実なまま、幾何学的および外観的回復の両方を高める。 Replica と ScanNet++ にまたがる広範囲な実験により,本手法が SOTA 法を著しく上回ることを示した。 特に、10ビュー以下のオブジェクト再構成は、100ビュー以下のベースラインよりも優れている。 本手法は,SDS最適化によるテクスチャと外観のシームレスなテキストベースの編集を可能にし,フォトリアリスティック・ビジュアルエフェクト(VFX)編集をサポートする詳細なUVマップを備えた分解されたオブジェクトメッシュを生成する。 プロジェクトページはhttps://dp-recon.github.io/.com/で公開されている。

関連論文リスト

• How to Use Diffusion Priors under Sparse Views? [29.738350228085928]
  Inline Prior Guided Score Matching is proposed to provide visual supervision over sparse view in 3D reconstruction。 提案手法は,最先端の復元品質を実現する。
  論文  参考訳（メタデータ） (2024-12-03T07:31:54Z)
• LM-Gaussian: Boost Sparse-view 3D Gaussian Splatting with Large Model Priors [34.91966359570867]
  スパースビューの再構築は本質的に不適切であり、制約を受けていない。 本稿では,限られた画像から高品質な再構成を生成できるLM-Gaussianを紹介する。 提案手法は,従来の3DGS法と比較してデータ取得要求を大幅に削減する。
  論文  参考訳（メタデータ） (2024-09-05T12:09:02Z)
• Towards Cross-View-Consistent Self-Supervised Surround Depth Estimation [9.569646683579899]
  連続画像からの自己監督下周深度推定は経済的な代替手段を提供する。 従来のSSSDE法では、画像間で情報を融合する異なるメカニズムが提案されているが、それらのいくつかは、クロスビュー制約を明示的に考慮している。 本稿では,SSSDEのクロスビュー一貫性を高めるために,効率的で一貫したポーズ推定設計と2つの損失関数を提案する。
  論文  参考訳（メタデータ） (2024-07-04T16:29:05Z)
• SMORE: Simulataneous Map and Object REconstruction [66.66729715211642]
  本稿では,LiDARから大規模都市景観を動的に再現する手法を提案する。 我々は、世界が厳格に動く物体と背景に分解される動的なシーンの構成モデルを総合的に捉え、最適化する。
  論文  参考訳（メタデータ） (2024-06-19T23:53:31Z)
• Total-Decom: Decomposed 3D Scene Reconstruction with Minimal Interaction [51.3632308129838]
  人間のインタラクションを最小限に抑えた3次元再構成法であるTotal-Decomを提案する。 提案手法は,Segment Anything Model (SAM) とハイブリッド型暗黙的なニューラルサーフェス表現をシームレスに統合し,メッシュベースの領域成長技術を用いて正確な3次元オブジェクト分解を行う。 提案手法をベンチマークデータセット上で広範囲に評価し,アニメーションやシーン編集などの下流アプリケーションの可能性を示す。
  論文  参考訳（メタデータ） (2024-03-28T11:12:33Z)
• AugUndo: Scaling Up Augmentations for Monocular Depth Completion and Estimation [51.143540967290114]
  本研究では,教師なし深度計算と推定のために,従来不可能であった幾何拡張の幅広い範囲をアンロックする手法を提案する。 これは、出力深さの座標への幾何変換を反転、あるいはアンドウイング(undo''-ing)し、深度マップを元の参照フレームに戻すことで達成される。
  論文  参考訳（メタデータ） (2023-10-15T05:15:45Z)
• FrozenRecon: Pose-free 3D Scene Reconstruction with Frozen Depth Models [67.96827539201071]
  本稿では,3次元シーン再構成のための新しいテスト時間最適化手法を提案する。 本手法は5つのゼロショットテストデータセット上で,最先端のクロスデータセット再構築を実現する。
  論文  参考訳（メタデータ） (2023-08-10T17:55:02Z)
• ERF: Explicit Radiance Field Reconstruction From Scratch [12.254150867994163]
  センサのポーズとキャリブレーションでシーンの一連の画像を処理し,フォトリアルなデジタルモデルを推定する,新しい高密度3次元再構成手法を提案する。 重要な革新の1つは、根底にある体積表現が完全に明示的であることである。 我々は,本手法が汎用的かつ実用的であることを示し,撮影に高度に制御された実験室の設置は必要とせず,多種多様な物体でシーンを再構築することができることを示した。
  論文  参考訳（メタデータ） (2022-02-28T19:37:12Z)
• 3D Dense Geometry-Guided Facial Expression Synthesis by Adversarial Learning [54.24887282693925]
  本稿では,3次元密度(深度,表面正規度)情報を表現操作に用いる新しいフレームワークを提案する。 既製の最先端3D再構成モデルを用いて深度を推定し,大規模RGB-Depthデータセットを作成する。 実験により,提案手法は競争ベースラインと既存の芸術を大きなマージンで上回ることを示した。
  論文  参考訳（メタデータ） (2020-09-30T17:12:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。