論文の概要: CCD-3DR: Consistent Conditioning in Diffusion for Single-Image 3D
Reconstruction
- arxiv url: http://arxiv.org/abs/2308.07837v1
- Date: Tue, 15 Aug 2023 15:27:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-16 12:09:22.604260
- Title: CCD-3DR: Consistent Conditioning in Diffusion for Single-Image 3D
Reconstruction
- Title(参考訳): CCD-3DR : 単一画像3次元再構成のための拡散条件
- Authors: Yan Di, Chenyangguang Zhang, Pengyuan Wang, Guangyao Zhai, Ruida
Zhang, Fabian Manhardt, Benjamin Busam, Xiangyang Ji, and Federico Tombari
- Abstract要約: 本稿では,一貫した局所的特徴条件付けのために,新しい集中拡散確率モデルを利用するCDD-3DRを提案する。
CCD-3DRは、40%以上の改善を伴い、全ての競合より大きなマージンを達成している。
- 参考スコア(独自算出の注目度): 81.98244738773766
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: In this paper, we present a novel shape reconstruction method leveraging
diffusion model to generate 3D sparse point cloud for the object captured in a
single RGB image. Recent methods typically leverage global embedding or local
projection-based features as the condition to guide the diffusion model.
However, such strategies fail to consistently align the denoised point cloud
with the given image, leading to unstable conditioning and inferior
performance. In this paper, we present CCD-3DR, which exploits a novel centered
diffusion probabilistic model for consistent local feature conditioning. We
constrain the noise and sampled point cloud from the diffusion model into a
subspace where the point cloud center remains unchanged during the forward
diffusion process and reverse process. The stable point cloud center further
serves as an anchor to align each point with its corresponding local
projection-based features. Extensive experiments on synthetic benchmark
ShapeNet-R2N2 demonstrate that CCD-3DR outperforms all competitors by a large
margin, with over 40% improvement. We also provide results on real-world
dataset Pix3D to thoroughly demonstrate the potential of CCD-3DR in real-world
applications. Codes will be released soon
- Abstract(参考訳): 本稿では,拡散モデルを用いて,単一のrgb画像にキャプチャされた物体に対して3次元スパース点雲を生成する新しい形状再構成法を提案する。
最近の手法では、大域的埋め込みや局所射影に基づく特徴を拡散モデルを導く条件として利用することが多い。
しかし、そのような戦略は、特定の画像と復調点雲を一貫して整列させることができず、不安定な条件付けと性能の低下につながる。
本稿では,一貫した局所特徴条件付けのための新しい中心拡散確率モデルを用いたCD-3DRを提案する。
我々は,拡散モデルからのノイズとサンプリングされた点雲を,前方拡散過程と逆過程の間に点雲中心が変化しない部分空間に制約する。
さらにstable point cloud centerは、各ポイントを対応するローカルプロジェクションベースの機能にアラインするアンカーとして機能する。
総合的なベンチマークであるShapeNet-R2N2による実験により、CCD-3DRは、40%以上の改善を伴い、全ての競合より優れた性能を示した。
また、実世界のアプリケーションにおけるCCD-3DRの可能性を徹底的に示すために、実世界のデータセットPix3Dに結果を提供する。
コードも間もなくリリースされる
関連論文リスト
- Neural Point Cloud Diffusion for Disentangled 3D Shape and Appearance
Generation [31.99100874641616]
コントロール可能な3Dアセットの生成は、映画、ゲーム、エンジニアリングにおけるコンテンツ作成やAR/VRなど、多くの実用的なアプリケーションにとって重要である。
本稿では,3次元拡散モデルに対して,ハイブリッド点雲とニューラル放射場アプローチを導入することで,絡み合いを実現するための適切な表現を提案する。
論文 参考訳(メタデータ) (2023-12-21T18:46:27Z) - Sparse3D: Distilling Multiview-Consistent Diffusion for Object
Reconstruction from Sparse Views [47.215089338101066]
スパースビュー入力に適した新しい3D再構成手法であるスパース3Dを提案する。
提案手法は,多視点拡散モデルから頑健な先行情報を抽出し,ニューラルラディアンス場を改良する。
強力な画像拡散モデルから2Dプリエントをタップすることで、我々の統合モデルは、常に高品質な結果をもたらす。
論文 参考訳(メタデータ) (2023-08-27T11:52:00Z) - StarNet: Style-Aware 3D Point Cloud Generation [82.30389817015877]
StarNetは、マッピングネットワークを使用して高忠実度および3Dポイントクラウドを再構築し、生成することができる。
我々のフレームワークは、クラウドの再構築と生成タスクにおいて、様々なメトリクスで同等の最先端のパフォーマンスを達成します。
論文 参考訳(メタデータ) (2023-03-28T08:21:44Z) - $PC^2$: Projection-Conditioned Point Cloud Diffusion for Single-Image 3D
Reconstruction [97.06927852165464]
単一のRGB画像から物体の3次元形状を再構築することは、コンピュータビジョンにおける長年の課題である。
条件付き偏光拡散プロセスによりスパース点雲を生成する単一像3次元再構成法を提案する。
論文 参考訳(メタデータ) (2023-02-21T13:37:07Z) - NerfDiff: Single-image View Synthesis with NeRF-guided Distillation from
3D-aware Diffusion [107.67277084886929]
単一の画像からの新しいビュー合成には、オブジェクトやシーンの隠蔽領域を推論すると同時に、入力とのセマンティックおよび物理的整合性を同時に維持する必要がある。
そこで我々は,NerfDiffを提案する。NerfDiffは3D対応条件拡散モデル(CDM)の知識を,テスト時に仮想ビューの集合を合成・精製することで,NeRFに抽出することでこの問題に対処する。
さらに,CDMサンプルから3次元一貫した仮想ビューを同時に生成し,改良された仮想ビューに基づいてNeRFを微調整する新しいNeRF誘導蒸留アルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-02-20T17:12:00Z) - Flow-based GAN for 3D Point Cloud Generation from a Single Image [16.04710129379503]
本稿では,任意の解像度の点群をサンプリングするためのフローベース明示的生成モデルを継承する,ハイブリッドな明示的生成モデルを提案する。
大規模合成データセットShapeNetについて評価し,提案手法の優れた性能を示す実験結果を得た。
論文 参考訳(メタデータ) (2022-10-08T17:58:20Z) - A Conditional Point Diffusion-Refinement Paradigm for 3D Point Cloud
Completion [69.32451612060214]
実スキャンされた3Dポイントクラウドはしばしば不完全であり、下流アプリケーションのために完全なポイントクラウドを復元することが重要である。
ほとんどの既存のポイントクラウド補完方法は、トレーニングにチャンファー距離(CD)損失を使用する。
本稿では,点雲完了のためのPDR(Point Diffusion-Refinement)パラダイムを提案する。
論文 参考訳(メタデータ) (2021-12-07T06:59:06Z) - Pseudo-LiDAR Point Cloud Interpolation Based on 3D Motion Representation
and Spatial Supervision [68.35777836993212]
我々はPseudo-LiDAR点雲ネットワークを提案し、時間的および空間的に高品質な点雲列を生成する。
点雲間のシーンフローを活用することにより,提案ネットワークは3次元空間運動関係のより正確な表現を学習することができる。
論文 参考訳(メタデータ) (2020-06-20T03:11:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。