論文の概要: CCD-3DR: Consistent Conditioning in Diffusion for Single-Image 3D Reconstruction

• arxiv url: http://arxiv.org/abs/2308.07837v1
• Date: Tue, 15 Aug 2023 15:27:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-16 12:09:22.604260
• Title: CCD-3DR: Consistent Conditioning in Diffusion for Single-Image 3D Reconstruction
• Title（参考訳）: CCD-3DR : 単一画像3次元再構成のための拡散条件
• Authors: Yan Di, Chenyangguang Zhang, Pengyuan Wang, Guangyao Zhai, Ruida Zhang, Fabian Manhardt, Benjamin Busam, Xiangyang Ji, and Federico Tombari
• Abstract要約: 本稿では,一貫した局所的特徴条件付けのために,新しい集中拡散確率モデルを利用するCDD-3DRを提案する。 CCD-3DRは、40%以上の改善を伴い、全ての競合より大きなマージンを達成している。
• 参考スコア（独自算出の注目度）: 81.98244738773766
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In this paper, we present a novel shape reconstruction method leveraging diffusion model to generate 3D sparse point cloud for the object captured in a single RGB image. Recent methods typically leverage global embedding or local projection-based features as the condition to guide the diffusion model. However, such strategies fail to consistently align the denoised point cloud with the given image, leading to unstable conditioning and inferior performance. In this paper, we present CCD-3DR, which exploits a novel centered diffusion probabilistic model for consistent local feature conditioning. We constrain the noise and sampled point cloud from the diffusion model into a subspace where the point cloud center remains unchanged during the forward diffusion process and reverse process. The stable point cloud center further serves as an anchor to align each point with its corresponding local projection-based features. Extensive experiments on synthetic benchmark ShapeNet-R2N2 demonstrate that CCD-3DR outperforms all competitors by a large margin, with over 40% improvement. We also provide results on real-world dataset Pix3D to thoroughly demonstrate the potential of CCD-3DR in real-world applications. Codes will be released soon
• Abstract（参考訳）: 本稿では,拡散モデルを用いて,単一のrgb画像にキャプチャされた物体に対して3次元スパース点雲を生成する新しい形状再構成法を提案する。 最近の手法では、大域的埋め込みや局所射影に基づく特徴を拡散モデルを導く条件として利用することが多い。 しかし、そのような戦略は、特定の画像と復調点雲を一貫して整列させることができず、不安定な条件付けと性能の低下につながる。 本稿では,一貫した局所特徴条件付けのための新しい中心拡散確率モデルを用いたCD-3DRを提案する。 我々は,拡散モデルからのノイズとサンプリングされた点雲を,前方拡散過程と逆過程の間に点雲中心が変化しない部分空間に制約する。 さらにstable point cloud centerは、各ポイントを対応するローカルプロジェクションベースの機能にアラインするアンカーとして機能する。 総合的なベンチマークであるShapeNet-R2N2による実験により、CCD-3DRは、40%以上の改善を伴い、全ての競合より優れた性能を示した。 また、実世界のアプリケーションにおけるCCD-3DRの可能性を徹底的に示すために、実世界のデータセットPix3Dに結果を提供する。 コードも間もなくリリースされる

関連論文リスト

• Diffusion-Occ: 3D Point Cloud Completion via Occupancy Diffusion [5.189790379672664]
  拡散点クラウドコンプリートのための新しいフレームワークである textbfDiffusion-Occ を紹介する。 占有領域をしきい値にすることで、それを完全点雲に変換する。 実験の結果,Diffusion-Occは既存の差別的・生成的手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-08-27T07:57:58Z)
• Uplifting Range-View-based 3D Semantic Segmentation in Real-Time with Multi-Sensor Fusion [18.431017678057348]
  Range-View(RV)ベースの3Dポイントクラウドセグメンテーションは、そのコンパクトなデータ形式のために広く採用されている。 しかし、RVベースの手法は、隠蔽された点に対して堅牢なセグメンテーションを提供するには不十分である。 我々は新しいLiDARとカメラレンジビューに基づく3Dポイントクラウドセマンティックセマンティックセマンティック手法(LaCRange)を提案する。 提案手法は,リアルタイム性に加えて,nuScenesベンチマークの最先端結果も実現している。
  論文  参考訳（メタデータ） (2024-07-12T21:41:57Z)
• Neural Point Cloud Diffusion for Disentangled 3D Shape and Appearance Generation [29.818827785812086]
  コントロール可能な3Dアセットの生成は、映画、ゲーム、エンジニアリングにおけるコンテンツ作成やAR/VRなど、多くの実用的なアプリケーションにとって重要である。 本稿では,3次元拡散モデルに対して,ハイブリッド点雲とニューラル放射場アプローチを導入することで,絡み合いを実現するための適切な表現を提案する。
  論文  参考訳（メタデータ） (2023-12-21T18:46:27Z)
• D-SCo: Dual-Stream Conditional Diffusion for Monocular Hand-Held Object Reconstruction [74.49121940466675]
  モノクローナルハンドヘルドオブジェクト再構成のためのCentroid-fixed dual-stream conditionalfusionを導入する。 まず、対象のセントロイドがずれることを避けるために、手動制約付きセントロイド固定パラダイムを用いる。 第2に、意味的および幾何学的に手動物体の相互作用をモデル化するための二重ストリームデノイザを導入する。
  論文  参考訳（メタデータ） (2023-11-23T20:14:50Z)
• StarNet: Style-Aware 3D Point Cloud Generation [82.30389817015877]
  StarNetは、マッピングネットワークを使用して高忠実度および3Dポイントクラウドを再構築し、生成することができる。 我々のフレームワークは、クラウドの再構築と生成タスクにおいて、様々なメトリクスで同等の最先端のパフォーマンスを達成します。
  論文  参考訳（メタデータ） (2023-03-28T08:21:44Z)
• $PC^2$: Projection-Conditioned Point Cloud Diffusion for Single-Image 3D Reconstruction [97.06927852165464]
  単一のRGB画像から物体の3次元形状を再構築することは、コンピュータビジョンにおける長年の課題である。 条件付き偏光拡散プロセスによりスパース点雲を生成する単一像3次元再構成法を提案する。
  論文  参考訳（メタデータ） (2023-02-21T13:37:07Z)
• A Conditional Point Diffusion-Refinement Paradigm for 3D Point Cloud Completion [69.32451612060214]
  実スキャンされた3Dポイントクラウドはしばしば不完全であり、下流アプリケーションのために完全なポイントクラウドを復元することが重要である。 ほとんどの既存のポイントクラウド補完方法は、トレーニングにチャンファー距離(CD)損失を使用する。 本稿では,点雲完了のためのPDR(Point Diffusion-Refinement)パラダイムを提案する。
  論文  参考訳（メタデータ） (2021-12-07T06:59:06Z)
• Pseudo-LiDAR Point Cloud Interpolation Based on 3D Motion Representation and Spatial Supervision [68.35777836993212]
  我々はPseudo-LiDAR点雲ネットワークを提案し、時間的および空間的に高品質な点雲列を生成する。 点雲間のシーンフローを活用することにより,提案ネットワークは3次元空間運動関係のより正確な表現を学習することができる。
  論文  参考訳（メタデータ） (2020-06-20T03:11:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。