論文の概要: SC-Diff: 3D Shape Completion with Latent Diffusion Models
- arxiv url: http://arxiv.org/abs/2403.12470v2
- Date: Mon, 01 Sep 2025 10:37:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-03 20:08:26.110567
- Title: SC-Diff: 3D Shape Completion with Latent Diffusion Models
- Title(参考訳): SC-Diff:潜在拡散モデルを用いた3次元形状補完
- Authors: Simon Schaefer, Juan D. Galvis, Xingxing Zuo, Stefan Leutengger,
- Abstract要約: マルチモーダル条件を統一する新しい3次元形状完備化フレームワークを提案する。
形状はTrncated Signed Distance Function (TSDF) として表現され、2Dと3Dのキューで共同で制御された離散潜在空間に符号化される。
提案手法は, フレキシブルなマルチモーダルコンディショニングにより生成過程をガイドし, 2次元情報と3次元情報の一貫した統合を保証する。
- 参考スコア(独自算出の注目度): 4.261508855254493
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a novel 3D shape completion framework that unifies multimodal conditioning, leveraging both 2D images and 3D partial scans through a latent diffusion model. Shapes are represented as Truncated Signed Distance Functions (TSDFs) and encoded into a discrete latent space jointly supervised by 2D and 3D cues, enabling efficient high-resolution processing while reducing GPU memory usage by 30\% compared to state-of-the-art methods. Our approach guides the generation process with flexible multimodal conditioning, ensuring consistent integration of 2D and 3D information from encoding to reconstruction. Our training strategy simulates realistic partial observations, avoiding assumptions about input structure and improving robustness in real-world scenarios. Leveraging our efficient latent space and multimodal conditioning, our model generalizes across object categories, outperforming class-specific models by 12\% and class-agnostic models by 47\% in $l_1$ reconstruction error, while producing more diverse, realistic, and high-fidelity completions than prior approaches.
- Abstract(参考訳): 本稿では,2次元画像と3次元部分スキャンの両方を潜在拡散モデルにより利用し,マルチモーダルコンディショニングを統一する新しい3次元形状完備化フレームワークを提案する。
形状はTrncated Signed Distance Function (TSDF) として表現され、2Dと3Dのキューが共同で監督する離散潜在空間に符号化される。
提案手法は, フレキシブルなマルチモーダルコンディショニングにより生成過程をガイドし, エンコーディングから再構築までの2次元情報と3次元情報の一貫した統合を保証する。
我々のトレーニング戦略は、現実的な部分的な観察をシミュレートし、入力構造に関する仮定を回避し、現実のシナリオにおける堅牢性を改善する。
効率的な潜伏空間とマルチモーダルコンディショニングを利用して、オブジェクトカテゴリをまたいで一般化し、クラス固有モデルよりも12\%、クラス非依存モデルでは47\%、再構成エラーでは$l_1$で47\%、より多様性があり、現実的で、より忠実なコンプリートを生成する。
関連論文リスト
- BridgeShape: Latent Diffusion Schrödinger Bridge for 3D Shape Completion [20.704173763035488]
BridgeShapeは、潜伏拡散型Schr"odingerブリッジによる3次元形状完成のための新しいフレームワークである。
本稿では,Depth-Enhanced Vector Quantized Variational Autoencoder (VQ-VAE)を導入し,3次元形状をコンパクトな潜在空間に符号化する。
BridgeShapeは、大規模な3D形状補完ベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2025-06-29T12:21:21Z) - Introducing 3D Representation for Medical Image Volume-to-Volume Translation via Score Fusion [3.3559609260669303]
Score-Fusionは、垂直に訓練された2次元拡散モデルをスコア関数空間に組み込むことで、3次元表現を効果的に学習する新しいボリューム変換モデルである。
Score-Fusionは,3次元医用画像の高分解能・モダリティ変換において,高い精度と容積忠実性が得られることを示す。
論文 参考訳(メタデータ) (2025-01-13T15:54:21Z) - From Diffusion to Resolution: Leveraging 2D Diffusion Models for 3D Super-Resolution Task [19.56372155146739]
本稿では,3次元電子顕微鏡(vEM)の超解像性を高めるために,2次元拡散モデルと体積内の横方向の連続性を利用する新しい手法を提案する。
イオンビーム走査型電子顕微鏡(FIB-SEM)の2つのデータを用いて,本フレームワークのロバスト性と実用性を示した。
論文 参考訳(メタデータ) (2024-11-25T09:12:55Z) - ComboVerse: Compositional 3D Assets Creation Using Spatially-Aware Diffusion Guidance [76.7746870349809]
複雑な構成で高品質な3Dアセットを生成する3D生成フレームワークであるComboVerseについて,複数のモデルを組み合わせることを学習して紹介する。
提案手法は,標準スコア蒸留法と比較して,物体の空間的アライメントを重視している。
論文 参考訳(メタデータ) (2024-03-19T03:39:43Z) - Robust 3D Tracking with Quality-Aware Shape Completion [67.9748164949519]
そこで本研究では,高密度および完全点の雲からなる合成対象表現について,ロバストな3次元追跡のための形状完備化により正確に表現する。
具体的には, 形状が整ったボキセル化3次元追跡フレームワークを設計し, ノイズのある歴史的予測の悪影響を軽減するために, 品質に配慮した形状完備化機構を提案する。
論文 参考訳(メタデータ) (2023-12-17T04:50:24Z) - Diffusion-SS3D: Diffusion Model for Semi-supervised 3D Object Detection [77.23918785277404]
半教師付き3次元物体検出のための拡散モデルを用いて,擬似ラベルの品質向上に向けた新たな視点であるDiffusion-SS3Dを提案する。
具体的には、劣化した3Dオブジェクトサイズとクラスラベル、分布を生成し、拡散モデルをデノナイズプロセスとして利用し、バウンディングボックス出力を得る。
我々は,ScanNetとSUN RGB-Dベンチマークデータセットの実験を行い,既存手法に対する最先端性能の実現を実証した。
論文 参考訳(メタデータ) (2023-12-05T18:54:03Z) - HoloFusion: Towards Photo-realistic 3D Generative Modeling [77.03830223281787]
拡散に基づく画像生成装置は、高品質で多様なサンプルを作成できるようになったが、その成功はまだ3D生成に完全に変換されていない。
提案するHoloFusionは,高忠実度,高可塑性,多種多様な3Dサンプルを作成するために,これらのアプローチを最大限に組み合わせた手法である。
論文 参考訳(メタデータ) (2023-08-28T01:19:33Z) - Sparse3D: Distilling Multiview-Consistent Diffusion for Object
Reconstruction from Sparse Views [47.215089338101066]
スパースビュー入力に適した新しい3D再構成手法であるスパース3Dを提案する。
提案手法は,多視点拡散モデルから頑健な先行情報を抽出し,ニューラルラディアンス場を改良する。
強力な画像拡散モデルから2Dプリエントをタップすることで、我々の統合モデルは、常に高品質な結果をもたらす。
論文 参考訳(メタデータ) (2023-08-27T11:52:00Z) - DiffComplete: Diffusion-based Generative 3D Shape Completion [114.43353365917015]
3次元レンジスキャンにおける形状完成のための拡散に基づく新しいアプローチを提案する。
私たちはリアリズム、マルチモダリティ、高忠実さのバランスを取ります。
DiffCompleteは2つの大規模3次元形状補完ベンチマークに新しいSOTA性能を設定する。
論文 参考訳(メタデータ) (2023-06-28T16:07:36Z) - Locally Attentional SDF Diffusion for Controllable 3D Shape Generation [24.83724829092307]
本研究では,2次元スケッチ画像入力を用いて3次元形状をモデル化する拡散型3次元生成フレームワークを提案する。
本手法は, 2段階拡散モデルを用いて構築され, その第1段階である占有拡散は, 低分解能占有場を生成し, 形状シェルを近似することを目的としている。
SDF拡散と呼ばれる第2段階は、第1段階によって決定された占有ボクセル内の高分解能符号距離場を合成し、微細な幾何を抽出する。
論文 参考訳(メタデータ) (2023-05-08T05:07:23Z) - HoloDiffusion: Training a 3D Diffusion Model using 2D Images [71.1144397510333]
我々は,2次元画像のみを監督のために配置した,エンドツーエンドでトレーニング可能な新しい拡散装置を導入する。
我々の拡散モデルはスケーラブルで、頑健に訓練されており、既存の3次元生成モデルへのアプローチに対して、サンプルの品質と忠実さの点で競争力があることを示す。
論文 参考訳(メタデータ) (2023-03-29T07:35:56Z) - 3D Neural Field Generation using Triplane Diffusion [37.46688195622667]
ニューラルネットワークの3次元認識のための効率的な拡散ベースモデルを提案する。
当社のアプローチでは,ShapeNetメッシュなどのトレーニングデータを,連続的占有フィールドに変換することによって前処理する。
本論文では,ShapeNetのオブジェクトクラスにおける3D生成の現状について述べる。
論文 参考訳(メタデータ) (2022-11-30T01:55:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。