論文の概要: DiffRoom: Diffusion-based High-Quality 3D Room Reconstruction and
Generation with Occupancy Prior
- arxiv url: http://arxiv.org/abs/2306.00519v2
- Date: Thu, 15 Jun 2023 12:52:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-17 00:21:20.274786
- Title: DiffRoom: Diffusion-based High-Quality 3D Room Reconstruction and
Generation with Occupancy Prior
- Title(参考訳): DiffRoom:拡散型高品位3次元部屋再構成と作業前生成
- Authors: Xiaoliang Ju, Zhaoyang Huang, Yijin Li, Guofeng Zhang, Yu Qiao,
Hongsheng Li
- Abstract要約: DiffRoomは,高品位な室内3次元再現・生成の課題に対処するための新しいフレームワークである。
KinectFusionのインクリメンタルアライメントとローカルSDFの融合に着想を得て,拡散型TSDF融合法を提案する。
学習を容易にするために,カリキュラム拡散学習パラダイムを導入し,学習の収束過程を高速化する。
- 参考スコア(独自算出の注目度): 48.4479097710457
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present DiffRoom, a novel framework for tackling the problem of
high-quality 3D indoor room reconstruction and generation, both of which are
challenging due to the complexity and diversity of the room geometry. Although
diffusion-based generative models have previously demonstrated impressive
performance in image generation and object-level 3D generation, they have not
yet been applied to room-level 3D generation due to their computationally
intensive costs. In DiffRoom, we propose a sparse 3D diffusion network that is
efficient and possesses strong generative performance for Truncated Signed
Distance Field (TSDF), based on a rough occupancy prior. Inspired by
KinectFusion's incremental alignment and fusion of local SDFs, we propose a
diffusion-based TSDF fusion approach that iteratively diffuses and fuses TSDFs,
facilitating the reconstruction and generation of an entire room environment.
Additionally, to ease training, we introduce a curriculum diffusion learning
paradigm that speeds up the training convergence process and enables
high-quality reconstruction. According to the user study, the mesh quality
generated by our DiffRoom can even outperform the ground truth mesh provided by
ScanNet. Please visit our project page for the latest progress and
demonstrations: https://akirahero.github.io/DiffRoom/.
- Abstract(参考訳): DiffRoomは,室内形状の複雑さと多様性のために,高品質な3次元室内再現・生成の課題に対処するための新しいフレームワークである。
拡散型生成モデルは画像生成やオブジェクトレベルの3D生成において,これまでは顕著な性能を示してきたが,計算集約コストのため,まだ部屋レベルの3D生成には適用されていない。
本稿では,tsdf(truncated signed distance field)の効率的な生成性能を有する分散3次元拡散ネットワークを提案する。
kinectfusionのインクリメンタルアライメントと局所sdfの融合に触発されて,tsdfを反復的に拡散・融合し,室内環境全体の再構築と生成を容易にする拡散ベースのtsdf融合手法を提案する。
さらに, 学習の容易化を目的として, 学習収束プロセスを高速化し, 高品質な再構築を可能にするカリキュラム拡散学習パラダイムを提案する。
ユーザ調査によると、DiffRoomが生成するメッシュの品質は、ScanNetが提供する地上の真理メッシュよりも優れています。
最新の進捗とデモについては、プロジェクトページを参照してください。
関連論文リスト
- LN3Diff: Scalable Latent Neural Fields Diffusion for Speedy 3D Generation [73.36690511083894]
本稿では,LN3Diffと呼ばれる新しいフレームワークを導入し,統一された3次元拡散パイプラインに対処する。
提案手法では,3次元アーキテクチャと変分オートエンコーダを用いて,入力画像を構造化されたコンパクトな3次元潜在空間に符号化する。
3次元生成のためのShapeNetの最先端性能を実現し,モノクロ3次元再構成と条件付き3次元生成において優れた性能を示す。
論文 参考訳(メタデータ) (2024-03-18T17:54:34Z) - Pyramid Diffusion for Fine 3D Large Scene Generation [59.346179786957]
3次元シーン生成のためのピラミッド離散拡散モデル(PDD)
この新しいアプローチでは、粗いものから細かいものまで、高品質な3Dシーンを段階的に生成できるマルチスケールモデルを採用している。
我々は,3次元大規模シーン生成のためのシンプルで効果的な粗大な戦略を最初に採用する。
論文 参考訳(メタデータ) (2023-11-20T11:24:21Z) - HoloFusion: Towards Photo-realistic 3D Generative Modeling [77.03830223281787]
拡散に基づく画像生成装置は、高品質で多様なサンプルを作成できるようになったが、その成功はまだ3D生成に完全に変換されていない。
提案するHoloFusionは,高忠実度,高可塑性,多種多様な3Dサンプルを作成するために,これらのアプローチを最大限に組み合わせた手法である。
論文 参考訳(メタデータ) (2023-08-28T01:19:33Z) - RenderDiffusion: Image Diffusion for 3D Reconstruction, Inpainting and
Generation [68.06991943974195]
単分子2次元観察のみを用いて学習した3次元生成と推論のための最初の拡散モデルであるRenderDiffusionを提案する。
FFHQ,AFHQ,ShapeNet,CLEVRのデータセット上でRenderDiffusionを評価し,3Dシーンの生成と2D画像からの3Dシーンの推測の競合性能を示した。
論文 参考訳(メタデータ) (2022-11-17T20:17:04Z) - 3D-Aware Indoor Scene Synthesis with Depth Priors [62.82867334012399]
既存の手法では、室内配置や内部の物体の多様さのため、屋内シーンのモデル化に失敗する。
室内のシーンは共通な内在構造を持たず、2次元画像のみを用いるだけでは3次元形状のモデルが適切にガイドできない。
論文 参考訳(メタデータ) (2022-02-17T09:54:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。