論文の概要: DiffInDScene: Diffusion-based High-Quality 3D Indoor Scene Generation
- arxiv url: http://arxiv.org/abs/2306.00519v4
- Date: Wed, 29 Nov 2023 03:55:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-01 13:04:38.572910
- Title: DiffInDScene: Diffusion-based High-Quality 3D Indoor Scene Generation
- Title(参考訳): DiffInDScene:拡散に基づく高品質3D室内シーン生成
- Authors: Xiaoliang Ju, Zhaoyang Huang, Yijin Li, Guofeng Zhang, Yu Qiao,
Hongsheng Li
- Abstract要約: DiffInDSceneは高品質な屋内シーン生成問題に取り組むための新しいフレームワークである。
KinectFusionのインクリメンタルアライメントとローカルTSDFボリュームの融合に着想を得て,拡散型SDF融合法を提案する。
生成した結果から,3次元空間で高品位な部屋生成を実現することが可能であることが示唆された。
- 参考スコア(独自算出の注目度): 52.57289166214808
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present DiffInDScene, a novel framework for tackling the problem of
high-quality 3D indoor scene generation, which is challenging due to the
complexity and diversity of the indoor scene geometry. Although diffusion-based
generative models have previously demonstrated impressive performance in image
generation and object-level 3D generation, they have not yet been applied to
room-level 3D generation due to their computationally intensive costs. In
DiffInDScene, we propose a cascaded 3D diffusion pipeline that is efficient and
possesses strong generative performance for Truncated Signed Distance Function
(TSDF). The whole pipeline is designed to run on a sparse occupancy space in a
coarse-to-fine fashion. Inspired by KinectFusion's incremental alignment and
fusion of local TSDF volumes, we propose a diffusion-based SDF fusion approach
that iteratively diffuses and fuses local TSDF volumes, facilitating the
generation of an entire room environment. The generated results demonstrate
that our work is capable to achieve high-quality room generation directly in
three-dimensional space, starting from scratch. In addition to the scene
generation, the final part of DiffInDScene can be used as a post-processing
module to refine the 3D reconstruction results from multi-view stereo.
According to the user study, the mesh quality generated by our DiffInDScene can
even outperform the ground truth mesh provided by ScanNet. Please visit our
project page for the latest progress and demonstrations:
https://github.com/AkiraHero/diffindscene.
- Abstract(参考訳): DiffInDSceneは高品質な屋内シーン生成問題に対処するための新しいフレームワークであり、室内シーンの複雑さと多様性のため課題である。
拡散型生成モデルは画像生成やオブジェクトレベルの3D生成において,これまでは顕著な性能を示してきたが,計算集約コストのため,まだ部屋レベルの3D生成には適用されていない。
差分法では,tsdf (truncated signed distance function) の高効率かつ強力な生成性能を有するカスケード3次元拡散パイプラインを提案する。
パイプライン全体は、粗大な方法でスパース占有空間で実行されるように設計されている。
KinectFusionのインクリメンタルアライメントと局所TSDFボリュームの融合にインスパイアされた本研究では,局所TSDFボリュームを反復的に拡散・融合させる拡散型SDF融合手法を提案する。
生成した結果は,スクラッチから始めて,高品位な部屋生成を3次元空間で直接実現できることを実証した。
シーン生成に加えて、DiffInDSceneの最終部分は、マルチビューステレオから3D再構成結果を洗練するための後処理モジュールとして使用できる。
ユーザ調査によると、私たちのDiffInDSceneによって生成されたメッシュ品質は、ScanNetが提供する地上の真理メッシュよりも優れています。
最新の進捗とデモについては、プロジェクトページを参照してください。
関連論文リスト
- 3D-SceneDreamer: Text-Driven 3D-Consistent Scene Generation [51.64796781728106]
本稿では,2次元拡散モデル以前の自然画像と,現在のシーンのグローバルな3次元情報を利用して,高品質で新しいコンテンツを合成する生成的精細化ネットワークを提案する。
提案手法は,視覚的品質と3次元の整合性を改善した多種多様なシーン生成と任意のカメラトラジェクトリをサポートする。
論文 参考訳(メタデータ) (2024-03-14T14:31:22Z) - Pyramid Diffusion for Fine 3D Large Scene Generation [59.346179786957]
3次元シーン生成のためのピラミッド離散拡散モデル(PDD)
この新しいアプローチでは、粗いものから細かいものまで、高品質な3Dシーンを段階的に生成できるマルチスケールモデルを採用している。
我々は,3次元大規模シーン生成のためのシンプルで効果的な粗大な戦略を最初に採用する。
論文 参考訳(メタデータ) (2023-11-20T11:24:21Z) - HoloFusion: Towards Photo-realistic 3D Generative Modeling [77.03830223281787]
拡散に基づく画像生成装置は、高品質で多様なサンプルを作成できるようになったが、その成功はまだ3D生成に完全に変換されていない。
提案するHoloFusionは,高忠実度,高可塑性,多種多様な3Dサンプルを作成するために,これらのアプローチを最大限に組み合わせた手法である。
論文 参考訳(メタデータ) (2023-08-28T01:19:33Z) - Locally Attentional SDF Diffusion for Controllable 3D Shape Generation [24.83724829092307]
本研究では,2次元スケッチ画像入力を用いて3次元形状をモデル化する拡散型3次元生成フレームワークを提案する。
本手法は, 2段階拡散モデルを用いて構築され, その第1段階である占有拡散は, 低分解能占有場を生成し, 形状シェルを近似することを目的としている。
SDF拡散と呼ばれる第2段階は、第1段階によって決定された占有ボクセル内の高分解能符号距離場を合成し、微細な幾何を抽出する。
論文 参考訳(メタデータ) (2023-05-08T05:07:23Z) - RenderDiffusion: Image Diffusion for 3D Reconstruction, Inpainting and
Generation [68.06991943974195]
単分子2次元観察のみを用いて学習した3次元生成と推論のための最初の拡散モデルであるRenderDiffusionを提案する。
FFHQ,AFHQ,ShapeNet,CLEVRのデータセット上でRenderDiffusionを評価し,3Dシーンの生成と2D画像からの3Dシーンの推測の競合性能を示した。
論文 参考訳(メタデータ) (2022-11-17T20:17:04Z) - 3D-Aware Indoor Scene Synthesis with Depth Priors [62.82867334012399]
既存の手法では、室内配置や内部の物体の多様さのため、屋内シーンのモデル化に失敗する。
室内のシーンは共通な内在構造を持たず、2次元画像のみを用いるだけでは3次元形状のモデルが適切にガイドできない。
論文 参考訳(メタデータ) (2022-02-17T09:54:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。