論文の概要: Indoor Scene Generation from a Collection of Semantic-Segmented Depth
Images
- arxiv url: http://arxiv.org/abs/2108.09022v1
- Date: Fri, 20 Aug 2021 06:22:49 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-23 22:24:17.632507
- Title: Indoor Scene Generation from a Collection of Semantic-Segmented Depth
Images
- Title(参考訳): セマンティック・セグメンテーションされた深度画像からの室内シーン生成
- Authors: Ming-Jia Yang and Yu-Xiao Guo and Bin Zhou and Xin Tong
- Abstract要約: セマンティックセグメンテーション深度画像から学習した生成モデルを用いて室内3次元シーンを作成する手法を提案する。
特定の大きさの部屋が与えられた場合、ランダムにサンプリングされた潜伏コードから室内の3Dオブジェクトを自動的に生成する。
既存の手法と比較して,本手法はモデリングや3次元シーンの取得の作業量を効率的に削減するだけでなく,より優れたオブジェクト形状を生成する。
- 参考スコア(独自算出の注目度): 18.24156991697044
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present a method for creating 3D indoor scenes with a generative model
learned from a collection of semantic-segmented depth images captured from
different unknown scenes. Given a room with a specified size, our method
automatically generates 3D objects in a room from a randomly sampled latent
code. Different from existing methods that represent an indoor scene with the
type, location, and other properties of objects in the room and learn the scene
layout from a collection of complete 3D indoor scenes, our method models each
indoor scene as a 3D semantic scene volume and learns a volumetric generative
adversarial network (GAN) from a collection of 2.5D partial observations of 3D
scenes. To this end, we apply a differentiable projection layer to project the
generated 3D semantic scene volumes into semantic-segmented depth images and
design a new multiple-view discriminator for learning the complete 3D scene
volume from 2.5D semantic-segmented depth images. Compared to existing methods,
our method not only efficiently reduces the workload of modeling and acquiring
3D scenes for training, but also produces better object shapes and their
detailed layouts in the scene. We evaluate our method with different indoor
scene datasets and demonstrate the advantages of our method. We also extend our
method for generating 3D indoor scenes from semantic-segmented depth images
inferred from RGB images of real scenes.
- Abstract(参考訳): 本稿では,異なる未知のシーンから捉えた,意味的セグメントの奥行き画像の集合から学習した生成モデルを用いて,室内3次元シーンを作成する手法を提案する。
特定の大きさの部屋が与えられた場合、ランダムにサンプリングされた潜伏コードから室内の3Dオブジェクトを自動的に生成する。
室内シーンのタイプ,位置,その他の特性を室内で表現し,完全な室内シーンの集合からシーンレイアウトを学習する既存の方法とは異なり,本手法は室内シーンを3次元意味的シーンボリュームとしてモデル化し,2.5次元部分的な3次元シーンの集合から体積生成逆数ネットワーク(GAN)を学習する。
この目的のために,生成した3次元意味シーンボリュームをセマンティックセグメンテーション深度画像に投影するために微分可能な投影層を適用し,2.5d意味セグメンテーション深度画像から完全な3次元シーンボリュームを学習する新しいマルチビュー判別器を設計する。
既存の手法と比較して,本手法は3次元シーンのモデリングと取得の作業量を効率的に削減するだけでなく,より優れたオブジェクト形状と詳細なレイアウトを生成する。
本手法は屋内シーンの異なるデータセットを用いて評価し,その利点を示す。
また,実シーンのRGB画像から推定したセマンティックセグメンテーション深度画像から室内3次元シーンを生成する手法を拡張した。
関連論文リスト
- Disentangled 3D Scene Generation with Layout Learning [109.03233745767062]
本稿では,コンポーネントオブジェクトに絡み合った3Dシーンを生成する手法を提案する。
私たちの重要な洞察は、オブジェクトは空間的に再構成された場合、同じシーンの有効な構成を生成する3Dシーンの一部を見つけることで発見できるということです。
単純さにもかかわらず、我々のアプローチは個々のオブジェクトに3Dシーンを生成することに成功している。
論文 参考訳(メタデータ) (2024-02-26T18:54:15Z) - InseRF: Text-Driven Generative Object Insertion in Neural 3D Scenes [86.26588382747184]
InseRFは3次元シーンのNeRF再構成において生成物挿入のための新しい手法である。
ユーザが提供するテキスト記述と参照視点での2Dバウンディングボックスに基づいて、InseRFは3Dシーンで新しいオブジェクトを生成する。
論文 参考訳(メタデータ) (2024-01-10T18:59:53Z) - SceneHGN: Hierarchical Graph Networks for 3D Indoor Scene Generation
with Fine-Grained Geometry [92.24144643757963]
3D屋内シーンは、インテリアデザインからゲーム、バーチャルおよび拡張現実に至るまで、コンピュータグラフィックスで広く使われている。
高品質な3D屋内シーンは、専門知識が必要であり、手動で高品質な3D屋内シーンを設計するのに時間を要する。
SCENEHGNは3次元屋内シーンの階層的なグラフネットワークであり,部屋レベルからオブジェクトレベルまでの全階層を考慮し,最後にオブジェクト部分レベルに展開する。
提案手法は, 立体形状の細かな家具を含む, 可塑性3次元室内容を直接生成し, 直接的に生成することができる。
論文 参考訳(メタデータ) (2023-02-16T15:31:59Z) - SceneDreamer: Unbounded 3D Scene Generation from 2D Image Collections [49.802462165826554]
SceneDreamerは,非有界な3次元シーンの無条件生成モデルである。
フレームワークは,3Dアノテーションを使わずに,Wild 2Dイメージコレクションのみから学習する。
論文 参考訳(メタデータ) (2023-02-02T18:59:16Z) - Towards High-Fidelity Single-view Holistic Reconstruction of Indoor
Scenes [50.317223783035075]
単視点画像から総合的な3次元屋内シーンを再構築するための新しい枠組みを提案する。
詳細なオブジェクト再構成のためのインスタンス整列型暗黙関数(InstPIFu)を提案する。
私たちのコードとモデルは公開されます。
論文 参考訳(メタデータ) (2022-07-18T14:54:57Z) - Disentangling 3D Prototypical Networks For Few-Shot Concept Learning [29.02523358573336]
本稿では,RGB-D画像をオブジェクトの形状やスタイルや背景シーンの地図に分解するニューラルネットワークアーキテクチャを提案する。
我々のネットワークには、画像形成過程、世界シーンの3次元幾何学、形状スタイルの相互作用を反映したアーキテクチャバイアスが組み込まれています。
論文 参考訳(メタデータ) (2020-11-06T14:08:27Z) - Weakly Supervised Learning of Multi-Object 3D Scene Decompositions Using
Deep Shape Priors [69.02332607843569]
PriSMONetは、単一画像から多目的3Dシーンの分解と表現を学習するための新しいアプローチである。
リカレントエンコーダは、入力されたRGB画像から、各オブジェクトの3D形状、ポーズ、テクスチャの潜時表現を回帰する。
我々は,3次元シーンレイアウトの推測におけるモデルの精度を評価し,その生成能力を実証し,実画像への一般化を評価し,学習した表現の利点を指摘する。
論文 参考訳(メタデータ) (2020-10-08T14:49:23Z) - Indoor Scene Recognition in 3D [26.974703983293093]
既存のアプローチでは、2D画像や2.5Dレンジ画像に基づいてシーンを分類しようとする。
本稿では3Dポイントクラウド(またはボクセル)データからのシーン認識について検討する。
本研究では,2次元鳥眼の視線に基づく手法よりも優れることを示す。
論文 参考訳(メタデータ) (2020-02-28T15:47:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。