論文の概要: Conditional 360-degree Image Synthesis for Immersive Indoor Scene Decoration

• arxiv url: http://arxiv.org/abs/2307.09621v1
• Date: Tue, 18 Jul 2023 20:28:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-20 16:17:03.738937
• Title: Conditional 360-degree Image Synthesis for Immersive Indoor Scene Decoration
• Title（参考訳）: 没入型室内シーンデコレーションのための条件付き360度画像合成
• Authors: Ka Chun Shum, Hong-Wing Pang, Binh-Son Hua, Duc Thanh Nguyen, Sai-Kit Yeung
• Abstract要約: 我々は、360度ビューで潜時オブジェクトベクトルを学習する360度オブジェクトレイアウトジェネレータを開発した。 我々は、このオブジェクトレイアウトを用いて、生成的敵ネットワークを条件付け、入力シーンの画像を合成する。 本手法は,Structure3Dデータセットの最先端性能を実現し,Zillow屋内シーンデータセットによく適合する。
• 参考スコア（独自算出の注目度）: 23.09114489296913
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we address the problem of conditional scene decoration for 360-degree images. Our method takes a 360-degree background photograph of an indoor scene and generates decorated images of the same scene in the panorama view. To do this, we develop a 360-aware object layout generator that learns latent object vectors in the 360-degree view to enable a variety of furniture arrangements for an input 360-degree background image. We use this object layout to condition a generative adversarial network to synthesize images of an input scene. To further reinforce the generation capability of our model, we develop a simple yet effective scene emptier that removes the generated furniture and produces an emptied scene for our model to learn a cyclic constraint. We train the model on the Structure3D dataset and show that our model can generate diverse decorations with controllable object layout. Our method achieves state-of-the-art performance on the Structure3D dataset and generalizes well to the Zillow indoor scene dataset. Our user study confirms the immersive experiences provided by the realistic image quality and furniture layout in our generation results. Our implementation will be made available.
• Abstract（参考訳）: 本稿では,360度画像における条件付きシーン装飾の問題に対処する。 室内シーンの360度背景写真を撮影し、パノラマビューで同じシーンのデコレーション画像を生成する。 そこで我々は,360度背景画像の様々な家具配置を可能にするために,360度視野における潜時物体ベクトルを学習する360度オブジェクトレイアウト生成装置を開発した。 我々は,このオブジェクトレイアウトを用いて生成的逆ネットワークを条件付けし,入力シーンの画像を合成する。 モデルの生成能力をさらに強化するため,生成した家具を除去し,循環制約を学習するための空きシーンを生成する,シンプルで効果的なシーン空き装置を開発した。 structure3dデータセットでモデルをトレーニングし、制御可能なオブジェクトレイアウトで多様なデコレーションを生成できることを示します。 本手法は,Structure3Dデータセットの最先端性能を実現し,Zillow屋内シーンデータセットによく適合する。 本研究は,実写画像品質と家具レイアウトから得られる没入体験を,その生成結果から確認する。 私たちの実装は利用可能になります。

関連論文リスト

• SceneDreamer360: Text-Driven 3D-Consistent Scene Generation with Panoramic Gaussian Splatting [53.32467009064287]
  テキスト駆動型3D一貫性シーン生成モデルSceneDreamer360を提案する。 提案手法は,テキスト駆動パノラマ画像生成モデルを3次元シーン生成の先行モデルとして活用する。 SceneDreamer360はそのパノラマ画像生成と3DGSにより、より高品質で空間的に整合性があり、視覚的に魅力的な3Dシーンを任意のテキストプロンプトから生成できることを示した。
  論文  参考訳（メタデータ） (2024-08-25T02:56:26Z)
• Disentangled 3D Scene Generation with Layout Learning [109.03233745767062]
  本稿では,コンポーネントオブジェクトに絡み合った3Dシーンを生成する手法を提案する。 私たちの重要な洞察は、オブジェクトは空間的に再構成された場合、同じシーンの有効な構成を生成する3Dシーンの一部を見つけることで発見できるということです。 単純さにもかかわらず、我々のアプローチは個々のオブジェクトに3Dシーンを生成することに成功している。
  論文  参考訳（メタデータ） (2024-02-26T18:54:15Z)
• Scene-Conditional 3D Object Stylization and Composition [30.120066605881448]
  3D生成モデルは驚くべき進歩を遂げており、テキストや画像入力からほぼ任意の3Dアセットを生成することができる。 本稿では,既存の3Dアセットのスタイル化を与えられた2Dシーンに適合させるフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-19T18:50:33Z)
• UrbanGIRAFFE: Representing Urban Scenes as Compositional Generative Neural Feature Fields [22.180286908121946]
  粗い3Dパノプティクスを用いて、3D認識生成モデルを導出するUrbanGIRAFFEを提案する。 私たちのモデルは、シーンを物、物、空に分解するので、構成的で制御可能です。 適切な損失関数を用いることで,多種多様な可制御性を持つ光リアルな3次元画像合成が容易となる。
  論文  参考訳（メタデータ） (2023-03-24T17:28:07Z)
• RealFusion: 360{\deg} Reconstruction of Any Object from a Single Image [98.46318529630109]
  対象物の全360度写真モデルを1枚の画像から再構成する際の問題点を考察する。 拡散に基づく自己条件付き画像生成装置を設計し、オブジェクトの新たなビューを"ドレームアップ"するよう促すプロンプトを設計する。
  論文  参考訳（メタデータ） (2023-02-21T13:25:35Z)
• DisCoScene: Spatially Disentangled Generative Radiance Fields for Controllable 3D-aware Scene Synthesis [90.32352050266104]
  DisCoSceneは高品質で制御可能なシーン合成のための3Daware生成モデルである。 グローバルな局所的差別を伴う2次元画像のみを学習することで、シーン全体をオブジェクト中心の生成フィールドに分解する。 挑戦的な屋外データセットを含む多くのシーンデータセットで最先端のパフォーマンスを示す。
  論文  参考訳（メタデータ） (2022-12-22T18:59:59Z)
• Towards High-Fidelity Single-view Holistic Reconstruction of Indoor Scenes [50.317223783035075]
  単視点画像から総合的な3次元屋内シーンを再構築するための新しい枠組みを提案する。 詳細なオブジェクト再構成のためのインスタンス整列型暗黙関数(InstPIFu)を提案する。 私たちのコードとモデルは公開されます。
  論文  参考訳（メタデータ） (2022-07-18T14:54:57Z)
• PhotoScene: Photorealistic Material and Lighting Transfer for Indoor Scenes [84.66946637534089]
  PhotoSceneは、シーンの入力画像を取得し、高品質な素材と同様の照明を備えたフォトリアリスティックデジタルツインを構築するフレームワークである。 プロシージャ素材グラフを用いてシーン素材をモデル化し、そのようなグラフはフォトリアリスティックおよび解像度非依存の材料を表す。 ScanNet, SUN RGB-D, ストック写真からのオブジェクトとレイアウトの再構築について検討し, 高品質で完全に再現可能な3Dシーンを再現できることを実証した。
  論文  参考訳（メタデータ） (2022-07-02T06:52:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。