論文の概要: Mixed Diffusion for 3D Indoor Scene Synthesis

• arxiv url: http://arxiv.org/abs/2405.21066v1
• Date: Fri, 31 May 2024 17:54:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-03 13:09:46.679980
• Title: Mixed Diffusion for 3D Indoor Scene Synthesis
• Title（参考訳）: 3次元室内シーン合成のための混合拡散
• Authors: Siyi Hu, Diego Martin Arroyo, Stephanie Debats, Fabian Manhardt, Luca Carlone, Federico Tombari,
• Abstract要約: 混合離散連続拡散モデルアーキテクチャであるMiDiffusionを提案する。 シーンレイアウトを2次元のフロアプランとオブジェクトの集合で表現し、それぞれがそのカテゴリ、場所、サイズ、方向で定義する。 実験により,MiDiffusionは床条件下での3次元シーン合成において,最先端の自己回帰モデルや拡散モデルよりもかなり優れていることが示された。
• 参考スコア（独自算出の注目度）: 55.94569112629208
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Realistic conditional 3D scene synthesis significantly enhances and accelerates the creation of virtual environments, which can also provide extensive training data for computer vision and robotics research among other applications. Diffusion models have shown great performance in related applications, e.g., making precise arrangements of unordered sets. However, these models have not been fully explored in floor-conditioned scene synthesis problems. We present MiDiffusion, a novel mixed discrete-continuous diffusion model architecture, designed to synthesize plausible 3D indoor scenes from given room types, floor plans, and potentially pre-existing objects. We represent a scene layout by a 2D floor plan and a set of objects, each defined by its category, location, size, and orientation. Our approach uniquely implements structured corruption across the mixed discrete semantic and continuous geometric domains, resulting in a better conditioned problem for the reverse denoising step. We evaluate our approach on the 3D-FRONT dataset. Our experimental results demonstrate that MiDiffusion substantially outperforms state-of-the-art autoregressive and diffusion models in floor-conditioned 3D scene synthesis. In addition, our models can handle partial object constraints via a corruption-and-masking strategy without task specific training. We show MiDiffusion maintains clear advantages over existing approaches in scene completion and furniture arrangement experiments.
• Abstract（参考訳）: リアルな条件付き3Dシーン合成は仮想環境の作成を著しく促進し、コンピュータビジョンやロボティクス研究のための広範なトレーニングデータを提供することができる。 拡散モデルは、例えば、順序のない集合を正確に配置するなど、関連するアプリケーションにおいて優れた性能を示している。 しかし、これらのモデルはフロアコンディショニングシーン合成問題において完全には研究されていない。 MiDiffusion(ミディフュージョン)は、部屋の種類、フロアプラン、および潜在的に既存のオブジェクトから可塑性3D屋内シーンを合成するために設計された、新しい混合離散連続拡散モデルアーキテクチャである。 シーンレイアウトを2次元のフロアプランとオブジェクトの集合で表現し、それぞれがそのカテゴリ、場所、サイズ、方向で定義する。 提案手法は, 離散的意味領域と連続的幾何領域にまたがる構造的腐敗を一意に実装する。 我々は3D-FRONTデータセットに対するアプローチを評価した。 実験により,MiDiffusionは床条件下での3次元シーン合成において,最先端の自己回帰モデルや拡散モデルよりもかなり優れていることが示された。 さらに,本モデルでは,タスク固有のトレーニングを使わずに,デポジトリ・アンド・マスキング戦略を通じて部分的オブジェクト制約を処理できる。 シーンコンプリートや家具配置実験において,MiDiffusionは既存のアプローチよりも明確な優位性を保っていることを示す。

関連論文リスト

• DeBaRA: Denoising-Based 3D Room Arrangement Generation [22.96293773013579]
  有界環境における正確で制御可能で柔軟なアレンジメント生成に適したスコアベースモデルであるDeBaRAを紹介する。 本研究では,オブジェクトの空間特性に着目して,シーン合成や完了,再配置など,複数のダウンストリームアプリケーションを実行するために,単一トレーニングされたDeBaRAモデルをテスト時に活用できることを実証する。
  論文  参考訳（メタデータ） (2024-09-26T23:18:25Z)
• Enhancing Generalizability of Representation Learning for Data-Efficient 3D Scene Understanding [50.448520056844885]
  本研究では,実世界のパターンを持つ多様な合成シーンを生成可能なベイズネットワークを提案する。 一連の実験は、既存の最先端の事前学習手法に比べて、我々の手法が一貫した優位性を示す。
  論文  参考訳（メタデータ） (2024-06-17T07:43:53Z)
• Zero123-6D: Zero-shot Novel View Synthesis for RGB Category-level 6D Pose Estimation [66.3814684757376]
  本研究は,RGB 6Dのカテゴリレベルでのポーズ推定を向上するための拡散モデルに基づく新規ビュー合成器の実用性を示す最初の研究であるZero123-6Dを示す。 本手法は,データ要求の低減,ゼロショットカテゴリレベルの6Dポーズ推定タスクにおける深度情報の必要性の除去,およびCO3Dデータセットの実験により定量的に示された性能の向上を示す。
  論文  参考訳（メタデータ） (2024-03-21T10:38:18Z)
• DiffuScene: Denoising Diffusion Models for Generative Indoor Scene Synthesis [44.521452102413534]
  拡散モデルに基づく屋内3次元シーン合成のためのDiffuSceneを提案する。 非順序オブジェクトセットに格納された3Dインスタンスプロパティを生成し、各オブジェクト設定に最もよく似た幾何学を検索する。
  論文  参考訳（メタデータ） (2023-03-24T18:00:15Z)
• Diffusion-based Generation, Optimization, and Planning in 3D Scenes [89.63179422011254]
  本稿では,3次元シーン理解のための条件付き生成モデルであるSceneDiffuserを紹介する。 SceneDiffuserは本質的にシーン認識、物理ベース、ゴール指向である。 従来のモデルに比べて大幅な改善が見られた。
  論文  参考訳（メタデータ） (2023-01-15T03:43:45Z)
• ATISS: Autoregressive Transformers for Indoor Scene Synthesis [112.63708524926689]
  我々は,合成室内環境を構築するための新しい自己回帰型トランスフォーマーアーキテクチャであるATISSを紹介する。 この定式化は、ATISSが完全に自動的な部屋レイアウト合成を超えて一般的に有用になるため、より自然なものであると我々は主張する。 本モデルは,ラベル付き3Dバウンディングボックスのみを監督として,自動回帰生成モデルとしてエンドツーエンドで訓練されている。
  論文  参考訳（メタデータ） (2021-10-07T17:58:05Z)
• RandomRooms: Unsupervised Pre-training from Synthetic Shapes and Randomized Layouts for 3D Object Detection [138.2892824662943]
  有望な解決策は、CADオブジェクトモデルで構成される合成データセットをよりよく利用して、実際のデータセットでの学習を促進することである。 最近の3次元事前学習の研究は、合成物体から他の実世界の応用へ学習した伝達特性が失敗することを示している。 本研究では,この目的を達成するためにRandomRoomsという新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-08-17T17:56:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。