論文の概要: Mixed Diffusion for 3D Indoor Scene Synthesis

• arxiv url: http://arxiv.org/abs/2405.21066v1
• Date: Fri, 31 May 2024 17:54:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-03 13:09:46.679980
• Title: Mixed Diffusion for 3D Indoor Scene Synthesis
• Title（参考訳）: 3次元室内シーン合成のための混合拡散
• Authors: Siyi Hu, Diego Martin Arroyo, Stephanie Debats, Fabian Manhardt, Luca Carlone, Federico Tombari,
• Abstract要約: 混合離散連続拡散モデルアーキテクチャであるMiDiffusionを提案する。 シーンレイアウトを2次元のフロアプランとオブジェクトの集合で表現し、それぞれがそのカテゴリ、場所、サイズ、方向で定義する。 実験により,MiDiffusionは床条件下での3次元シーン合成において,最先端の自己回帰モデルや拡散モデルよりもかなり優れていることが示された。
• 参考スコア（独自算出の注目度）: 55.94569112629208
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Realistic conditional 3D scene synthesis significantly enhances and accelerates the creation of virtual environments, which can also provide extensive training data for computer vision and robotics research among other applications. Diffusion models have shown great performance in related applications, e.g., making precise arrangements of unordered sets. However, these models have not been fully explored in floor-conditioned scene synthesis problems. We present MiDiffusion, a novel mixed discrete-continuous diffusion model architecture, designed to synthesize plausible 3D indoor scenes from given room types, floor plans, and potentially pre-existing objects. We represent a scene layout by a 2D floor plan and a set of objects, each defined by its category, location, size, and orientation. Our approach uniquely implements structured corruption across the mixed discrete semantic and continuous geometric domains, resulting in a better conditioned problem for the reverse denoising step. We evaluate our approach on the 3D-FRONT dataset. Our experimental results demonstrate that MiDiffusion substantially outperforms state-of-the-art autoregressive and diffusion models in floor-conditioned 3D scene synthesis. In addition, our models can handle partial object constraints via a corruption-and-masking strategy without task specific training. We show MiDiffusion maintains clear advantages over existing approaches in scene completion and furniture arrangement experiments.
• Abstract（参考訳）: リアルな条件付き3Dシーン合成は仮想環境の作成を著しく促進し、コンピュータビジョンやロボティクス研究のための広範なトレーニングデータを提供することができる。 拡散モデルは、例えば、順序のない集合を正確に配置するなど、関連するアプリケーションにおいて優れた性能を示している。 しかし、これらのモデルはフロアコンディショニングシーン合成問題において完全には研究されていない。 MiDiffusion(ミディフュージョン)は、部屋の種類、フロアプラン、および潜在的に既存のオブジェクトから可塑性3D屋内シーンを合成するために設計された、新しい混合離散連続拡散モデルアーキテクチャである。 シーンレイアウトを2次元のフロアプランとオブジェクトの集合で表現し、それぞれがそのカテゴリ、場所、サイズ、方向で定義する。 提案手法は, 離散的意味領域と連続的幾何領域にまたがる構造的腐敗を一意に実装する。 我々は3D-FRONTデータセットに対するアプローチを評価した。 実験により,MiDiffusionは床条件下での3次元シーン合成において,最先端の自己回帰モデルや拡散モデルよりもかなり優れていることが示された。 さらに,本モデルでは,タスク固有のトレーニングを使わずに,デポジトリ・アンド・マスキング戦略を通じて部分的オブジェクト制約を処理できる。 シーンコンプリートや家具配置実験において,MiDiffusionは既存のアプローチよりも明確な優位性を保っていることを示す。

関連論文リスト

• 3D Spatial Understanding in MLLMs: Disambiguation and Evaluation [13.614206918726314]
  本研究では,対象対象物体の局所化・曖昧化能力を高める手法を提案する。 提案手法は,文の類似性を評価する従来の指標に対して,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-12-09T16:04:32Z)
• DeBaRA: Denoising-Based 3D Room Arrangement Generation [22.96293773013579]
  有界環境における正確で制御可能で柔軟なアレンジメント生成に適したスコアベースモデルであるDeBaRAを紹介する。 本研究では,オブジェクトの空間特性に着目して,シーン合成や完了,再配置など,複数のダウンストリームアプリケーションを実行するために,単一トレーニングされたDeBaRAモデルをテスト時に活用できることを実証する。
  論文  参考訳（メタデータ） (2024-09-26T23:18:25Z)
• Object-level Scene Deocclusion [92.39886029550286]
  オブジェクトレベルのシーン・デクルージョンのためのPArallel可視・コミュールト拡散フレームワークPACOを提案する。 PACOをトレーニングするために、500kサンプルの大規模なデータセットを作成し、自己教師付き学習を可能にします。 COCOAと様々な現実世界のシーンの実験では、PACOがシーンの排除に優れた能力を示し、芸術の状態をはるかに上回っている。
  論文  参考訳（メタデータ） (2024-06-11T20:34:10Z)
• $\text{Di}^2\text{Pose}$: Discrete Diffusion Model for Occluded 3D Human Pose Estimation [17.281031933210762]
  本稿では,3次元ポーズ推定のための新しいフレームワークであるDigital Diffusion Pose(textDi2textPose$)を紹介する。 $textDi2textPose$は2段階のプロセスを採用している。 この方法論的な革新は、物理的に実行可能な構成への探索空間を限定的に制限する。
  論文  参考訳（メタデータ） (2024-05-27T10:01:36Z)
• SUGAR: Pre-training 3D Visual Representations for Robotics [85.55534363501131]
  ロボット工学のための新しい3D事前学習フレームワークSUGARを紹介した。 SUGARは3次元の点雲を通してオブジェクトの意味的、幾何学的、および余分な特性をキャプチャする。 SuGARの3D表現は最先端の2Dおよび3D表現よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-04-01T21:23:03Z)
• Zero123-6D: Zero-shot Novel View Synthesis for RGB Category-level 6D Pose Estimation [66.3814684757376]
  本研究は,RGB 6Dのカテゴリレベルでのポーズ推定を向上するための拡散モデルに基づく新規ビュー合成器の実用性を示す最初の研究であるZero123-6Dを示す。 本手法は,データ要求の低減,ゼロショットカテゴリレベルの6Dポーズ推定タスクにおける深度情報の必要性の除去,およびCO3Dデータセットの実験により定量的に示された性能の向上を示す。
  論文  参考訳（メタデータ） (2024-03-21T10:38:18Z)
• Four Ways to Improve Verbo-visual Fusion for Dense 3D Visual Grounding [56.00186960144545]
  3Dビジュアルグラウンドティング(3D visual grounding)は、自然言語で記述された3Dシーンでオブジェクトをローカライズするタスクである。 そこで本研究では,高密度な3次元グラウンドネットワークを提案し,グラウンド性能向上を目的とした4つの新しいスタンドアローンモジュールを提案する。
  論文  参考訳（メタデータ） (2023-09-08T19:27:01Z)
• DiffuScene: Denoising Diffusion Models for Generative Indoor Scene Synthesis [44.521452102413534]
  拡散モデルに基づく屋内3次元シーン合成のためのDiffuSceneを提案する。 非順序オブジェクトセットに格納された3Dインスタンスプロパティを生成し、各オブジェクト設定に最もよく似た幾何学を検索する。
  論文  参考訳（メタデータ） (2023-03-24T18:00:15Z)
• ATISS: Autoregressive Transformers for Indoor Scene Synthesis [112.63708524926689]
  我々は,合成室内環境を構築するための新しい自己回帰型トランスフォーマーアーキテクチャであるATISSを紹介する。 この定式化は、ATISSが完全に自動的な部屋レイアウト合成を超えて一般的に有用になるため、より自然なものであると我々は主張する。 本モデルは,ラベル付き3Dバウンディングボックスのみを監督として,自動回帰生成モデルとしてエンドツーエンドで訓練されている。
  論文  参考訳（メタデータ） (2021-10-07T17:58:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。