論文の概要: Diffusion Probabilistic Models for Scene-Scale 3D Categorical Data
- arxiv url: http://arxiv.org/abs/2301.00527v1
- Date: Mon, 2 Jan 2023 05:00:11 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-03 15:22:10.780096
- Title: Diffusion Probabilistic Models for Scene-Scale 3D Categorical Data
- Title(参考訳): シーンスケール3次元カテゴリーデータの拡散確率モデル
- Authors: Jumin Lee, Woobin Im, Sebin Lee, Sung-Eui Yoon
- Abstract要約: 我々は拡散モデルを学び、シーンスケールで3Dデータを生成する。
本研究は, シーンスケールの3次元分類データに対して, 離散的, 潜時拡散を適用した最初の試みである。
- 参考スコア(独自算出の注目度): 14.597576933841138
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we learn a diffusion model to generate 3D data on a
scene-scale. Specifically, our model crafts a 3D scene consisting of multiple
objects, while recent diffusion research has focused on a single object. To
realize our goal, we represent a scene with discrete class labels, i.e.,
categorical distribution, to assign multiple objects into semantic categories.
Thus, we extend discrete diffusion models to learn scene-scale categorical
distributions. In addition, we validate that a latent diffusion model can
reduce computation costs for training and deploying. To the best of our
knowledge, our work is the first to apply discrete and latent diffusion for 3D
categorical data on a scene-scale. We further propose to perform semantic scene
completion (SSC) by learning a conditional distribution using our diffusion
model, where the condition is a partial observation in a sparse point cloud. In
experiments, we empirically show that our diffusion models not only generate
reasonable scenes, but also perform the scene completion task better than a
discriminative model. Our code and models are available at
https://github.com/zoomin-lee/scene-scale-diffusion
- Abstract(参考訳): 本稿では,シーンスケールで3次元データを生成する拡散モデルについて学習する。
本モデルでは,複数の物体からなる3dシーンを製作する一方,最近の拡散研究では1つの物体に焦点を当てている。
目的を実現するために,離散的なクラスラベル,すなわちカテゴリ分布を持つシーンを表現し,複数のオブジェクトを意味カテゴリーに割り当てる。
そこで, 離散拡散モデルを拡張し, シーンスケールのカテゴリー分布を学習する。
さらに,遅延拡散モデルにより,トレーニングやデプロイの計算コストを低減できることを示す。
私たちの知る限りでは、私たちの研究はシーンスケールの3dカテゴリーデータに離散的かつ潜在的な拡散を適用する最初の方法です。
さらに, この拡散モデルを用いて条件分布を学習し, 条件がスパース・ポイント・クラウド内の部分的観測である意味的シーン・コンプリート(ssc)を行う。
実験では,我々の拡散モデルが合理的なシーンを生成するだけでなく,シーン完了タスクを識別モデルよりも優れていることを示す。
私たちのコードとモデルはhttps://github.com/zoomin-lee/scene-scale-diffusionで利用可能です。
関連論文リスト
- LT3SD: Latent Trees for 3D Scene Diffusion [71.91446143124648]
本稿では,大規模3次元シーン生成のための新しい潜時拡散モデルLT3SDを提案する。
大規模かつ高品質な非条件3Dシーン生成におけるLT3SDの有効性とメリットを実証する。
論文 参考訳(メタデータ) (2024-09-12T16:55:51Z) - Sampling 3D Gaussian Scenes in Seconds with Latent Diffusion Models [3.9373541926236766]
本稿では,2次元画像データのみを用いて3次元シーン上での潜時拡散モデルを提案する。
我々は,スクラッチからでもスパースインプットビューからでも,わずか0.2秒で3Dシーンを生成することができることを示す。
論文 参考訳(メタデータ) (2024-06-18T23:14:29Z) - Mixed Diffusion for 3D Indoor Scene Synthesis [55.94569112629208]
混合離散連続拡散モデルアーキテクチャであるMiDiffusionを提案する。
シーンレイアウトを2次元のフロアプランとオブジェクトの集合で表現し、それぞれがそのカテゴリ、場所、サイズ、方向で定義する。
実験により,MiDiffusionは床条件下での3次元シーン合成において,最先端の自己回帰モデルや拡散モデルよりもかなり優れていることが示された。
論文 参考訳(メタデータ) (2024-05-31T17:54:52Z) - FreeSeg-Diff: Training-Free Open-Vocabulary Segmentation with Diffusion Models [56.71672127740099]
我々は,閉鎖語彙データセットのトレーニングモデルによって伝統的に解決されるイメージセグメンテーションの課題に焦点をあてる。
我々は、ゼロショットのオープン語彙セグメンテーションのために、異なる、比較的小さなオープンソース基盤モデルを活用している。
当社のアプローチ(別名FreeSeg-Diff)は、トレーニングに依存しないもので、Pascal VOCとCOCOデータセットの両方で多くのトレーニングベースのアプローチより優れています。
論文 参考訳(メタデータ) (2024-03-29T10:38:25Z) - SemCity: Semantic Scene Generation with Triplane Diffusion [16.42371914113784]
セムシティ」は現実世界の屋外環境におけるセマンティックシーン生成のための3次元拡散モデルである。
本研究では,三面体表現をシーン分布のプロキシ形式として利用し,拡散モデルを用いて学習する。
私たちは、シーン内のオブジェクトのシームレスな追加、削除、修正を容易にするトリプレーン操作を示します。
論文 参考訳(メタデータ) (2024-03-12T15:59:08Z) - Diffusion-SS3D: Diffusion Model for Semi-supervised 3D Object Detection [77.23918785277404]
半教師付き3次元物体検出のための拡散モデルを用いて,擬似ラベルの品質向上に向けた新たな視点であるDiffusion-SS3Dを提案する。
具体的には、劣化した3Dオブジェクトサイズとクラスラベル、分布を生成し、拡散モデルをデノナイズプロセスとして利用し、バウンディングボックス出力を得る。
我々は,ScanNetとSUN RGB-Dベンチマークデータセットの実験を行い,既存手法に対する最先端性能の実現を実証した。
論文 参考訳(メタデータ) (2023-12-05T18:54:03Z) - Pyramid Diffusion for Fine 3D Large Scene Generation [56.00726092690535]
拡散モデルは2次元画像と小型3次元オブジェクトの生成において顕著な結果を示した。
大規模な3Dシーンの合成への応用はめったに研究されていない。
本稿では,大規模拡散モデルを用いて,高品質な屋外シーンを段階的に生成するフレームワークであるPraamid Discrete Diffusion Model (PDD)を紹介する。
論文 参考訳(メタデータ) (2023-11-20T11:24:21Z) - Score Jacobian Chaining: Lifting Pretrained 2D Diffusion Models for 3D
Generation [28.25023686484727]
拡散モデルは勾配のベクトル場を予測することを学習する。
学習した勾配の連鎖則を提案し、微分可能場のヤコビアンを通して拡散モデルのスコアをバックプロパゲートする。
大規模なLAIONデータセットでトレーニングされたStable Diffusionを含む,市販の拡散画像生成モデル上で,アルゴリズムを実行する。
論文 参考訳(メタデータ) (2022-12-01T18:56:37Z) - OCD: Learning to Overfit with Conditional Diffusion Models [95.1828574518325]
入力サンプルxに重みを条件付けした動的モデルを提案する。
基本モデルを x とそのラベル y 上で微調整することで得られる重みに一致することを学習する。
論文 参考訳(メタデータ) (2022-10-02T09:42:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。