論文の概要: Diffusion Probabilistic Models for Scene-Scale 3D Categorical Data
- arxiv url: http://arxiv.org/abs/2301.00527v1
- Date: Mon, 2 Jan 2023 05:00:11 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-03 15:22:10.780096
- Title: Diffusion Probabilistic Models for Scene-Scale 3D Categorical Data
- Title(参考訳): シーンスケール3次元カテゴリーデータの拡散確率モデル
- Authors: Jumin Lee, Woobin Im, Sebin Lee, Sung-Eui Yoon
- Abstract要約: 我々は拡散モデルを学び、シーンスケールで3Dデータを生成する。
本研究は, シーンスケールの3次元分類データに対して, 離散的, 潜時拡散を適用した最初の試みである。
- 参考スコア(独自算出の注目度): 14.597576933841138
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we learn a diffusion model to generate 3D data on a
scene-scale. Specifically, our model crafts a 3D scene consisting of multiple
objects, while recent diffusion research has focused on a single object. To
realize our goal, we represent a scene with discrete class labels, i.e.,
categorical distribution, to assign multiple objects into semantic categories.
Thus, we extend discrete diffusion models to learn scene-scale categorical
distributions. In addition, we validate that a latent diffusion model can
reduce computation costs for training and deploying. To the best of our
knowledge, our work is the first to apply discrete and latent diffusion for 3D
categorical data on a scene-scale. We further propose to perform semantic scene
completion (SSC) by learning a conditional distribution using our diffusion
model, where the condition is a partial observation in a sparse point cloud. In
experiments, we empirically show that our diffusion models not only generate
reasonable scenes, but also perform the scene completion task better than a
discriminative model. Our code and models are available at
https://github.com/zoomin-lee/scene-scale-diffusion
- Abstract(参考訳): 本稿では,シーンスケールで3次元データを生成する拡散モデルについて学習する。
本モデルでは,複数の物体からなる3dシーンを製作する一方,最近の拡散研究では1つの物体に焦点を当てている。
目的を実現するために,離散的なクラスラベル,すなわちカテゴリ分布を持つシーンを表現し,複数のオブジェクトを意味カテゴリーに割り当てる。
そこで, 離散拡散モデルを拡張し, シーンスケールのカテゴリー分布を学習する。
さらに,遅延拡散モデルにより,トレーニングやデプロイの計算コストを低減できることを示す。
私たちの知る限りでは、私たちの研究はシーンスケールの3dカテゴリーデータに離散的かつ潜在的な拡散を適用する最初の方法です。
さらに, この拡散モデルを用いて条件分布を学習し, 条件がスパース・ポイント・クラウド内の部分的観測である意味的シーン・コンプリート(ssc)を行う。
実験では,我々の拡散モデルが合理的なシーンを生成するだけでなく,シーン完了タスクを識別モデルよりも優れていることを示す。
私たちのコードとモデルはhttps://github.com/zoomin-lee/scene-scale-diffusionで利用可能です。
関連論文リスト
- SemCity: Semantic Scene Generation with Triplane Diffusion [17.402832646868898]
セムシティ」は現実世界の屋外環境におけるセマンティックシーン生成のための3次元拡散モデルである。
本研究では,三面体表現をシーン分布のプロキシ形式として利用し,拡散モデルを用いて学習する。
私たちは、シーン内のオブジェクトのシームレスな追加、削除、修正を容易にするトリプレーン操作を示します。
論文 参考訳(メタデータ) (2024-03-12T15:59:08Z) - Diffusion-SS3D: Diffusion Model for Semi-supervised 3D Object Detection [77.23918785277404]
半教師付き3次元物体検出のための拡散モデルを用いて,擬似ラベルの品質向上に向けた新たな視点であるDiffusion-SS3Dを提案する。
具体的には、劣化した3Dオブジェクトサイズとクラスラベル、分布を生成し、拡散モデルをデノナイズプロセスとして利用し、バウンディングボックス出力を得る。
我々は,ScanNetとSUN RGB-Dベンチマークデータセットの実験を行い,既存手法に対する最先端性能の実現を実証した。
論文 参考訳(メタデータ) (2023-12-05T18:54:03Z) - Diffusion-based 3D Object Detection with Random Boxes [58.43022365393569]
既存のアンカーベースの3D検出方法は、アンカーの実証的な設定に依存しており、アルゴリズムはエレガンスを欠いている。
提案するDiff3Detは,検出ボックスを生成対象として考慮し,拡散モデルから3次元オブジェクト検出のための提案生成へ移行する。
推論段階では、モデルは予測結果にランダムボックスのセットを徐々に洗練する。
論文 参考訳(メタデータ) (2023-09-05T08:49:53Z) - Diffusion with Forward Models: Solving Stochastic Inverse Problems
Without Direct Supervision [76.32860119056964]
本稿では,直接観測されない信号の分布からサンプルを学習する拡散確率モデルを提案する。
コンピュータビジョンの課題3つの課題に対して,本手法の有効性を示す。
論文 参考訳(メタデータ) (2023-06-20T17:53:00Z) - Your Diffusion Model is Secretly a Zero-Shot Classifier [90.40799216880342]
大規模テキスト・画像拡散モデルからの密度推定をゼロショット分類に活用できることを示す。
分類に対する我々の生成的アプローチは、様々なベンチマークで強い結果が得られる。
我々の結果は、下流タスクにおける差別的モデルよりも生成的な利用に向けての一歩である。
論文 参考訳(メタデータ) (2023-03-28T17:59:56Z) - DiffuScene: Denoising Diffusion Models for Generative Indoor Scene
Synthesis [44.521452102413534]
拡散モデルに基づく屋内3次元シーン合成のためのDiffuSceneを提案する。
非順序オブジェクトセットに格納された3Dインスタンスプロパティを生成し、各オブジェクト設定に最もよく似た幾何学を検索する。
論文 参考訳(メタデータ) (2023-03-24T18:00:15Z) - Learning 3D Photography Videos via Self-supervised Diffusion on Single
Images [105.81348348510551]
3D写真は、静止画を3D視覚効果のあるビデオにレンダリングする。
既存のアプローチは通常、まず単眼深度推定を行い、次に様々な視点で入力フレームを後続のフレームに描画する。
我々は、入力オブジェクトの空間と時間を拡張する、新しいタスク、out-animationを提案する。
論文 参考訳(メタデータ) (2023-02-21T16:18:40Z) - Score Jacobian Chaining: Lifting Pretrained 2D Diffusion Models for 3D
Generation [28.25023686484727]
拡散モデルは勾配のベクトル場を予測することを学習する。
学習した勾配の連鎖則を提案し、微分可能場のヤコビアンを通して拡散モデルのスコアをバックプロパゲートする。
大規模なLAIONデータセットでトレーニングされたStable Diffusionを含む,市販の拡散画像生成モデル上で,アルゴリズムを実行する。
論文 参考訳(メタデータ) (2022-12-01T18:56:37Z) - OCD: Learning to Overfit with Conditional Diffusion Models [95.1828574518325]
入力サンプルxに重みを条件付けした動的モデルを提案する。
基本モデルを x とそのラベル y 上で微調整することで得られる重みに一致することを学習する。
論文 参考訳(メタデータ) (2022-10-02T09:42:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。