論文の概要: Mosaic-SDF for 3D Generative Models

• arxiv url: http://arxiv.org/abs/2312.09222v2
• Date: Wed, 24 Apr 2024 10:34:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-26 23:08:01.038930
• Title: Mosaic-SDF for 3D Generative Models
• Title（参考訳）: 3次元生成モデルのためのモザイクSDF
• Authors: Lior Yariv, Omri Puny, Natalia Neverova, Oran Gafni, Yaron Lipman,
• Abstract要約: 拡散モデルや流れモデルを3次元形状で訓練する場合、重要な設計選択は形状表現である。 与えられた形状の符号距離関数 (Signed Distance Function, SDF) を近似した単純な3次元形状表現であるMosaic-SDFを紹介する。 本稿では,M-SDF表現の有効性を3次元生成フローモデルのトレーニングに用いた。
• 参考スコア（独自算出の注目度）: 41.4585856558786
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Current diffusion or flow-based generative models for 3D shapes divide to two: distilling pre-trained 2D image diffusion models, and training directly on 3D shapes. When training a diffusion or flow models on 3D shapes a crucial design choice is the shape representation. An effective shape representation needs to adhere three design principles: it should allow an efficient conversion of large 3D datasets to the representation form; it should provide a good tradeoff of approximation power versus number of parameters; and it should have a simple tensorial form that is compatible with existing powerful neural architectures. While standard 3D shape representations such as volumetric grids and point clouds do not adhere to all these principles simultaneously, we advocate in this paper a new representation that does. We introduce Mosaic-SDF (M-SDF): a simple 3D shape representation that approximates the Signed Distance Function (SDF) of a given shape by using a set of local grids spread near the shape's boundary. The M-SDF representation is fast to compute for each shape individually making it readily parallelizable; it is parameter efficient as it only covers the space around the shape's boundary; and it has a simple matrix form, compatible with Transformer-based architectures. We demonstrate the efficacy of the M-SDF representation by using it to train a 3D generative flow model including class-conditioned generation with the 3D Warehouse dataset, and text-to-3D generation using a dataset of about 600k caption-shape pairs.
• Abstract（参考訳）: 現在の3次元形状の拡散モデルまたはフローベース生成モデルは、事前訓練された2次元画像拡散モデルを蒸留し、3次元形状を直接訓練する。 拡散モデルや流れモデルを3次元形状で訓練する場合、重要な設計選択は形状表現である。 効果的な形状表現は、3つの設計原則に従う必要がある: 大きな3Dデータセットを表現形式に効率的に変換すること; 近似パワーとパラメータの数との良好なトレードオフを提供すること; 既存の強力なニューラルネットワークアーキテクチャと互換性のある単純なテンソル形式を持つこと。 体積格子や点雲のような標準的な3次元形状表現はこれらすべての原則を同時に従わないが、本稿では新しい表現を提唱する。 モーザイクSDF(M-SDF: Mosaic-SDF)は、形状境界付近に広がる局所格子を用いて、与えられた形状の符号距離関数(SDF)を近似した単純な3次元形状表現である。 M-SDF表現は、個々の形状に対して、容易に並列化できるように高速に計算でき、形状の境界付近の空間のみをカバーするため、パラメータ効率が良く、トランスフォーマーベースのアーキテクチャと互換性のある単純な行列形式を持つ。 我々は,M-SDF表現の有効性を実演し,M-SDF表現を用いて3Dウェアハウスデータセットを用いたクラス条件付き生成と約600k字幕形状のデータセットを用いたテキストから3D生成を含む3次元生成フローモデルを訓練した。

関連論文リスト

• NeuSDFusion: A Spatial-Aware Generative Model for 3D Shape Completion, Reconstruction, and Generation [52.772319840580074]
  3D形状生成は、特定の条件や制約に固執する革新的な3Dコンテンツを作成することを目的としている。 既存の方法は、しばしば3Dの形状を局所化されたコンポーネントの列に分解し、各要素を分離して扱う。 本研究では2次元平面表現を利用した空間認識型3次元形状生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-27T04:09:34Z)
• Hybrid Neural Diffeomorphic Flow for Shape Representation and Generation via Triplane [16.684276798449115]
  HNDFは、基礎となる表現を暗黙的に学習し、複雑な高密度対応を明示的に軸整列三面体特徴に分解する手法である。 新しい3次元形状を直接生成する従来の手法とは異なり、微分同相流による変形テンプレート形状による形状生成の考え方を探求する。
  論文  参考訳（メタデータ） (2023-07-04T23:28:01Z)
• Michelangelo: Conditional 3D Shape Generation based on Shape-Image-Text Aligned Latent Representation [47.945556996219295]
  本稿では2次元画像やテキストに基づいて3次元形状を生成する新しいアライメント前世代手法を提案する。 我々のフレームワークは、形状-画像-テキスト対応変分自動エンコーダ(SITA-VAE)と条件付き形状遅延拡散モデル(ASLDM)の2つのモデルで構成されている。
  論文  参考訳（メタデータ） (2023-06-29T17:17:57Z)
• Locally Attentional SDF Diffusion for Controllable 3D Shape Generation [24.83724829092307]
  本研究では,2次元スケッチ画像入力を用いて3次元形状をモデル化する拡散型3次元生成フレームワークを提案する。 本手法は, 2段階拡散モデルを用いて構築され, その第1段階である占有拡散は, 低分解能占有場を生成し, 形状シェルを近似することを目的としている。 SDF拡散と呼ばれる第2段階は、第1段階によって決定された占有ボクセル内の高分解能符号距離場を合成し、微細な幾何を抽出する。
  論文  参考訳（メタデータ） (2023-05-08T05:07:23Z)
• Deep Marching Tetrahedra: a Hybrid Representation for High-Resolution 3D Shape Synthesis [90.26556260531707]
  DMTetは粗いボクセルのような単純なユーザーガイドを用いて高解像度の3次元形状を合成できる条件付き生成モデルである。 メッシュなどの明示的な表現を直接生成する深部3次元生成モデルとは異なり、我々のモデルは任意の位相で形状を合成することができる。
  論文  参考訳（メタデータ） (2021-11-08T05:29:35Z)
• Neural Geometric Level of Detail: Real-time Rendering with Implicit 3D Shapes [77.6741486264257]
  本稿では,高忠実度ニューラルネットワークSDFのリアルタイムレンダリングを可能にする,効率的なニューラル表現を提案する。 我々の表現は、以前の作品に比べてレンダリング速度の点で2～3桁の効率であることを示す。
  論文  参考訳（メタデータ） (2021-01-26T18:50:22Z)
• Deep Implicit Templates for 3D Shape Representation [70.9789507686618]
  深い暗黙表現における明示的な対応推論を支援する新しい3次元形状表現を提案する。 我々のキーとなる考え方は、テンプレートの暗黙関数の条件変形としてDIFを定式化することである。 提案手法は,形状の集合に対する一般的な暗黙テンプレートを学習するだけでなく,すべての形状を相互に同時に対応させることも可能であることを示す。
  論文  参考訳（メタデータ） (2020-11-30T06:01:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。