論文の概要: Diffusion-SDF: Text-to-Shape via Voxelized Diffusion
- arxiv url: http://arxiv.org/abs/2212.03293v1
- Date: Tue, 6 Dec 2022 19:46:47 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-08 14:55:53.071648
- Title: Diffusion-SDF: Text-to-Shape via Voxelized Diffusion
- Title(参考訳): Diffusion-SDF:Voxelized Diffusionによるテキスト・ツー・シェイプ
- Authors: Muheng Li, Yueqi Duan, Jie Zhou, Jiwen Lu
- Abstract要約: 本研究では,テキスト・ツー・シェイプ合成の課題に対して,Diffusion-SDFと呼ばれる新しい3次元モデリングフレームワークを提案する。
本研究では,Diffusion-SDFが与えられたテキスト記述によく適合する高品質な3次元形状と高度に多様化した3次元形状の両方を生成可能であることを示す。
- 参考スコア(独自算出の注目度): 90.85011923436593
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the rising industrial attention to 3D virtual modeling technology,
generating novel 3D content based on specified conditions (e.g. text) has
become a hot issue. In this paper, we propose a new generative 3D modeling
framework called Diffusion-SDF for the challenging task of text-to-shape
synthesis. Previous approaches lack flexibility in both 3D data representation
and shape generation, thereby failing to generate highly diversified 3D shapes
conforming to the given text descriptions. To address this, we propose a SDF
autoencoder together with the Voxelized Diffusion model to learn and generate
representations for voxelized signed distance fields (SDFs) of 3D shapes.
Specifically, we design a novel UinU-Net architecture that implants a
local-focused inner network inside the standard U-Net architecture, which
enables better reconstruction of patch-independent SDF representations. We
extend our approach to further text-to-shape tasks including text-conditioned
shape completion and manipulation. Experimental results show that Diffusion-SDF
is capable of generating both high-quality and highly diversified 3D shapes
that conform well to the given text descriptions. Diffusion-SDF has
demonstrated its superiority compared to previous state-of-the-art
text-to-shape approaches.
- Abstract(参考訳): 3d仮想モデリング技術への産業的注目が高まり、特定の条件(テキストなど)に基づいた新たな3dコンテンツの生成がホットな問題となっている。
本稿では,テキスト・ツー・シェイプ合成の課題に対して,Diffusion-SDFと呼ばれる新しい3次元モデリングフレームワークを提案する。
従来のアプローチでは、3Dデータ表現と形状生成の両方に柔軟性が欠けており、与えられたテキスト記述に応じて高度に多様化された3D形状を生成することができない。
これを解決するために,Voxelized DiffusionモデルとともにSDFオートエンコーダを提案し,3次元形状のvoxelized signed distance field (SDF) の表現を学習・生成する。
具体的には,標準的なU-Netアーキテクチャ内にローカルなネットワークを組み込む新しいUinU-Netアーキテクチャを設計し,パッチ非依存のSDF表現を再構築する。
我々はこのアプローチを,テキストコンディショニングによる形状の補完や操作を含む,さらにテキストから形状へのタスクに拡張する。
実験の結果, 拡散sdfは, テキスト記述によく適合する高品質かつ高度に多様化した3次元形状を生成できることがわかった。
拡散SDFは従来の最先端のテキスト・ツー・シェイプ・アプローチと比較して優位性を示している。
関連論文リスト
- HyperSDFusion: Bridging Hierarchical Structures in Language and Geometry
for Enhanced 3D Text2Shape Generation [61.124954308976925]
与えられたテキストから3次元形状を生成する二分岐拡散モデルを提案する。
双曲空間におけるテキストと3次元形状の階層的表現を学習する。
本手法は,テキスト・ツー・シェイプ生成のための双曲的階層表現を初めて探求する手法である。
論文 参考訳(メタデータ) (2024-03-01T08:57:28Z) - VolumeDiffusion: Flexible Text-to-3D Generation with Efficient
Volumetric Encoder [59.436304016347485]
本稿では,テキストから3D生成のための先駆的な3Dエンコーダを提案する。
マルチビュー画像から特徴ボリュームを効率よく取得する軽量ネットワークを開発した。
3Dボリュームは、3D U-Netを使用してテキストから3D生成のための拡散モデルに基づいて訓練される。
論文 参考訳(メタデータ) (2023-12-18T18:59:05Z) - Mosaic-SDF for 3D Generative Models [44.47867588417795]
拡散モデルや流れモデルを3次元形状で訓練する場合、重要な設計選択は形状表現である。
与えられた形状の符号距離関数 (Signed Distance Function, SDF) を近似した単純な3次元形状表現であるMosaic-SDFを紹介する。
本稿では,M-SDF表現の有効性を3次元生成フローモデルのトレーニングに用いた。
論文 参考訳(メタデータ) (2023-12-14T18:52:52Z) - 3DStyle-Diffusion: Pursuing Fine-grained Text-driven 3D Stylization with
2D Diffusion Models [102.75875255071246]
テキスト駆動型スタイリングによる3Dコンテンツ作成は、マルチメディアとグラフィックコミュニティにとって根本的な課題となっている。
2次元拡散モデルから制御可能な外観と幾何学的ガイダンスを付加した3次元メッシュのきめ細かいスタイリングをトリガーする新しい3DStyle-Diffusionモデルを提案する。
論文 参考訳(メタデータ) (2023-11-09T15:51:27Z) - EXIM: A Hybrid Explicit-Implicit Representation for Text-Guided 3D Shape
Generation [124.27302003578903]
本稿では,3次元形状を生成するための新しいテキスト誘導手法を提案する。
我々は,明示的表現と暗黙的表現の強みを組み合わせたハイブリッド3D表現,すなわちEXIMを活用する。
テキスト誘導型3次元形状を用いた室内シーンを一貫したスタイルで生成する手法の適用性を示した。
論文 参考訳(メタデータ) (2023-11-03T05:01:51Z) - Michelangelo: Conditional 3D Shape Generation based on Shape-Image-Text
Aligned Latent Representation [47.945556996219295]
本稿では2次元画像やテキストに基づいて3次元形状を生成する新しいアライメント前世代手法を提案する。
我々のフレームワークは、形状-画像-テキスト対応変分自動エンコーダ(SITA-VAE)と条件付き形状遅延拡散モデル(ASLDM)の2つのモデルで構成されている。
論文 参考訳(メタデータ) (2023-06-29T17:17:57Z) - Locally Attentional SDF Diffusion for Controllable 3D Shape Generation [24.83724829092307]
本研究では,2次元スケッチ画像入力を用いて3次元形状をモデル化する拡散型3次元生成フレームワークを提案する。
本手法は, 2段階拡散モデルを用いて構築され, その第1段階である占有拡散は, 低分解能占有場を生成し, 形状シェルを近似することを目的としている。
SDF拡散と呼ばれる第2段階は、第1段階によって決定された占有ボクセル内の高分解能符号距離場を合成し、微細な幾何を抽出する。
論文 参考訳(メタデータ) (2023-05-08T05:07:23Z) - SDF-StyleGAN: Implicit SDF-Based StyleGAN for 3D Shape Generation [19.21267260770415]
SDF-StyleGANと呼ばれる3次元形状生成のためのStyleGAN2に基づくディープラーニング手法を提案する。
StyleGAN2を3次元に拡張し、暗黙の符号距離関数(SDF)を3次元形状表現として利用する。
実・偽のSDF値と勾配を区別する2つの新しいグローバルおよびローカル形状判別器を導入する。
論文 参考訳(メタデータ) (2022-06-24T03:11:28Z) - Towards Implicit Text-Guided 3D Shape Generation [81.22491096132507]
本研究は,テキストから3次元形状を生成するという課題について考察する。
テキスト記述にマッチする色で高忠実な形状を生成できるテキスト誘導型3次元形状生成のための新しいアプローチを提案する。
論文 参考訳(メタデータ) (2022-03-28T10:20:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。