論文の概要: MATLABER: Material-Aware Text-to-3D via LAtent BRDF auto-EncodeR
- arxiv url: http://arxiv.org/abs/2308.09278v1
- Date: Fri, 18 Aug 2023 03:40:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-21 14:45:34.016634
- Title: MATLABER: Material-Aware Text-to-3D via LAtent BRDF auto-EncodeR
- Title(参考訳): MATLABER: BRDFオートエンコーダによるテキストから3Dへの素材認識
- Authors: Xudong Xu, Zhaoyang Lyu, Xingang Pan, Bo Dai
- Abstract要約: BRDF自動エンコーダ(textbfMATLABER)を用いたマテリアル・アウェア・テキスト・トゥ・3Dを提案する。
我々は,この自動エンコーダを大規模実世界のBRDFコレクションで訓練し,その潜在空間の滑らかさを確保する。
提案手法は, 現実的かつ一貫性のある物質を生成する上で, 既存の物質よりも優れていることを示す。
- 参考スコア(独自算出の注目度): 29.96046140529936
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Based on powerful text-to-image diffusion models, text-to-3D generation has
made significant progress in generating compelling geometry and appearance.
However, existing methods still struggle to recover high-fidelity object
materials, either only considering Lambertian reflectance, or failing to
disentangle BRDF materials from the environment lights. In this work, we
propose Material-Aware Text-to-3D via LAtent BRDF auto-EncodeR
(\textbf{MATLABER}) that leverages a novel latent BRDF auto-encoder for
material generation. We train this auto-encoder with large-scale real-world
BRDF collections and ensure the smoothness of its latent space, which
implicitly acts as a natural distribution of materials. During appearance
modeling in text-to-3D generation, the latent BRDF embeddings, rather than BRDF
parameters, are predicted via a material network. Through exhaustive
experiments, our approach demonstrates the superiority over existing ones in
generating realistic and coherent object materials. Moreover, high-quality
materials naturally enable multiple downstream tasks such as relighting and
material editing. Code and model will be publicly available at
\url{https://sheldontsui.github.io/projects/Matlaber}.
- Abstract(参考訳): 強力なテキストから画像への拡散モデルに基づいて、テキストから3d生成は説得力のある幾何学と外観を生み出す上で大きな進歩を遂げている。
しかし、既存の手法は、ランバート反射率のみを考慮するか、環境光からBRDF材料を遠ざけないか、高忠実度物体の回収に苦慮している。
本研究では,新しい潜在BRDFオートエンコーダを素材生成に活用した,LAtent BRDF auto-EncodeR (\textbf{MATLABER}) によるMaterial-Aware Text-to-3Dを提案する。
我々は,このオートエンコーダを大規模実世界のBRDFコレクションでトレーニングし,素材の自然な分布として暗黙的に作用する潜伏空間の滑らかさを確保する。
テキスト・ツー・3D生成における外観モデリングでは、BRDFパラメータではなく、潜在BRDF埋め込みが物質ネットワークを介して予測される。
徹底的な実験を通じて,本手法は,現実的かつコヒーレントな物体材料の生成において,既存のものよりも優れていることを示す。
さらに、高品質な材料は、自然にリライトや素材編集のような複数の下流タスクを可能にします。
コードとモデルは、 \url{https://sheldontsui.github.io/projects/Matlaber}で公開される。
関連論文リスト
- L3GO: Language Agents with Chain-of-3D-Thoughts for Generating
Unconventional Objects [53.4874127399702]
本稿では,3Dメッシュ生成を推論可能な3Dメッシュ生成手法であるL3GO(チェーン・オブ・3D思想)を用いた言語エージェントを提案する。
我々は,新しいベンチマークである Unconventionally Feasible Objects (UFO) と,Blender上に構築されたSimpleBlenv を開発した。
提案手法は,ShapeNet上での3Dメッシュ生成のための標準GPT-4および他の言語エージェントを上回る。
論文 参考訳(メタデータ) (2024-02-14T09:51:05Z) - VolumeDiffusion: Flexible Text-to-3D Generation with Efficient
Volumetric Encoder [59.436304016347485]
本稿では,テキストから3D生成のための先駆的な3Dエンコーダを提案する。
マルチビュー画像から特徴ボリュームを効率よく取得する軽量ネットワークを開発した。
3Dボリュームは、3D U-Netを使用してテキストから3D生成のための拡散モデルに基づいて訓練される。
論文 参考訳(メタデータ) (2023-12-18T18:59:05Z) - UniDream: Unifying Diffusion Priors for Relightable Text-to-3D
Generation [104.60008771175532]
We present UniDream, a text-to-3D generation framework by integration priors。
提案手法は,(1)アルベド正規配位型多視点拡散・再構成モデルを得るための2相学習プロセス,(2)訓練された再構成・拡散モデルを用いたスコア蒸留サンプル(SDS)に基づく幾何およびアルベドテクスチャのプログレッシブ生成手順,(3)安定拡散モデルに基づく固定アルベドを保ちながらPBR生成を確定するSDSの革新的な応用,の3つからなる。
論文 参考訳(メタデータ) (2023-12-14T09:07:37Z) - CG3D: Compositional Generation for Text-to-3D via Gaussian Splatting [57.14748263512924]
CG3Dは、スケーラブルな3Dアセットを合成的に生成する手法である。
ガンマ放射場は、オブジェクトの合成を可能にするためにパラメータ化され、意味的および物理的に一貫したシーンを可能にする能力を持っている。
論文 参考訳(メタデータ) (2023-11-29T18:55:38Z) - Material Palette: Extraction of Materials from a Single Image [19.410479434979493]
実世界の1つの画像から物理ベースレンダリング(PBR)素材を抽出する手法を提案する。
画像の領域を拡散モデルを用いて物質概念にマッピングし、シーン内の各材料に類似したテクスチャ画像のサンプリングを可能にする。
第二に、生成したテクスチャを空間変数BRDFに分解する別のネットワークの恩恵を受ける。
論文 参考訳(メタデータ) (2023-11-28T18:59:58Z) - Generating Parametric BRDFs from Natural Language Descriptions [1.1847636087764204]
記述的プロンプトから双方向反射分布関数を生成するモデルを開発した。
BRDFは、光と表面物質との相互作用を特徴付ける4次元の確率分布である。
我々のモデルは、教師なしスキームによってチューニングされる前に、まず半教師なしアプローチを用いて訓練される。
論文 参考訳(メタデータ) (2023-06-19T15:35:19Z) - Diffusion-SDF: Text-to-Shape via Voxelized Diffusion [90.85011923436593]
本研究では,テキスト・ツー・シェイプ合成の課題に対して,Diffusion-SDFと呼ばれる新しい3次元モデリングフレームワークを提案する。
本研究では,Diffusion-SDFが与えられたテキスト記述によく適合する高品質な3次元形状と,より多様化した3次元形状の両方を生成することを示す。
論文 参考訳(メタデータ) (2022-12-06T19:46:47Z) - Generative Modelling of BRDF Textures from Flash Images [50.660026124025265]
我々は、容易にキャプチャ、セマンティックな編集、一貫した、視覚素材の外観の効率よく再現できる潜在空間を学習する。
2番目のステップでは、材料コードに基づいて、私たちの方法は、BRDFモデルパラメータの無限で多様な空間フィールドを生成します。
論文 参考訳(メタデータ) (2021-02-23T18:45:18Z) - MaterialGAN: Reflectance Capture using a Generative SVBRDF Model [33.578080406338266]
本稿では,StyleGAN2をベースとした深層生成畳み込みネットワークであるMaterialGANを提案する。
逆レンダリングフレームワークにおいて,MaterialGANは強力な素材として利用できることを示す。
携帯端末を用いたフラッシュ照明下で撮影された画像からSVBRDFを再構成する作業において,この枠組みを実証する。
論文 参考訳(メタデータ) (2020-09-30T21:33:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。