Fugu-MT 論文翻訳(概要): MATLABER: Material-Aware Text-to-3D via LAtent BRDF auto-EncodeR

論文の概要: MATLABER: Material-Aware Text-to-3D via LAtent BRDF auto-EncodeR

arxiv url: http://arxiv.org/abs/2308.09278v1
Date: Fri, 18 Aug 2023 03:40:38 GMT
ステータス: 処理完了
システム内更新日: 2023-08-21 14:45:34.016634
Title: MATLABER: Material-Aware Text-to-3D via LAtent BRDF auto-EncodeR
Title（参考訳）: MATLABER: BRDFオートエンコーダによるテキストから3Dへの素材認識
Authors: Xudong Xu, Zhaoyang Lyu, Xingang Pan, Bo Dai
Abstract要約: BRDF自動エンコーダ(textbfMATLABER)を用いたマテリアル・アウェア・テキスト・トゥ・3Dを提案する。我々は,この自動エンコーダを大規模実世界のBRDFコレクションで訓練し,その潜在空間の滑らかさを確保する。提案手法は, 現実的かつ一貫性のある物質を生成する上で, 既存の物質よりも優れていることを示す。
参考スコア（独自算出の注目度）: 29.96046140529936
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Based on powerful text-to-image diffusion models, text-to-3D generation has made significant progress in generating compelling geometry and appearance. However, existing methods still struggle to recover high-fidelity object materials, either only considering Lambertian reflectance, or failing to disentangle BRDF materials from the environment lights. In this work, we propose Material-Aware Text-to-3D via LAtent BRDF auto-EncodeR (\textbf{MATLABER}) that leverages a novel latent BRDF auto-encoder for material generation. We train this auto-encoder with large-scale real-world BRDF collections and ensure the smoothness of its latent space, which implicitly acts as a natural distribution of materials. During appearance modeling in text-to-3D generation, the latent BRDF embeddings, rather than BRDF parameters, are predicted via a material network. Through exhaustive experiments, our approach demonstrates the superiority over existing ones in generating realistic and coherent object materials. Moreover, high-quality materials naturally enable multiple downstream tasks such as relighting and material editing. Code and model will be publicly available at \url{https://sheldontsui.github.io/projects/Matlaber}.
Abstract（参考訳）: 強力なテキストから画像への拡散モデルに基づいて、テキストから3d生成は説得力のある幾何学と外観を生み出す上で大きな進歩を遂げている。しかし、既存の手法は、ランバート反射率のみを考慮するか、環境光からBRDF材料を遠ざけないか、高忠実度物体の回収に苦慮している。本研究では,新しい潜在BRDFオートエンコーダを素材生成に活用した,LAtent BRDF auto-EncodeR (\textbf{MATLABER}) によるMaterial-Aware Text-to-3Dを提案する。我々は,このオートエンコーダを大規模実世界のBRDFコレクションでトレーニングし,素材の自然な分布として暗黙的に作用する潜伏空間の滑らかさを確保する。テキスト・ツー・3D生成における外観モデリングでは、BRDFパラメータではなく、潜在BRDF埋め込みが物質ネットワークを介して予測される。徹底的な実験を通じて,本手法は,現実的かつコヒーレントな物体材料の生成において,既存のものよりも優れていることを示す。さらに、高品質な材料は、自然にリライトや素材編集のような複数の下流タスクを可能にします。コードとモデルは、 \url{https://sheldontsui.github.io/projects/Matlaber}で公開される。

関連論文リスト

Boosting 3D Object Generation through PBR Materials [32.732511476490316]
物理ベースレンダリング(PBR)材料の観点から,生成した3Dオブジェクトの品質を高める新しい手法を提案する。アルベドやバンプマップでは、合成データに微調整された安定拡散を利用してこれらの値を抽出する。粗さと金属度マップについては,対話的な調整を行うためのセミオートマチックなプロセスを採用する。
論文参考訳（メタデータ） (2024-11-25T04:20:52Z)
MaterialFusion: Enhancing Inverse Rendering with Material Diffusion Priors [67.74705555889336]
本稿では,テクスチャと材料特性に先立って2Dを組み込んだ,従来の3次元逆レンダリングパイプラインであるMaterialFusionを紹介する。本稿では,2次元拡散モデルであるStableMaterialについて述べる。種々の照明条件下で, 合成および実物体の4つのデータセット上でのMaterialFusionの照度特性を検証した。
論文参考訳（メタデータ） (2024-09-23T17:59:06Z)
Meta 3D AssetGen: Text-to-Mesh Generation with High-Quality Geometry, Texture, and PBR Materials [58.178540282148475]
AssetGenはテキストから3D生成の大幅な進歩である。テクスチャと素材制御を備えた忠実で高品質なメッシュを生成する。
論文参考訳（メタデータ） (2024-07-02T17:21:47Z)
Make-it-Real: Unleashing Large Multimodal Model for Painting 3D Objects with Realistic Materials [108.59709545364395]
GPT-4Vは、材料を効果的に認識し、記述することができ、詳細な材料ライブラリを構築することができる。そして、整合した材料を、新たなSVBRDF材料生成の基準として慎重に適用する。 Make-it-Realは、3Dコンテンツ作成ワークフローに合理化された統合を提供する。
論文参考訳（メタデータ） (2024-04-25T17:59:58Z)
DreamPBR: Text-driven Generation of High-resolution SVBRDF with Multi-modal Guidance [9.214785726215942]
テキストとマルチモーダル制御によって誘導される空間的に変化する外観特性を創出するための,新しい拡散型生成フレームワークを提案する。多様な高品質なPBR素材生成を実現するための鍵は、数十億のテキストイメージ対で訓練された最近の大規模視覚言語モデルの能力を統合することである。教材作成におけるDreamPBRの有効性を実証し,その汎用性とユーザフレンドリさを幅広い制御可能な生成・編集アプリケーション上で示す。
論文参考訳（メタデータ） (2024-04-23T02:04:53Z)
MaterialSeg3D: Segmenting Dense Materials from 2D Priors for 3D Assets [63.284244910964475]
本稿では,2次元のセマンティクスから基礎となる物質を推定する3次元アセット素材生成フレームワークを提案する。このような先行モデルに基づいて,材料を三次元空間で解析する機構を考案する。
論文参考訳（メタデータ） (2024-04-22T07:00:17Z)
MatAtlas: Text-driven Consistent Geometry Texturing and Material Assignment [11.721314027024547]
MatAtlasは、一貫したテキスト誘導3Dモデルのための方法である。多段階のテクスチャリファインメントプロセスを提案することにより、品質と一貫性を著しく改善する。
論文参考訳（メタデータ） (2024-04-03T17:57:15Z)
L3GO: Language Agents with Chain-of-3D-Thoughts for Generating Unconventional Objects [53.4874127399702]
本稿では,3Dメッシュ生成を推論可能な3Dメッシュ生成手法であるL3GO(チェーン・オブ・3D思想)を用いた言語エージェントを提案する。我々は,新しいベンチマークである Unconventionally Feasible Objects (UFO) と,Blender上に構築されたSimpleBlenv を開発した。提案手法は,ShapeNet上での3Dメッシュ生成のための標準GPT-4および他の言語エージェントを上回る。
論文参考訳（メタデータ） (2024-02-14T09:51:05Z)
Generating Parametric BRDFs from Natural Language Descriptions [1.1847636087764204]
記述的プロンプトから双方向反射分布関数を生成するモデルを開発した。 BRDFは、光と表面物質との相互作用を特徴付ける4次元の確率分布である。我々のモデルは、教師なしスキームによってチューニングされる前に、まず半教師なしアプローチを用いて訓練される。
論文参考訳（メタデータ） (2023-06-19T15:35:19Z)
Generative Modelling of BRDF Textures from Flash Images [50.660026124025265]
我々は、容易にキャプチャ、セマンティックな編集、一貫した、視覚素材の外観の効率よく再現できる潜在空間を学習する。 2番目のステップでは、材料コードに基づいて、私たちの方法は、BRDFモデルパラメータの無限で多様な空間フィールドを生成します。
論文参考訳（メタデータ） (2021-02-23T18:45:18Z)
MaterialGAN: Reflectance Capture using a Generative SVBRDF Model [33.578080406338266]
本稿では,StyleGAN2をベースとした深層生成畳み込みネットワークであるMaterialGANを提案する。逆レンダリングフレームワークにおいて,MaterialGANは強力な素材として利用できることを示す。携帯端末を用いたフラッシュ照明下で撮影された画像からSVBRDFを再構成する作業において,この枠組みを実証する。
論文参考訳（メタデータ） (2020-09-30T21:33:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。