Fugu-MT 論文翻訳(概要): PBR3DGen: A VLM-guided Mesh Generation with High-quality PBR Texture

論文の概要: PBR3DGen: A VLM-guided Mesh Generation with High-quality PBR Texture

arxiv url: http://arxiv.org/abs/2503.11368v1
Date: Fri, 14 Mar 2025 13:11:19 GMT
ステータス: 翻訳完了
システム内更新日: 2025-03-17 13:07:07.216972
Title: PBR3DGen: A VLM-guided Mesh Generation with High-quality PBR Texture
Title（参考訳）: PBR3DGen:高品質PBR集合体を用いたVLM誘導メッシュ生成
Authors: Xiaokang Wei, Bowen Zhang, Xianghui Yang, Yuxuan Wang, Chunchao Guo, Xi Zhao, Yan Luximon,
Abstract要約: 高品質なPBR材料を用いた2段階メッシュ生成法であるPBR3DGenを提案する。視覚言語モデル(VLM)を用いて多視点拡散を誘導し,反射金属材料の空間分布と特性を正確に把握する。我々の復元モデルはPBR材料で高品質なメッシュを再構築する。
参考スコア（独自算出の注目度）: 9.265778497001843
License:
Abstract: Generating high-quality physically based rendering (PBR) materials is important to achieve realistic rendering in the downstream tasks, yet it remains challenging due to the intertwined effects of materials and lighting. While existing methods have made breakthroughs by incorporating material decomposition in the 3D generation pipeline, they tend to bake highlights into albedo and ignore spatially varying properties of metallicity and roughness. In this work, we present PBR3DGen, a two-stage mesh generation method with high-quality PBR materials that integrates the novel multi-view PBR material estimation model and a 3D PBR mesh reconstruction model. Specifically, PBR3DGen leverages vision language models (VLM) to guide multi-view diffusion, precisely capturing the spatial distribution and inherent attributes of reflective-metalness material. Additionally, we incorporate view-dependent illumination-aware conditions as pixel-aware priors to enhance spatially varying material properties. Furthermore, our reconstruction model reconstructs high-quality mesh with PBR materials. Experimental results demonstrate that PBR3DGen significantly outperforms existing methods, achieving new state-of-the-art results for PBR estimation and mesh generation. More results and visualization can be found on our project page: https://pbr3dgen1218.github.io/.
Abstract（参考訳）: 下流作業におけるリアルなレンダリングを実現するためには、高品質な物理ベースレンダリング(PBR)素材の生成が重要であるが、材料と照明の絡み合いがあるため、依然として困難である。既存の方法では、材料分解を3次元生成パイプラインに組み込むことでブレークスルーを図っているが、それらはアルベドにハイライトを焼き込み、空間的に変化する金属性や粗さを無視する傾向にある。本研究では,新しい多視点PBR材料推定モデルと3次元PBRメッシュ再構成モデルを統合する,高品質なPBR材料を用いた2段階メッシュ生成手法であるPBR3DGenを提案する。具体的には、PBR3DGenは視覚言語モデル(VLM)を利用して多視点拡散を誘導し、反射金属材料の空間分布と固有の特性を正確に把握する。さらに、視界依存照明認識条件を画素認識の先行条件として取り入れ、空間的に変化する材料特性を向上する。さらに,本モデルでは,PBR材料を用いた高品質メッシュを再構成する。実験の結果,PBR3DGenは既存の手法よりも優れており,PBR推定およびメッシュ生成のための新たな最先端結果が得られた。さらなる結果と視覚化は、プロジェクトのページ(https://pbr3dgen1218.github.io/)で確認できます。

関連論文リスト

MatCLIP: Light- and Shape-Insensitive Assignment of PBR Material Models [42.42328559042189]
MatCLIPは、PBR材料の形状や光に敏感な記述子を抽出し、画像に基づいて可塑性テクスチャを3Dオブジェクトに割り当てる新しい手法である。そこで本研究では,PBR表現の領域を写真や描画でブリッジする記述子を生成する。 MatCLIPの分類精度は76.6%で、PhotoShapeやMatAtlasのような最先端の手法よりも優れている。
論文参考訳（メタデータ） (2025-01-27T12:08:52Z)
MCMat: Multiview-Consistent and Physically Accurate PBR Material Generation [30.69364954074992]
UNetベースの拡散モデルにより、マルチビュー物理レンダリングPBRマップを生成するが、マルチビューの不整合、いくつかの3Dメソッドは、UVマップを直接生成する。そこで本研究では,PBR素材を特徴視する参照ビューを生成するために,特殊設計のTransformer DiDiモデルの両方を用いてPBR材料を生成することを提案する。
論文参考訳（メタデータ） (2024-12-18T18:45:35Z)
TexGaussian: Generating High-quality PBR Material via Octree-based 3D Gaussian Splatting [48.97819552366636]
本稿では, 八面体配向型3次元ガウス平板を用いた高速PBR材料生成のためのTexGaussianを提案する。本手法は,PBR素材をより視覚的に合成し,非条件シナリオとテキスト条件シナリオの両方において,従来の方法よりも高速に動作させる。
論文参考訳（メタデータ） (2024-11-29T12:19:39Z)
Boosting 3D Object Generation through PBR Materials [32.732511476490316]
物理ベースレンダリング(PBR)材料の観点から,生成した3Dオブジェクトの品質を高める新しい手法を提案する。アルベドやバンプマップでは、合成データに微調整された安定拡散を利用してこれらの値を抽出する。粗さと金属度マップについては,対話的な調整を行うためのセミオートマチックなプロセスを採用する。
論文参考訳（メタデータ） (2024-11-25T04:20:52Z)
MaterialFusion: Enhancing Inverse Rendering with Material Diffusion Priors [67.74705555889336]
本稿では,テクスチャと材料特性に先立って2Dを組み込んだ,従来の3次元逆レンダリングパイプラインであるMaterialFusionを紹介する。本稿では,2次元拡散モデルであるStableMaterialについて述べる。種々の照明条件下で, 合成および実物体の4つのデータセット上でのMaterialFusionの照度特性を検証した。
論文参考訳（メタデータ） (2024-09-23T17:59:06Z)
3DTopia-XL: Scaling High-quality 3D Asset Generation via Primitive Diffusion [86.25111098482537]
3DTopia-XLは,既存の手法の限界を克服するために設計された,スケーラブルなネイティブな3D生成モデルである。 3DTopia-XLは、新しいプリミティブベースの3D表現であるPrimXを利用して、詳細な形状、アルベド、マテリアルフィールドをコンパクトなテンソル形式にエンコードする。その上で, 1) 原始的パッチ圧縮, 2) および潜在的原始的拡散を含む拡散変換器(DiT)に基づく生成フレームワークを提案する。我々は,3DTopia-XLが既存の手法よりも高い性能を示すことを示すために,広範囲な定性的,定量的な実験を行った。
論文参考訳（メタデータ） (2024-09-19T17:59:06Z)
Meta 3D AssetGen: Text-to-Mesh Generation with High-Quality Geometry, Texture, and PBR Materials [58.178540282148475]
AssetGenはテキストから3D生成の大幅な進歩である。テクスチャと素材制御を備えた忠実で高品質なメッシュを生成する。
論文参考訳（メタデータ） (2024-07-02T17:21:47Z)
DreamMat: High-quality PBR Material Generation with Geometry- and Light-aware Diffusion Models [43.90578254200415]
テキスト記述から高品質なPBR材料を生成する革新的な手法であるDreamMatを紹介する。まず、所定の照明環境における新しい光認識2次元拡散モデルを作成し、この特定の照明環境におけるシェーディング結果を生成する。物質蒸留に同じ環境光を適用することで、DreamMatは、与えられた幾何学と整合するだけでなく、アルベドの焼き込みシェーディング効果のない高品質のPBR材料を生成することができる。
論文参考訳（メタデータ） (2024-05-27T13:55:08Z)
DreamPBR: Text-driven Generation of High-resolution SVBRDF with Multi-modal Guidance [9.214785726215942]
テキストとマルチモーダル制御によって誘導される空間的に変化する外観特性を創出するための,新しい拡散型生成フレームワークを提案する。多様な高品質なPBR素材生成を実現するための鍵は、数十億のテキストイメージ対で訓練された最近の大規模視覚言語モデルの能力を統合することである。教材作成におけるDreamPBRの有効性を実証し,その汎用性とユーザフレンドリさを幅広い制御可能な生成・編集アプリケーション上で示す。
論文参考訳（メタデータ） (2024-04-23T02:04:53Z)
UniDream: Unifying Diffusion Priors for Relightable Text-to-3D Generation [101.2317840114147]
We present UniDream, a text-to-3D generation framework by integration priors。提案手法は,(1)アルベド正規配位型多視点拡散・再構成モデルを得るための2相学習プロセス,(2)訓練された再構成・拡散モデルを用いたスコア蒸留サンプル(SDS)に基づく幾何およびアルベドテクスチャのプログレッシブ生成手順,(3)安定拡散モデルに基づく固定アルベドを保ちながらPBR生成を確定するSDSの革新的な応用,の3つからなる。
論文参考訳（メタデータ） (2023-12-14T09:07:37Z)
Relightify: Relightable 3D Faces from a Single Image via Diffusion Models [86.3927548091627]
単一画像からの3次元顔BRDF再構成を高精度に行うために,拡散モデルを用いた最初のアプローチを提案する。既存の手法とは対照的に,観測されたテクスチャを直接入力画像から取得することで,より忠実で一貫した推定が可能となる。
論文参考訳（メタデータ） (2023-05-10T11:57:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。