Fugu-MT 論文翻訳(概要): MCMat: Multiview-Consistent and Physically Accurate PBR Material Generation

論文の概要: MCMat: Multiview-Consistent and Physically Accurate PBR Material Generation

arxiv url: http://arxiv.org/abs/2412.14148v1
Date: Wed, 18 Dec 2024 18:45:35 GMT
ステータス: 翻訳完了
システム内更新日: 2024-12-19 16:47:45.540872
Title: MCMat: Multiview-Consistent and Physically Accurate PBR Material Generation
Title（参考訳）: MCMat:多視点・物理的に高精度なPBR材料
Authors: Shenhao Zhu, Lingteng Qiu, Xiaodong Gu, Zhengyi Zhao, Chao Xu, Yuxiao He, Zhe Li, Xiaoguang Han, Yao Yao, Xun Cao, Siyu Zhu, Weihao Yuan, Zilong Dong, Hao Zhu,
Abstract要約: UNetベースの拡散モデルにより、マルチビュー物理レンダリングPBRマップを生成するが、マルチビューの不整合、いくつかの3Dメソッドは、UVマップを直接生成する。そこで本研究では,PBR素材を特徴視する参照ビューを生成するために,特殊設計のTransformer DiDiモデルの両方を用いてPBR材料を生成することを提案する。
参考スコア（独自算出の注目度）: 30.69364954074992
License:
Abstract: Existing 2D methods utilize UNet-based diffusion models to generate multi-view physically-based rendering (PBR) maps but struggle with multi-view inconsistency, while some 3D methods directly generate UV maps, encountering generalization issues due to the limited 3D data. To address these problems, we propose a two-stage approach, including multi-view generation and UV materials refinement. In the generation stage, we adopt a Diffusion Transformer (DiT) model to generate PBR materials, where both the specially designed multi-branch DiT and reference-based DiT blocks adopt a global attention mechanism to promote feature interaction and fusion between different views, thereby improving multi-view consistency. In addition, we adopt a PBR-based diffusion loss to ensure that the generated materials align with realistic physical principles. In the refinement stage, we propose a material-refined DiT that performs inpainting in empty areas and enhances details in UV space. Except for the normal condition, this refinement also takes the material map from the generation stage as an additional condition to reduce the learning difficulty and improve generalization. Extensive experiments show that our method achieves state-of-the-art performance in texturing 3D objects with PBR materials and provides significant advantages for graphics relighting applications. Project Page: https://lingtengqiu.github.io/2024/MCMat/
Abstract（参考訳）: 既存の2D手法では、UNetベースの拡散モデルを用いてマルチビュー物理ベースレンダリング(PBR)マップを生成するが、複数ビューの不整合に対処する一方で、いくつかの3D手法ではUVマップを直接生成し、制限された3Dデータのために一般化問題に遭遇する。これらの問題に対処するため,マルチビュー生成とUV材料の改良を含む2段階のアプローチを提案する。生成段階では、Diffusion Transformer (DiT) モデルを用いてPBR材料を生成する。このモデルでは、特別に設計されたマルチブランチDiTと参照ベースDiTブロックの両方がグローバルアテンション機構を採用し、異なるビュー間の機能相互作用と融合を促進し、マルチビュー整合性を向上させる。さらに,PBRに基づく拡散損失を応用して,生成した物質が現実的な物理原理と整合することを確かめる。改質段階において, 空き地で塗装を行い, 紫外空間の細部を向上する材料精製型DiTを提案する。通常の条件を除いて、この改良は、学習困難を減らし、一般化を改善するために、生成段階から物質マップを付加条件として取り込む。広汎な実験により,PBR材料を用いた3次元オブジェクトのテクスチャ化における最先端性能が達成され,グラフィックライティングアプリケーションにおいて大きなメリットが得られた。プロジェクトページ: https://lingtengqiu.github.io/2024/MCMat/

関連論文リスト

IDArb: Intrinsic Decomposition for Arbitrary Number of Input Views and Illuminations [64.07859467542664]
画像から幾何学的および物質的情報をキャプチャすることは、コンピュータビジョンとグラフィックスの基本的な課題である。従来の最適化に基づく手法では、密集した多視点入力から幾何学、材料特性、環境照明を再構築するために数時間の計算時間を必要とすることが多い。 IDArbは、様々な照明条件下で、任意の画像に対して本質的な分解を行うために設計された拡散モデルである。
論文参考訳（メタデータ） (2024-12-16T18:52:56Z)
TexGaussian: Generating High-quality PBR Material via Octree-based 3D Gaussian Splatting [48.97819552366636]
本稿では, 八面体配向型3次元ガウス平板を用いた高速PBR材料生成のためのTexGaussianを提案する。本手法は,PBR素材をより視覚的に合成し,非条件シナリオとテキスト条件シナリオの両方において,従来の方法よりも高速に動作させる。
論文参考訳（メタデータ） (2024-11-29T12:19:39Z)
Boosting 3D Object Generation through PBR Materials [32.732511476490316]
物理ベースレンダリング(PBR)材料の観点から,生成した3Dオブジェクトの品質を高める新しい手法を提案する。アルベドやバンプマップでは、合成データに微調整された安定拡散を利用してこれらの値を抽出する。粗さと金属度マップについては,対話的な調整を行うためのセミオートマチックなプロセスを採用する。
論文参考訳（メタデータ） (2024-11-25T04:20:52Z)
Material Anything: Generating Materials for Any 3D Object via Diffusion [39.46553064506517]
本稿では,3次元オブジェクトのための物理的材料を生成するための,完全自動統合拡散フレームワークを提案する。 Material Anythingは、多様な照明条件下でオブジェクトに適応可能な堅牢でエンドツーエンドのソリューションを提供する。
論文参考訳（メタデータ） (2024-11-22T18:59:39Z)
MVPaint: Synchronized Multi-View Diffusion for Painting Anything 3D [63.9188712646076]
テクスチャリングは3Dアセット生産であり、視覚的魅力と視覚的魅力を高める。近年の進歩にもかかわらず、メソッドは、主に局所的な不連続のために、しばしばサブパー結果をもたらす。本稿では,高解像度かつシームレスなマルチビュー一貫性を実現するMVPaintという新しいフレームワークを提案する。
論文参考訳（メタデータ） (2024-11-04T17:59:39Z)
Vivid-ZOO: Multi-View Video Generation with Diffusion Model [76.96449336578286]
新しい課題は、大量のキャプション付きマルチビュービデオの欠如と、そのような多次元分布をモデル化する複雑さにある。本稿では,テキストから動的3Dオブジェクトを中心に,高品質なマルチビュービデオを生成する拡散型パイプラインを提案する。
論文参考訳（メタデータ） (2024-06-12T21:44:04Z)
Grounded Compositional and Diverse Text-to-3D with Pretrained Multi-View Diffusion Model [65.58911408026748]
複雑な合成文のプロンプトを正確に追従できる3Dアセットを生成するために,グラウンドド・ドレーマーを提案する。まず,テキスト・ツー・3Dパイプラインのボトルネックとして,テキスト誘導4視点画像の活用を提唱する。次に,テキストアラインな4ビュー画像生成を促すための注意再焦点機構を導入する。
論文参考訳（メタデータ） (2024-04-28T04:05:10Z)
DreamPBR: Text-driven Generation of High-resolution SVBRDF with Multi-modal Guidance [9.214785726215942]
テキストとマルチモーダル制御によって誘導される空間的に変化する外観特性を創出するための,新しい拡散型生成フレームワークを提案する。多様な高品質なPBR素材生成を実現するための鍵は、数十億のテキストイメージ対で訓練された最近の大規模視覚言語モデルの能力を統合することである。教材作成におけるDreamPBRの有効性を実証し,その汎用性とユーザフレンドリさを幅広い制御可能な生成・編集アプリケーション上で示す。
論文参考訳（メタデータ） (2024-04-23T02:04:53Z)
UniDream: Unifying Diffusion Priors for Relightable Text-to-3D Generation [101.2317840114147]
We present UniDream, a text-to-3D generation framework by integration priors。提案手法は,(1)アルベド正規配位型多視点拡散・再構成モデルを得るための2相学習プロセス,(2)訓練された再構成・拡散モデルを用いたスコア蒸留サンプル(SDS)に基づく幾何およびアルベドテクスチャのプログレッシブ生成手順,(3)安定拡散モデルに基づく固定アルベドを保ちながらPBR生成を確定するSDSの革新的な応用,の3つからなる。
論文参考訳（メタデータ） (2023-12-14T09:07:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。