論文の概要: Boosting 3D Object Generation through PBR Materials

• arxiv url: http://arxiv.org/abs/2411.16080v1
• Date: Mon, 25 Nov 2024 04:20:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-26 14:24:35.384826
• Title: Boosting 3D Object Generation through PBR Materials
• Title（参考訳）: PBR材料による3次元オブジェクト生成の促進
• Authors: Yitong Wang, Xudong Xu, Li Ma, Haoran Wang, Bo Dai,
• Abstract要約: 物理ベースレンダリング(PBR)材料の観点から,生成した3Dオブジェクトの品質を高める新しい手法を提案する。 アルベドやバンプマップでは、合成データに微調整された安定拡散を利用してこれらの値を抽出する。 粗さと金属度マップについては,対話的な調整を行うためのセミオートマチックなプロセスを採用する。
• 参考スコア（独自算出の注目度）: 32.732511476490316
• License:
• Abstract: Automatic 3D content creation has gained increasing attention recently, due to its potential in various applications such as video games, film industry, and AR/VR. Recent advancements in diffusion models and multimodal models have notably improved the quality and efficiency of 3D object generation given a single RGB image. However, 3D objects generated even by state-of-the-art methods are still unsatisfactory compared to human-created assets. Considering only textures instead of materials makes these methods encounter challenges in photo-realistic rendering, relighting, and flexible appearance editing. And they also suffer from severe misalignment between geometry and high-frequency texture details. In this work, we propose a novel approach to boost the quality of generated 3D objects from the perspective of Physics-Based Rendering (PBR) materials. By analyzing the components of PBR materials, we choose to consider albedo, roughness, metalness, and bump maps. For albedo and bump maps, we leverage Stable Diffusion fine-tuned on synthetic data to extract these values, with novel usages of these fine-tuned models to obtain 3D consistent albedo UV and bump UV for generated objects. In terms of roughness and metalness maps, we adopt a semi-automatic process to provide room for interactive adjustment, which we believe is more practical. Extensive experiments demonstrate that our model is generally beneficial for various state-of-the-art generation methods, significantly boosting the quality and realism of their generated 3D objects, with natural relighting effects and substantially improved geometry.
• Abstract（参考訳）: 近年,ビデオゲームや映画産業,AR/VRといった様々な応用の可能性から,自動3Dコンテンツ作成が注目されている。 拡散モデルとマルチモーダルモデルの最近の進歩は、単一のRGB画像から得られる3次元オブジェクト生成の品質と効率を著しく改善している。 しかし、最先端の手法でも生成される3Dオブジェクトは、人為的な資産に比べてまだ不十分である。 素材の代わりにテクスチャだけを考えると、これらの手法はフォトリアリスティックなレンダリング、リライティング、フレキシブルな外観編集の課題に直面する。 また、幾何学と高周波テクスチャの微妙な相違にも悩まされている。 本研究では,物理ベースレンダリング(PBR)材料の観点から,生成した3Dオブジェクトの品質を高める新しい手法を提案する。 PBR材料の成分を解析することにより,アルベド,粗度,金属度,バンプマップを考察する。 アルベドとバンプマップでは、合成データに微調整された安定拡散を利用してこれらの値を抽出する。 粗さと金属度マップでは、対話的な調整のための空間を提供するための半自動プロセスを採用しており、より実用的であると考えています。 広汎な実験により、我々のモデルは様々な最先端の3Dオブジェクトの品質とリアリズムを著しく向上させ、自然照らし効果と幾何性を大幅に向上させることが実証された。

関連論文リスト

• Edify 3D: Scalable High-Quality 3D Asset Generation [53.86838858460809]
  Edify 3Dは高品質な3Dアセット生成のために設計された高度なソリューションである。 提案手法は,2分間で詳細な形状,清潔な形状のトポロジ,高分解能なテクスチャ,材料で高品質な3Dアセットを生成できる。
  論文  参考訳（メタデータ） (2024-11-11T17:07:43Z)
• RGM: Reconstructing High-fidelity 3D Car Assets with Relightable 3D-GS Generative Model from a Single Image [30.049602796278133]
  高品質な3Dカーアセットは、ビデオゲーム、自動運転、バーチャルリアリティーなど、さまざまなアプリケーションに欠かせない。 3Dオブジェクトの表現としてNeRFや3D-GSを利用する現在の3D生成法は、固定照明下でランベルティアンオブジェクトを生成する。 単一入力画像から3Dカー資産を自動生成する新しい3Dオブジェクト生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-10T17:54:03Z)
• 3DTopia-XL: Scaling High-quality 3D Asset Generation via Primitive Diffusion [86.25111098482537]
  3DTopia-XLは,既存の手法の限界を克服するために設計された,スケーラブルなネイティブな3D生成モデルである。 3DTopia-XLは、新しいプリミティブベースの3D表現であるPrimXを利用して、詳細な形状、アルベド、マテリアルフィールドをコンパクトなテンソル形式にエンコードする。 その上で, 1) 原始的パッチ圧縮, 2) および潜在的原始的拡散を含む拡散変換器(DiT)に基づく生成フレームワークを提案する。 我々は,3DTopia-XLが既存の手法よりも高い性能を示すことを示すために,広範囲な定性的,定量的な実験を行った。
  論文  参考訳（メタデータ） (2024-09-19T17:59:06Z)
• CraftsMan: High-fidelity Mesh Generation with 3D Native Generation and Interactive Geometry Refiner [34.78919665494048]
  CraftsManは、非常に多様な形状、通常のメッシュトポロジ、詳細な表面を持つ高忠実な3Dジオメトリを生成することができる。 本手法は,従来の方法に比べて高品質な3Dアセットの製作に有効である。
  論文  参考訳（メタデータ） (2024-05-23T18:30:12Z)
• UltrAvatar: A Realistic Animatable 3D Avatar Diffusion Model with Authenticity Guided Textures [80.047065473698]
  幾何学の忠実度を高めたUltrAvatarと呼ばれる新しい3次元アバター生成手法を提案し,光を必要とせずに物理ベースレンダリング(PBR)テクスチャの質を向上する。 提案手法の有効性とロバスト性を実証し,実験において最先端の手法よりも高い性能を示した。
  論文  参考訳（メタデータ） (2024-01-20T01:55:17Z)
• Breathing New Life into 3D Assets with Generative Repainting [74.80184575267106]
  拡散ベースのテキスト・ツー・イメージ・モデルは、ビジョン・コミュニティ、アーティスト、コンテンツ・クリエーターから大きな注目を集めた。 近年の研究では、拡散モデルとニューラルネットワークの絡み合いを利用した様々なパイプラインが提案されている。 予備訓練された2次元拡散モデルと標準3次元ニューラルラジアンスフィールドのパワーを独立したスタンドアロンツールとして検討する。 我々のパイプラインはテクスチャ化されたメッシュや無テクスチャのメッシュのような、レガシなレンダリング可能な幾何学を受け入れ、2D生成の洗練と3D整合性強化ツール間の相互作用をオーケストレーションします。
  論文  参考訳（メタデータ） (2023-09-15T16:34:51Z)
• 3D Scene Creation and Rendering via Rough Meshes: A Lighting Transfer Avenue [49.62477229140788]
  本稿では,再構成された3Dモデルを3Dシーン作成やレンダリングなどの実用的な3Dモデリングパイプラインに柔軟に統合する方法について述べる。 我々はNFRとPBRを橋渡しする照明伝達ネットワーク(LighTNet)を提案する。
  論文  参考訳（メタデータ） (2022-11-27T13:31:00Z)
• GET3D: A Generative Model of High Quality 3D Textured Shapes Learned from Images [72.15855070133425]
  本稿では,複雑なトポロジ,リッチな幾何学的ディテール,高忠実度テクスチャを備えたExplicit Textured 3Dメッシュを直接生成する生成モデルであるGET3Dを紹介する。 GET3Dは、車、椅子、動物、バイク、人間キャラクターから建物まで、高品質な3Dテクスチャメッシュを生成することができる。
  論文  参考訳（メタデータ） (2022-09-22T17:16:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。