論文の概要: Generative Detail Enhancement for Physically Based Materials

• arxiv url: http://arxiv.org/abs/2502.13994v1
• Date: Wed, 19 Feb 2025 06:39:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-21 17:44:04.479031
• Title: Generative Detail Enhancement for Physically Based Materials
• Title（参考訳）: 物理材料における生成的詳細化
• Authors: Saeed Hadadan, Benedikt Bitterli, Tizian Zeltner, Jan Novák, Fabrice Rousselle, Jacob Munkberg, Jon Hasselgren, Bartlomiej Wronski, Matthias Zwicker,
• Abstract要約: 本稿では,市販拡散モデルと逆レンダリングを用いて,物理材料の詳細性を高めるツールを提案する。 我々のゴールは、装い、老朽化、風化などの兆候を加えることで、しばしば著者にとって面倒な細部で素材の視覚的忠実度を高めることである。
• 参考スコア（独自算出の注目度）: 25.631270458028066
• License:
• Abstract: We present a tool for enhancing the detail of physically based materials using an off-the-shelf diffusion model and inverse rendering. Our goal is to enhance the visual fidelity of materials with detail that is often tedious to author, by adding signs of wear, aging, weathering, etc. As these appearance details are often rooted in real-world processes, we leverage a generative image model trained on a large dataset of natural images with corresponding visuals in context. Starting with a given geometry, UV mapping, and basic appearance, we render multiple views of the object. We use these views, together with an appearance-defining text prompt, to condition a diffusion model. The details it generates are then backpropagated from the enhanced images to the material parameters via inverse differentiable rendering. For inverse rendering to be successful, the generated appearance has to be consistent across all the images. We propose two priors to address the multi-view consistency of the diffusion model. First, we ensure that the initial noise that seeds the diffusion process is itself consistent across views by integrating it from a view-independent UV space. Second, we enforce geometric consistency by biasing the attention mechanism via a projective constraint so that pixels attend strongly to their corresponding pixel locations in other views. Our approach does not require any training or finetuning of the diffusion model, is agnostic of the material model used, and the enhanced material properties, i.e., 2D PBR textures, can be further edited by artists.
• Abstract（参考訳）: 本稿では,市販拡散モデルと逆レンダリングを用いて,物理材料の詳細性を高めるツールを提案する。 我々のゴールは、装い、老朽化、風化などの兆候を加えることで、しばしば著者にとって面倒な細部で素材の視覚的忠実度を高めることである。 これらの外観の詳細は、しばしば現実世界のプロセスに根ざしているため、自然画像の大規模なデータセットに基づいて訓練された生成画像モデルを利用して、コンテキストに対応する視覚的特徴を学習する。 与えられた幾何学、紫外線マッピング、基本的な外観から始めて、オブジェクトの複数のビューを描画する。 我々はこれらのビューと外見定義テキストプロンプトを併用して拡散モデルの条件付けを行う。 そして、それらが生成する詳細は、逆微分可能レンダリングによって、拡張された画像から材料パラメータに逆伝搬される。 逆レンダリングが成功するためには、生成された外観はすべての画像に一貫性を持たなければならない。 本稿では,拡散モデルの多視点整合性に対処する2つの先行手法を提案する。 まず、拡散過程をシード化する初期ノイズが、ビュー非依存のUV空間から統合することで、ビュー間で一貫性があることを保証する。 第2に,他の視点において,画素が対応する画素位置に強く従うように,投射的制約によってアテンション機構をバイアスすることで,幾何的整合性を実現する。 本手法では, 拡散モデルの訓練や微調整を一切必要とせず, 使用する材料モデルに非依存であり, 2次元PBRテクスチャなどの強化された材料特性をアーティストによってさらに編集することができる。

関連論文リスト

• DiffusionRenderer: Neural Inverse and Forward Rendering with Video Diffusion Models [83.28670336340608]
  逆レンダリングとフォワードレンダリングの二重問題に対処するニューラルアプローチであるDiffusionRendererを導入する。 本モデルは,リライティング,素材編集,現実的なオブジェクト挿入など,単一のビデオ入力から現実的な応用を可能にする。
  論文  参考訳（メタデータ） (2025-01-30T18:59:11Z)
• Towards High-Fidelity 3D Portrait Generation with Rich Details by Cross-View Prior-Aware Diffusion [63.81544586407943]
  シングルイメージの3Dポートレート生成法は通常、多視点の知識を提供するために2次元拡散モデルを使用し、それを3次元表現に蒸留する。 本稿では,複数ビュー画像の状態の整合性を高める条件として,複数ビュー先行を明示的かつ暗黙的に組み込んだハイブリッド優先ディフジョンモデルを提案する。 実験により,1枚の画像から正確な幾何学的,詳細な3次元像を作成できることが示された。
  論文  参考訳（メタデータ） (2024-11-15T17:19:18Z)
• Photorealistic Object Insertion with Diffusion-Guided Inverse Rendering [56.68286440268329]
  現実世界のシーンの画像に仮想オブジェクトを正しく挿入するには、シーンの照明、幾何学、材料を深く理解する必要がある。 本稿では,物理ベースの逆レンダリングプロセスへのガイダンスとして,パーソナライズされた大規模拡散モデルを提案する。 本手法は,シーンライティングとトーンマッピングのパラメータを復元し,任意の仮想オブジェクトの光リアルな構成を室内や屋外のシーンの単一フレームやビデオで再現する。
  論文  参考訳（メタデータ） (2024-08-19T05:15:45Z)
• MaPa: Text-driven Photorealistic Material Painting for 3D Shapes [80.66880375862628]
  本稿では,テキスト記述から3次元メッシュの材料を作成することを目的とする。 テクスチャマップを合成する既存の方法とは異なり、我々はセグメントワイドな手続き的な材料グラフを生成することを提案する。 我々のフレームワークは高品質なレンダリングをサポートし、編集にかなりの柔軟性を提供します。
  論文  参考訳（メタデータ） (2024-04-26T17:54:38Z)
• IntrinsicAnything: Learning Diffusion Priors for Inverse Rendering Under Unknown Illumination [37.96484120807323]
  本稿では,未知の静止照明条件下で撮影されたポーズ画像から対象物質を回収することを目的とする。 我々は、最適化プロセスの正規化のための生成モデルを用いて、その材料を事前に学習する。 実世界および合成データセットを用いた実験により,本手法が材料回収における最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-04-17T17:45:08Z)
• Improving Diffusion Models for Authentic Virtual Try-on in the Wild [53.96244595495942]
  本稿では,キュレートされた衣服を身に着けている人のイメージをレンダリングする,イメージベースの仮想試行について考察する。 衣服の忠実度を改善し,仮想試行画像を生成する新しい拡散モデルを提案する。 本稿では,一対の人着画像を用いたカスタマイズ手法を提案する。
  論文  参考訳（メタデータ） (2024-03-08T08:12:18Z)
• Optimized View and Geometry Distillation from Multi-view Diffuser [20.47237377203664]
  本研究では,2次元拡散モデルから無条件雑音を利用するUnbiased Score Distillation (USD)を提案する。 本研究では2次元拡散モデルの2段階の特殊化プロセスを開発する。 最後に,改良された多視点画像から直接忠実な形状とテクスチャを復元する。
  論文  参考訳（メタデータ） (2023-12-11T08:22:24Z)
• RichDreamer: A Generalizable Normal-Depth Diffusion Model for Detail Richness in Text-to-3D [31.77212284992657]
  我々は3次元生成のための一般化可能な正規-深度拡散モデルを学ぶ。 アルベド拡散モデルを導入し、アルベド成分にデータ駆動的制約を課す。 実験の結果,既存のテキスト・ツー・3Dパイプラインに組み込むと,モデルのリッチさが著しく向上することがわかった。
  論文  参考訳（メタデータ） (2023-11-28T16:22:33Z)
• Relightify: Relightable 3D Faces from a Single Image via Diffusion Models [86.3927548091627]
  単一画像からの3次元顔BRDF再構成を高精度に行うために,拡散モデルを用いた最初のアプローチを提案する。 既存の手法とは対照的に,観測されたテクスチャを直接入力画像から取得することで,より忠実で一貫した推定が可能となる。
  論文  参考訳（メタデータ） (2023-05-10T11:57:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。