論文の概要: MatFusion: A Generative Diffusion Model for SVBRDF Capture

• arxiv url: http://arxiv.org/abs/2406.06539v1
• Date: Wed, 24 Apr 2024 02:07:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-01 08:00:19.036565
• Title: MatFusion: A Generative Diffusion Model for SVBRDF Capture
• Title（参考訳）: MatFusion:SVBRDFキャプチャのための生成拡散モデル
• Authors: Sam Sartor, Pieter Peers,
• Abstract要約: 画像からのSVBRDF推定を拡散タスクとして定式化する。 まず,312,165個の合成空間変化材料を用いた非条件SVBRDF拡散バックボーンモデルを訓練する。 各種入射照明に条件付きSVBRDF拡散モデルを精製することにより,本手法の柔軟性を実証する。
• 参考スコア（独自算出の注目度）: 3.3090362820994526
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We formulate SVBRDF estimation from photographs as a diffusion task. To model the distribution of spatially varying materials, we first train a novel unconditional SVBRDF diffusion backbone model on a large set of 312,165 synthetic spatially varying material exemplars. This SVBRDF diffusion backbone model, named MatFusion, can then serve as a basis for refining a conditional diffusion model to estimate the material properties from a photograph under controlled or uncontrolled lighting. Our backbone MatFusion model is trained using only a loss on the reflectance properties, and therefore refinement can be paired with more expensive rendering methods without the need for backpropagation during training. Because the conditional SVBRDF diffusion models are generative, we can synthesize multiple SVBRDF estimates from the same input photograph from which the user can select the one that best matches the users' expectation. We demonstrate the flexibility of our method by refining different SVBRDF diffusion models conditioned on different types of incident lighting, and show that for a single photograph under colocated flash lighting our method achieves equal or better accuracy than existing SVBRDF estimation methods.
• Abstract（参考訳）: 画像からのSVBRDF推定を拡散タスクとして定式化する。 空間的に変化する材料の分布をモデル化するために,我々はまず,空間的に変化する材料の大集合312,165個の非条件SVBRDF拡散バックボーンモデルを訓練する。 このSVBRDF拡散バックボーンモデルであるMatFusionは、条件付き拡散モデルを精製し、制御または制御されていない照明下での写真から物質特性を推定する基礎となる。 私たちのバックボーンMatFusionモデルは反射率特性の損失のみを用いてトレーニングされるので、トレーニング中にバックプロパゲーションを必要とせずに、より高価なレンダリング手法と組み合わせることができる。 条件付きSVBRDF拡散モデルでは,複数のSVBRDF推定値を合成することができる。 本手法の柔軟性は,様々な種類の入射光に条件付き異なるSVBRDF拡散モデルを精製することにより実証し,光の同時照射による1枚の写真の場合,既存のSVBRDF推定法と同等かそれ以上の精度が得られることを示す。

関連論文リスト

• An Expectation-Maximization Algorithm for Training Clean Diffusion Models from Corrupted Observations [21.411327264448058]
  本稿では, 予測最大化(EM)手法を提案し, 劣化した観測から拡散モデルを訓練する。 本手法は, 既知拡散モデル(E-step)を用いた劣化データからのクリーン画像の再構成と, これらの再構成(M-step)に基づく拡散モデル重みの精製とを交互に行う。 この反復過程は、学習された拡散モデルを真のクリーンなデータ分布に徐々に収束させる。
  論文  参考訳（メタデータ） (2024-07-01T07:00:17Z)
• Distilling Diffusion Models into Conditional GANs [90.76040478677609]
  複雑な多段階拡散モデルを1段階条件付きGAN学生モデルに蒸留する。 E-LatentLPIPSは,拡散モデルの潜在空間で直接動作する知覚的損失である。 我々は, 最先端の1ステップ拡散蒸留モデルよりも優れた1ステップ発生器を実証した。
  論文  参考訳（メタデータ） (2024-05-09T17:59:40Z)
• ReflectanceFusion: Diffusion-based text to SVBRDF Generation [12.5036873986483]
  テキスト記述から高忠実なSVBRDFマップを生成することができる新しいニューラルテキスト・ツー・テクスチャモデルであるReflectance Diffusionを導入する。 提案手法は2つのモジュールからなるタンデムニューラルアプローチを利用して,空間的に変化する反射率の分布を正確にモデル化する。
  論文  参考訳（メタデータ） (2024-04-25T15:43:33Z)
• Ambient Diffusion Posterior Sampling: Solving Inverse Problems with Diffusion Models trained on Corrupted Data [56.81246107125692]
  Ambient Diffusion Posterior Smpling (A-DPS) は、ある種類の腐敗に対して事前訓練された生成モデルである。 A-DPSは、いくつかの画像復元タスクにおいて、クリーンなデータで訓練されたモデルよりも、速度と性能の両方で優れていることが示される。 我々はAmbient Diffusionフレームワークを拡張して、FourierサブサンプルのマルチコイルMRI測定にのみアクセスしてMRIモデルをトレーニングする。
  論文  参考訳（メタデータ） (2024-03-13T17:28:20Z)
• Relightify: Relightable 3D Faces from a Single Image via Diffusion Models [86.3927548091627]
  単一画像からの3次元顔BRDF再構成を高精度に行うために,拡散モデルを用いた最初のアプローチを提案する。 既存の手法とは対照的に,観測されたテクスチャを直接入力画像から取得することで,より忠実で一貫した推定が可能となる。
  論文  参考訳（メタデータ） (2023-05-10T11:57:49Z)
• DDFM: Denoising Diffusion Model for Multi-Modality Image Fusion [144.9653045465908]
  拡散確率モデル(DDPM)に基づく新しい融合アルゴリズムを提案する。 近赤外可視画像融合と医用画像融合で有望な融合が得られた。
  論文  参考訳（メタデータ） (2023-03-13T04:06:42Z)
• Enhanced Controllability of Diffusion Models via Feature Disentanglement and Realism-Enhanced Sampling Methods [27.014858633903867]
  拡散モデル(FDiff)の特徴分散のためのトレーニングフレームワークを提案する。 本稿では,拡散モデルの現実性を高め,制御性を高める2つのサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2023-02-28T07:43:00Z)
• SinDiffusion: Learning a Diffusion Model from a Single Natural Image [159.4285444680301]
  SinDiffusionは1つの自然な画像からパッチの内部分布を捉えるためにデノナイズ拡散モデルを利用する。 SinDiffusionは、2つのコア設計に基づいている。まず、SinDiffusionは、段階的にスケールが成長する複数のモデルではなく、1つのスケールで1つのモデルで訓練されている。 第2に,拡散ネットワークのパッチレベルの受容領域は,画像のパッチ統計を捉える上で重要かつ効果的であることを示す。
  論文  参考訳（メタデータ） (2022-11-22T18:00:03Z)
• Flexible Amortized Variational Inference in qBOLD MRI [56.4324135502282]
  データから酸素抽出率(OEF)と脱酸素血液量(DBV)をより明瞭に決定する。 既存の推論手法では、DBVを過大評価しながら非常にノイズの多い、過小評価されたEFマップが得られる傾向にある。 本研究は, OEFとDBVの可算分布を推定できる確率論的機械学習手法について述べる。
  論文  参考訳（メタデータ） (2022-03-11T10:47:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。