論文の概要: DiFaReli: Diffusion Face Relighting

• arxiv url: http://arxiv.org/abs/2304.09479v2
• Date: Fri, 21 Apr 2023 07:09:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-24 11:23:08.522083
• Title: DiFaReli: Diffusion Face Relighting
• Title（参考訳）: DiFaReli: 拡散面のリライト
• Authors: Puntawat Ponglertnapakorn, Nontawat Tritrong, Supasorn Suwajanakorn
• Abstract要約: 野生でのワンビューリライティングに新しいアプローチを提案する。 グローバル照明やキャストシャドーなどの非拡散効果を扱うことは、長い間、顔のリライティングの課題だった。 標準ベンチマークであるMulti-PIE上での最先端性能を実現し,画像の写実的リライトを実現する。
• 参考スコア（独自算出の注目度）: 7.892936458186202
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a novel approach to single-view face relighting in the wild. Handling non-diffuse effects, such as global illumination or cast shadows, has long been a challenge in face relighting. Prior work often assumes Lambertian surfaces, simplified lighting models or involves estimating 3D shape, albedo, or a shadow map. This estimation, however, is error-prone and requires many training examples with lighting ground truth to generalize well. Our work bypasses the need for accurate estimation of intrinsic components and can be trained solely on 2D images without any light stage data, multi-view images, or lighting ground truth. Our key idea is to leverage a conditional diffusion implicit model (DDIM) for decoding a disentangled light encoding along with other encodings related to 3D shape and facial identity inferred from off-the-shelf estimators. We also propose a novel conditioning technique that eases the modeling of the complex interaction between light and geometry by using a rendered shading reference to spatially modulate the DDIM. We achieve state-of-the-art performance on standard benchmark Multi-PIE and can photorealistically relight in-the-wild images. Please visit our page: https://diffusion-face-relighting.github.io
• Abstract（参考訳）: 野生での単眼の顔のリライティングに新しいアプローチを提案する。 グローバル照明やキャストシャドウなどの非拡散効果を扱うことは、長い間、顔を照らすことの難題だった。 以前の研究では、ランバート面、簡易照明モデル、あるいは3次元形状、アルベド、シャドウマップを推定するものだった。 しかし、この推定は誤りやすいため、十分な一般化のために多くの訓練例が必要となる。 本研究は,内在的成分を正確に推定する必要性を回避し,光ステージデータや多視点画像,あるいは地上の真理を照らすことなく2d画像のみを訓練できる。 我々のキーとなるアイデアは、拡散暗黙モデル(DDIM)を用いて、オフザシェルフ推定器から推定される3次元形状と顔の同一性に関連する他のエンコーディングと共に、歪んだ光符号化を復号することである。 また,ddimを空間的に変調するレンダリングシェーディング参照を用いて,光と幾何学の複雑な相互作用のモデル化を容易にする新しい条件付け手法を提案する。 我々は,標準ベンチマークマルチパイで最先端のパフォーマンスを実現し,実写画像のフォトリアリスティックなリライトを実現する。 https://diffusion-face-relighting.github.io

関連論文リスト

• Lite2Relight: 3D-aware Single Image Portrait Relighting [87.62069509622226]
  Lite2Relightは、肖像画の3D一貫性のある頭部ポーズを予測できる新しいテクニックだ。 事前学習した幾何認識エンコーダと特徴アライメントモジュールを利用することで、入力画像を3D空間にマッピングする。 これには、髪、目、表情を含むフルヘッドの3D一貫性のある結果が含まれる。
  論文  参考訳（メタデータ） (2024-07-15T07:16:11Z)
• Neural Gaffer: Relighting Any Object via Diffusion [43.87941408722868]
  我々はニューラル・ギャファーと呼ばれる新しいエンドツーエンドの2次元ライティング拡散モデルを提案する。 我々のモデルは、任意の物体の1つの画像を取り、新しい照明条件下で、正確で高品質な信頼された画像を合成することができる。 本稿では,インターネット画像の総合化と精度の両面からモデルを評価し,その利点を一般化と精度の両面から示す。
  論文  参考訳（メタデータ） (2024-06-11T17:50:15Z)
• IllumiNeRF: 3D Relighting Without Inverse Rendering [25.642960820693947]
  対象の環境光と推定対象形状を条件とした画像拡散モデルを用いて,各入力画像をリライトする方法を示す。 ニューラル・レージアンス・フィールド (NeRF) をこれらの信頼された画像で再構成し, 対象光の下で新しいビューを描画する。 この戦略は驚くほど競争力があり、複数のリライトベンチマークで最先端の結果が得られることを実証する。
  論文  参考訳（メタデータ） (2024-06-10T17:59:59Z)
• Physically-Based Editing of Indoor Scene Lighting from a Single Image [106.60252793395104]
  本研究では,1つの画像から複雑な室内照明を推定深度と光源セグメンテーションマスクで編集する手法を提案する。 1)シーン反射率とパラメトリックな3D照明を推定する全体的シーン再構成法,2)予測からシーンを再レンダリングするニューラルレンダリングフレームワーク,である。
  論文  参考訳（メタデータ） (2022-05-19T06:44:37Z)
• A Shading-Guided Generative Implicit Model for Shape-Accurate 3D-Aware Image Synthesis [163.96778522283967]
  そこで本研究では,シェーディング誘導型生成暗黙モデルを提案する。 正確な3D形状は、異なる照明条件下でリアルなレンダリングをもたらす必要がある。 複数のデータセットに対する実験により,提案手法が光リアルな3次元画像合成を実現することを示す。
  論文  参考訳（メタデータ） (2021-10-29T10:53:12Z)
• Learning Indoor Inverse Rendering with 3D Spatially-Varying Lighting [149.1673041605155]
  1枚の画像からアルベド, 正常, 深さ, 3次元の空間的変化を共同で推定する問題に対処する。 既存のほとんどの方法は、シーンの3D特性を無視して、画像から画像への変換としてタスクを定式化する。 本研究では3次元空間変動照明を定式化する統合学習ベースの逆フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-13T15:29:03Z)
• Relighting Images in the Wild with a Self-Supervised Siamese Auto-Encoder [62.580345486483886]
  本研究では,野生の単一ビュー画像の自己教師付きリライティング手法を提案する。 この方法は、イメージを2つの別々のエンコーディングに分解するオートエンコーダに基づいている。 Youtube 8MやCelebAなどの大規模データセットでモデルをトレーニングします。
  論文  参考訳（メタデータ） (2020-12-11T16:08:50Z)
• Lighthouse: Predicting Lighting Volumes for Spatially-Coherent Illumination [84.00096195633793]
  入力狭帯域ステレオ画像ペアからシーン内の任意の3次元位置における入射照度を推定する深層学習ソリューションを提案する。 本モデルでは,入力ステレオペア近傍の視野ビューと,各シーン内の球状パノラマのみを監督する。 提案手法は,高精細な仮想物体を実画像に挿入して照らし出すのに十分な空間変化の連続した照明を予測できることを実証する。
  論文  参考訳（メタデータ） (2020-03-18T17:46:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。