論文の概要: DiFaReli++: Diffusion Face Relighting with Consistent Cast Shadows

• arxiv url: http://arxiv.org/abs/2304.09479v4
• Date: Sat, 25 Jan 2025 18:24:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-28 13:51:41.936476
• Title: DiFaReli++: Diffusion Face Relighting with Consistent Cast Shadows
• Title（参考訳）: DiFaReli++: 一貫性のあるキャストシャドウを備えた拡散顔リライト
• Authors: Puntawat Ponglertnapakorn, Nontawat Tritrong, Supasorn Suwajanakorn,
• Abstract要約: 我々は,グローバル照明やキャストシャドウといった課題に対処するため,自然界における単一視点の顔のリライティングに新たなアプローチを導入する。 我々は、1つのネットワークパスだけを必要とする単発リライトフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 11.566896201650056
• License:
• Abstract: We introduce a novel approach to single-view face relighting in the wild, addressing challenges such as global illumination and cast shadows. A common scheme in recent methods involves intrinsically decomposing an input image into 3D shape, albedo, and lighting, then recomposing it with the target lighting. However, estimating these components is error-prone and requires many training examples with ground-truth lighting to generalize well. Our work bypasses the need for accurate intrinsic estimation and can be trained solely on 2D images without any light stage data, relit pairs, multi-view images, or lighting ground truth. Our key idea is to leverage a conditional diffusion implicit model (DDIM) for decoding a disentangled light encoding along with other encodings related to 3D shape and facial identity inferred from off-the-shelf estimators. We propose a novel conditioning technique that simplifies modeling the complex interaction between light and geometry. It uses a rendered shading reference along with a shadow map, inferred using a simple and effective technique, to spatially modulate the DDIM. Moreover, we propose a single-shot relighting framework that requires just one network pass, given pre-processed data, and even outperforms the teacher model across all metrics. Our method realistically relights in-the-wild images with temporally consistent cast shadows under varying lighting conditions. We achieve state-of-the-art performance on the standard benchmark Multi-PIE and rank highest in user studies.
• Abstract（参考訳）: 我々は,グローバル照明やキャストシャドウといった課題に対処するため,自然界における単一視点の顔のリライティングに新たなアプローチを導入する。 近年の手法では、入力画像を3次元の形状、アルベド、照明に内在的に分解し、ターゲットの照明で再合成する手法が一般的である。 しかし、これらの成分を推定するのは誤りが伴いやすいため、多くの訓練例と地中照度をうまく一般化するためには、多くの訓練例が必要である。 我々の研究は、正確な内在的推定の必要性を回避し、光ステージデータ、頼りのペア、マルチビュー画像、あるいは地上の真実を照らすことなく、2D画像のみを訓練することができる。 我々のキーとなるアイデアは、拡散暗黙モデル(DDIM)を用いて、オフザシェルフ推定器から推定される3次元形状と顔の同一性に関連する他のエンコーディングと共に、歪んだ光の符号化を復号することである。 光と幾何学の複雑な相互作用をモデル化する新しい条件付け手法を提案する。 DDIMを空間的に調節するために、レンダリングシェーディング参照と、単純で効果的な手法を用いて推測されるシャドウマップを使用する。 さらに,1つのネットワークパスのみを必要とする単発リライトフレームワークを提案する。 提案手法は,異なる照明条件下での時間的に一貫した影を持つ電球内画像を現実的にリライトする。 標準ベンチマークであるMulti-PIEで最先端のパフォーマンスを達成し、ユーザスタディで最高位にランクインする。

関連論文リスト

• GI-GS: Global Illumination Decomposition on Gaussian Splatting for Inverse Rendering [6.820642721852439]
  GI-GSは3次元ガウススティング(3DGS)と遅延シェーディングを利用する新しい逆レンダリングフレームワークである。 筆者らのフレームワークでは,まずGバッファを描画し,シーンの詳細な形状と材料特性を捉える。 Gバッファと以前のレンダリング結果により、ライトウェイトパストレースにより間接照明を計算することができる。
  論文  参考訳（メタデータ） (2024-10-03T15:58:18Z)
• Lite2Relight: 3D-aware Single Image Portrait Relighting [87.62069509622226]
  Lite2Relightは、肖像画の3D一貫性のある頭部ポーズを予測できる新しいテクニックだ。 事前学習した幾何認識エンコーダと特徴アライメントモジュールを利用することで、入力画像を3D空間にマッピングする。 これには、髪、目、表情を含むフルヘッドの3D一貫性のある結果が含まれる。
  論文  参考訳（メタデータ） (2024-07-15T07:16:11Z)
• Neural Gaffer: Relighting Any Object via Diffusion [43.87941408722868]
  我々はニューラル・ギャファーと呼ばれる新しいエンドツーエンドの2次元ライティング拡散モデルを提案する。 我々のモデルは、任意の物体の1つの画像を取り、新しい照明条件下で、正確で高品質な信頼された画像を合成することができる。 本稿では,インターネット画像の総合化と精度の両面からモデルを評価し,その利点を一般化と精度の両面から示す。
  論文  参考訳（メタデータ） (2024-06-11T17:50:15Z)
• Learning to Relight Portrait Images via a Virtual Light Stage and Synthetic-to-Real Adaptation [76.96499178502759]
  Relightingは、イメージ内の人物を、ターゲットの照明のある環境に現れたかのように再照らすことを目的としている。 最近の手法は、高品質な結果を得るためにディープラーニングに依存している。 そこで本研究では,光ステージを必要とせずに,SOTA(State-of-the-art Relighting Method)と同等に動作可能な新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-09-21T17:15:58Z)
• Geometry-aware Single-image Full-body Human Relighting [37.381122678376805]
  単一イメージの人間のリライティングは、入力画像をアルベド、形状、照明に分解することで、新たな照明条件下でターゲットの人間をリライティングすることを目的としている。 それまでの方法は、アルベドと照明の絡み合いと、硬い影の欠如に悩まされていた。 我々のフレームワークは、難易度の高い照明条件下で、キャストシャドウのような光現実性の高い高周波影を生成することができる。
  論文  参考訳（メタデータ） (2022-07-11T10:21:02Z)
• Physically-Based Editing of Indoor Scene Lighting from a Single Image [106.60252793395104]
  本研究では,1つの画像から複雑な室内照明を推定深度と光源セグメンテーションマスクで編集する手法を提案する。 1)シーン反射率とパラメトリックな3D照明を推定する全体的シーン再構成法,2)予測からシーンを再レンダリングするニューラルレンダリングフレームワーク,である。
  論文  参考訳（メタデータ） (2022-05-19T06:44:37Z)
• A Shading-Guided Generative Implicit Model for Shape-Accurate 3D-Aware Image Synthesis [163.96778522283967]
  そこで本研究では,シェーディング誘導型生成暗黙モデルを提案する。 正確な3D形状は、異なる照明条件下でリアルなレンダリングをもたらす必要がある。 複数のデータセットに対する実験により,提案手法が光リアルな3次元画像合成を実現することを示す。
  論文  参考訳（メタデータ） (2021-10-29T10:53:12Z)
• Learning Indoor Inverse Rendering with 3D Spatially-Varying Lighting [149.1673041605155]
  1枚の画像からアルベド, 正常, 深さ, 3次元の空間的変化を共同で推定する問題に対処する。 既存のほとんどの方法は、シーンの3D特性を無視して、画像から画像への変換としてタスクを定式化する。 本研究では3次元空間変動照明を定式化する統合学習ベースの逆フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-13T15:29:03Z)
• Relighting Images in the Wild with a Self-Supervised Siamese Auto-Encoder [62.580345486483886]
  本研究では,野生の単一ビュー画像の自己教師付きリライティング手法を提案する。 この方法は、イメージを2つの別々のエンコーディングに分解するオートエンコーダに基づいている。 Youtube 8MやCelebAなどの大規模データセットでモデルをトレーニングします。
  論文  参考訳（メタデータ） (2020-12-11T16:08:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。