論文の概要: SynthLight: Portrait Relighting with Diffusion Model by Learning to Re-render Synthetic Faces

• arxiv url: http://arxiv.org/abs/2501.09756v1
• Date: Thu, 16 Jan 2025 18:59:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-17 15:09:24.199858
• Title: SynthLight: Portrait Relighting with Diffusion Model by Learning to Re-render Synthetic Faces
• Title（参考訳）: SynthLight: 再レンダリング顔の学習による拡散モデルによるポートレートリライティング
• Authors: Sumit Chaturvedi, Mengwei Ren, Yannick Hold-Geoffroy, Jingyuan Liu, Julie Dorsey, Zhixin Shu,
• Abstract要約: ポートレートライティングのための拡散モデルであるSynthLightを紹介する。 本手法では,環境照明条件の変化に応じて画素を変換する再レンダリング問題として,画像のリライティングを行う。 我々は、この照明条件の変換を、様々な照明の下で3Dヘッドアセットでシミュレートするデータセットを合成する。
• 参考スコア（独自算出の注目度）: 16.65498750779018
• License:
• Abstract: We introduce SynthLight, a diffusion model for portrait relighting. Our approach frames image relighting as a re-rendering problem, where pixels are transformed in response to changes in environmental lighting conditions. Using a physically-based rendering engine, we synthesize a dataset to simulate this lighting-conditioned transformation with 3D head assets under varying lighting. We propose two training and inference strategies to bridge the gap between the synthetic and real image domains: (1) multi-task training that takes advantage of real human portraits without lighting labels; (2) an inference time diffusion sampling procedure based on classifier-free guidance that leverages the input portrait to better preserve details. Our method generalizes to diverse real photographs and produces realistic illumination effects, including specular highlights and cast shadows, while preserving the subject's identity. Our quantitative experiments on Light Stage data demonstrate results comparable to state-of-the-art relighting methods. Our qualitative results on in-the-wild images showcase rich and unprecedented illumination effects. Project Page: \url{https://vrroom.github.io/synthlight/}
• Abstract（参考訳）: ポートレートライティングのための拡散モデルであるSynthLightを紹介する。 本手法では,環境照明条件の変化に応じて画素を変換する再レンダリング問題として,画像のリライティングを行う。 物理ベースのレンダリングエンジンを用いて、この照明条件の変換を、様々な照明の下で3Dヘッドアセットでシミュレートするデータセットを合成する。 合成画像領域と実画像領域のギャップを埋めるための2つのトレーニングと推論手法を提案する。(1)照明ラベルを使わずに実際の人間の肖像画を活用できるマルチタスクトレーニング、(2)入力された肖像画をより正確に保存するための分類子フリーガイダンスに基づく推論時間拡散サンプリング手順である。 本手法は,被験者の身元を保ちながら,様々な実写写真に一般化し,特異なハイライトやキャストシャドウを含むリアルな照明効果を生み出す。 光ステージデータに関する定量的実験は、最先端のリライト手法に匹敵する結果を示した。 In-the-wild画像の質的な結果は、リッチで前例のない照明効果を示している。 Project Page: \url{https://vrroom.github.io/synthlight/}

関連論文リスト

• Real-time 3D-aware Portrait Video Relighting [89.41078798641732]
  ニューラル・ラジアンス・フィールド(NeRF)を応用した3次元映像の映像再生のための3D認識方式を提案する。 我々は、高速なデュアルエンコーダを備えたビデオフレーム毎に所望の照明条件に基づいて、アルベド三面体とシェーディング三面体を推定する。 本手法は, 消費者レベルのハードウェア上で32.98fpsで動作し, 再現性, 照明誤差, 照明不安定性, 時間的整合性, 推論速度の両面から最新の結果が得られる。
  論文  参考訳（メタデータ） (2024-10-24T01:34:11Z)
• Lite2Relight: 3D-aware Single Image Portrait Relighting [87.62069509622226]
  Lite2Relightは、肖像画の3D一貫性のある頭部ポーズを予測できる新しいテクニックだ。 事前学習した幾何認識エンコーダと特徴アライメントモジュールを利用することで、入力画像を3D空間にマッピングする。 これには、髪、目、表情を含むフルヘッドの3D一貫性のある結果が含まれる。
  論文  参考訳（メタデータ） (2024-07-15T07:16:11Z)
• Neural Gaffer: Relighting Any Object via Diffusion [43.87941408722868]
  我々はニューラル・ギャファーと呼ばれる新しいエンドツーエンドの2次元ライティング拡散モデルを提案する。 我々のモデルは、任意の物体の1つの画像を取り、新しい照明条件下で、正確で高品質な信頼された画像を合成することができる。 本稿では,インターネット画像の総合化と精度の両面からモデルを評価し,その利点を一般化と精度の両面から示す。
  論文  参考訳（メタデータ） (2024-06-11T17:50:15Z)
• Relightful Harmonization: Lighting-aware Portrait Background Replacement [23.19641174787912]
  背景画像を用いた背景像に対する高度な照明効果をシームレスに調和させるライティング対応拡散モデルであるRelightful Harmonizationを導入する。 まず、拡散モデルを用いて、対象画像の背景から照明情報をエンコードする照明表現モジュールを導入する。 第2に、画像背景から学習した照明特徴と、パノラマ環境マップから学習した照明特徴とを整列するアライメントネットワークを導入する。
  論文  参考訳（メタデータ） (2023-12-11T23:20:31Z)
• DiFaReli++: Diffusion Face Relighting with Consistent Cast Shadows [11.566896201650056]
  我々は,グローバル照明やキャストシャドウといった課題に対処するため,自然界における単一視点の顔のリライティングに新たなアプローチを導入する。 我々は、1つのネットワークパスだけを必要とする単発リライトフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-04-19T08:03:20Z)
• LightPainter: Interactive Portrait Relighting with Freehand Scribble [79.95574780974103]
  我々は、スクリブルベースのライティングシステムであるLightPainterを導入し、ユーザーが簡単にポートレート照明効果を操作できるようにする。 リライトモジュールをトレーニングするために,実際のユーザスクリブルを模倣する新しいスクリブルシミュレーション手法を提案する。 定量的および定性的な実験により,高品質でフレキシブルなポートレート照明編集機能を示す。
  論文  参考訳（メタデータ） (2023-03-22T23:17:11Z)
• Learning to Relight Portrait Images via a Virtual Light Stage and Synthetic-to-Real Adaptation [76.96499178502759]
  Relightingは、イメージ内の人物を、ターゲットの照明のある環境に現れたかのように再照らすことを目的としている。 最近の手法は、高品質な結果を得るためにディープラーニングに依存している。 そこで本研究では,光ステージを必要とせずに,SOTA(State-of-the-art Relighting Method)と同等に動作可能な新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-09-21T17:15:58Z)
• Neural Radiance Transfer Fields for Relightable Novel-view Synthesis with Global Illumination [63.992213016011235]
  本稿では,ニューラル計算された放射光伝達関数を学習し,新しい視点下でのシーンリライティング手法を提案する。 本手法は,1つの未知の照明条件下で,シーンの実際の画像に対してのみ監視することができる。 その結果, シーンパラメータのアンタングルの復元は, 現状よりも有意に向上していることがわかった。
  論文  参考訳（メタデータ） (2022-07-27T16:07:48Z)
• Physically-Based Editing of Indoor Scene Lighting from a Single Image [106.60252793395104]
  本研究では,1つの画像から複雑な室内照明を推定深度と光源セグメンテーションマスクで編集する手法を提案する。 1)シーン反射率とパラメトリックな3D照明を推定する全体的シーン再構成法,2)予測からシーンを再レンダリングするニューラルレンダリングフレームワーク,である。
  論文  参考訳（メタデータ） (2022-05-19T06:44:37Z)
• Deep Portrait Lighting Enhancement with 3D Guidance [24.01582513386902]
  顔の3次元誘導に基づくポートレートライティング向上のための新しいディープラーニングフレームワークを提案する。 FFHQデータセットと画像内画像による実験結果から,提案手法は定量的な計測値と視覚的品質の両方の観点から,最先端の手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2021-08-04T15:49:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。