論文の概要: Learning to Relight Portrait Images via a Virtual Light Stage and
Synthetic-to-Real Adaptation
- arxiv url: http://arxiv.org/abs/2209.10510v1
- Date: Wed, 21 Sep 2022 17:15:58 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-22 15:59:05.390914
- Title: Learning to Relight Portrait Images via a Virtual Light Stage and
Synthetic-to-Real Adaptation
- Title（参考訳）: 仮想光ステージによるポートレート画像のリライトと合成・再適応の学習
- Authors: Yu-Ying Yeh, Koki Nagano, Sameh Khamis, Jan Kautz, Ming-Yu Liu,
Ting-Chun Wang
- Abstract要約: Relightingは、イメージ内の人物を、ターゲットの照明のある環境に現れたかのように再照らすことを目的としている。
最近の手法は、高品質な結果を得るためにディープラーニングに依存している。
そこで本研究では,光ステージを必要とせずに,SOTA(State-of-the-art Relighting Method)と同等に動作可能な新しい手法を提案する。
- 参考スコア（独自算出の注目度）: 76.96499178502759
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Given a portrait image of a person and an environment map of the target
lighting, portrait relighting aims to re-illuminate the person in the image as
if the person appeared in an environment with the target lighting. To achieve
high-quality results, recent methods rely on deep learning. An effective
approach is to supervise the training of deep neural networks with a
high-fidelity dataset of desired input-output pairs, captured with a light
stage. However, acquiring such data requires an expensive special capture rig
and time-consuming efforts, limiting access to only a few resourceful
laboratories. To address the limitation, we propose a new approach that can
perform on par with the state-of-the-art (SOTA) relighting methods without
requiring a light stage. Our approach is based on the realization that a
successful relighting of a portrait image depends on two conditions. First, the
method needs to mimic the behaviors of physically-based relighting. Second, the
output has to be photorealistic. To meet the first condition, we propose to
train the relighting network with training data generated by a virtual light
stage that performs physically-based rendering on various 3D synthetic humans
under different environment maps. To meet the second condition, we develop a
novel synthetic-to-real approach to bring photorealism to the relighting
network output. In addition to achieving SOTA results, our approach offers
several advantages over the prior methods, including controllable glares on
glasses and more temporally-consistent results for relighting videos.
- Abstract（参考訳）: 人物の肖像画と対象照明の環境マップが与えられた場合、ポートレートリライティングは、対象照明のある環境に現れたように、画像中の人物を再照明することを目的としている。
高品質な結果を得るために、近年の手法はディープラーニングに依存している。
効果的なアプローチは、光ステージでキャプチャされた、望ましい入出力ペアの忠実度の高いデータセットでディープニューラルネットワークのトレーニングを監督することである。
しかし、そのようなデータを取得するには高価な特別なキャプチャリグと時間を要する作業が必要であり、少数のリソースに満ちた研究所へのアクセスは制限されている。
この制限に対処するため,光ステージを必要とせずにSOTA(State-of-the-art Relighting)手法に匹敵する新しい手法を提案する。
我々のアプローチは、肖像画のリライティングの成功は2つの条件に依存するという認識に基づいている。
まず、物理的なリライティングの振る舞いを模倣する必要がある。
第二に、出力はフォトリアリスティックでなければならない。
第1の条件を満たすために,様々な3d合成人間に対して異なる環境マップ下で物理的にレンダリングを行う仮想光ステージによって生成されたトレーニングデータを用いて,リライトネットワークを訓練することを提案する。
第2の条件を満たすために,光合成から現実への新たなアプローチを開発した。
sota結果の達成に加えて,メガネのグラアの制御性向上や映像のリライトにおける時間的一貫性の向上など,従来の手法よりもいくつかの利点がある。
関連論文リスト
- Lite2Relight: 3D-aware Single Image Portrait Relighting [87.62069509622226]
Lite2Relightは、肖像画の3D一貫性のある頭部ポーズを予測できる新しいテクニックだ。
事前学習した幾何認識エンコーダと特徴アライメントモジュールを利用することで、入力画像を3D空間にマッピングする。
これには、髪、目、表情を含むフルヘッドの3D一貫性のある結果が含まれる。
論文 参考訳（メタデータ） (2024-07-15T07:16:11Z) - Neural Gaffer: Relighting Any Object via Diffusion [43.87941408722868]
我々はニューラル・ギャファーと呼ばれる新しいエンドツーエンドの2次元ライティング拡散モデルを提案する。
我々のモデルは、任意の物体の1つの画像を取り、新しい照明条件下で、正確で高品質な信頼された画像を合成することができる。
本稿では,インターネット画像の総合化と精度の両面からモデルを評価し,その利点を一般化と精度の両面から示す。
論文 参考訳（メタデータ） (2024-06-11T17:50:15Z) - Neural Radiance Transfer Fields for Relightable Novel-view Synthesis
with Global Illumination [63.992213016011235]
本稿では,ニューラル計算された放射光伝達関数を学習し,新しい視点下でのシーンリライティング手法を提案する。
本手法は,1つの未知の照明条件下で,シーンの実際の画像に対してのみ監視することができる。
その結果, シーンパラメータのアンタングルの復元は, 現状よりも有意に向上していることがわかった。
論文 参考訳（メタデータ） (2022-07-27T16:07:48Z) - Geometry-aware Single-image Full-body Human Relighting [37.381122678376805]
単一イメージの人間のリライティングは、入力画像をアルベド、形状、照明に分解することで、新たな照明条件下でターゲットの人間をリライティングすることを目的としている。
それまでの方法は、アルベドと照明の絡み合いと、硬い影の欠如に悩まされていた。
我々のフレームワークは、難易度の高い照明条件下で、キャストシャドウのような光現実性の高い高周波影を生成することができる。
論文 参考訳（メタデータ） (2022-07-11T10:21:02Z) - Self-supervised Outdoor Scene Relighting [92.20785788740407]
本稿では, 自己指導型リライティング手法を提案する。
当社のアプローチは,ユーザの監督なしにインターネットから収集した画像のコーパスのみに基づいて訓練されている。
以上の結果から,写実的かつ物理的に妥当な結果を生成できる技術が,見えない場面に一般化できることが示唆された。
論文 参考訳（メタデータ） (2021-07-07T09:46:19Z) - Physically Inspired Dense Fusion Networks for Relighting [45.66699760138863]
物理的洞察でニューラルネットワークを豊かにするモデルを提案する。
2つの異なる戦略により、新しい照明設定でリライト画像を生成します。
提案手法は,よく知られた忠実度指標と知覚的損失の点で,最先端手法を上回ることができることを示す。
論文 参考訳（メタデータ） (2021-05-05T17:33:45Z) - Light Stage Super-Resolution: Continuous High-Frequency Relighting [58.09243542908402]
光ステージから採取した人間の顔の「超解像」を学習ベースで解析する手法を提案する。
本手法では,ステージ内の隣接する照明に対応する撮像画像を集約し,ニューラルネットワークを用いて顔の描画を合成する。
我々の学習モデルは、リアルな影と特異なハイライトを示す任意の光方向のレンダリングを生成することができる。
論文 参考訳（メタデータ） (2020-10-17T23:40:43Z) - Two-shot Spatially-varying BRDF and Shape Estimation [89.29020624201708]
形状とSVBRDFを段階的に推定した新しいディープラーニングアーキテクチャを提案する。
ドメインランダム化された幾何学と現実的な材料を用いた大規模合成学習データセットを作成する。
合成データセットと実世界のデータセットの両方の実験により、合成データセットでトレーニングされたネットワークが、実世界の画像に対してうまく一般化できることが示されている。
論文 参考訳（メタデータ） (2020-04-01T12:56:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。