論文の概要: Towards High Fidelity Face Relighting with Realistic Shadows

• arxiv url: http://arxiv.org/abs/2104.00825v1
• Date: Fri, 2 Apr 2021 00:28:40 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-05 13:54:11.179557
• Title: Towards High Fidelity Face Relighting with Realistic Shadows
• Title（参考訳）: リアルな影で高忠実な表情を照らす
• Authors: Andrew Hou, Ze Zhang, Michel Sarkis, Ning Bi, Yiying Tong, Xiaoming Liu
• Abstract要約: 提案手法では,光源画像と対象画像との比(商)を所望の照明で予測する。 トレーニング中、我々のモデルは推定影マスクを用いてシャドウを正確に修正することを学ぶ。 提案手法は,被験者の表情を忠実に維持し,硬い影を正確に処理できることを実証する。
• 参考スコア（独自算出の注目度）: 21.09340135707926
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing face relighting methods often struggle with two problems: maintaining the local facial details of the subject and accurately removing and synthesizing shadows in the relit image, especially hard shadows. We propose a novel deep face relighting method that addresses both problems. Our method learns to predict the ratio (quotient) image between a source image and the target image with the desired lighting, allowing us to relight the image while maintaining the local facial details. During training, our model also learns to accurately modify shadows by using estimated shadow masks to emphasize on the high-contrast shadow borders. Furthermore, we introduce a method to use the shadow mask to estimate the ambient light intensity in an image, and are thus able to leverage multiple datasets during training with different global lighting intensities. With quantitative and qualitative evaluations on the Multi-PIE and FFHQ datasets, we demonstrate that our proposed method faithfully maintains the local facial details of the subject and can accurately handle hard shadows while achieving state-of-the-art face relighting performance.
• Abstract（参考訳）: 既存の顔のリライト法は、被写体の局所的な顔の詳細を維持し、被写体、特に硬い影を正確に除去し合成する2つの問題に悩まされる。 両問題を解決する新しい深面照明法を提案する。 提案手法は,光源画像と対象画像との比(商)画像を所望の照明で予測し,局所的な顔の詳細を維持しながら画像のリライトを可能にする。 トレーニング中、我々のモデルは、高いコントラストのシャドウ境界を強調するために推定されたシャドウマスクを用いて、シャドウを正確に修正することを学ぶ。 さらに,画像中の周囲光強度を推定するためにシャドウマスクを用いる手法を導入し,グローバル光強度の異なるトレーニングにおいて,複数のデータセットを活用できるようにした。 マルチPIEおよびFFHQデータセットの定量的および定性的な評価により,提案手法が被験者の局所的な顔の詳細を忠実に維持し,最先端の顔照明性能を達成しつつ,ハードシャドウを正確に処理できることを実証した。

関連論文リスト

• Single-Image Shadow Removal Using Deep Learning: A Comprehensive Survey [78.84004293081631]
  影のパターンは任意で変化しており、しばしば非常に複雑な痕跡構造を持つ。 影による劣化は空間的に不均一であり、照度と影と非陰影領域間の色に矛盾が生じている。 この分野での最近の開発は、主にディープラーニングベースのソリューションによって進められている。
  論文  参考訳（メタデータ） (2024-07-11T20:58:38Z)
• SIRe-IR: Inverse Rendering for BRDF Reconstruction with Shadow and Illumination Removal in High-Illuminance Scenes [51.50157919750782]
  本稿では,環境マップ,アルベド,粗さにシーンを分解する暗黙のニューラルレンダリング逆アプローチSIRe-IRを提案する。 間接放射場、通常光、可視光、および直接光を同時に正確にモデル化することにより、影と間接光の両方を除去することができる。 強い照明の存在下でも,影の干渉を伴わずに高品質なアルベドと粗さを回収する。
  論文  参考訳（メタデータ） (2023-10-19T10:44:23Z)
• Controllable Light Diffusion for Portraits [8.931046902694984]
  ポートレートの照明を改善する新しい方法である光拡散を導入する。 プロの写真家のディフューザーとスクリムにインスパイアされたこの手法は、1枚のポートレート写真のみの照明を柔らかくする。
  論文  参考訳（メタデータ） (2023-05-08T14:46:28Z)
• Face Relighting with Geometrically Consistent Shadows [24.059642361082343]
  レイトレーシングに基づくハードシャドウを合成するための新しい微分可能アルゴリズムを提案する。 提案アルゴリズムは、推定顔形状を直接利用して、幾何的に一貫した硬い影を合成する。
  論文  参考訳（メタデータ） (2022-03-30T21:31:24Z)
• Deep Portrait Delighting [9.455161801306739]
  制約のないポートレート画像から望ましくないシェーディング特徴を除去するディープニューラルネットワークを提案する。 トレーニング手法には3つの正規化戦略が組み込まれている: マスキング損失、高周波シェーディング特徴強調、ソフトシャドウ損失、微妙な照明変化に対する感度向上である。 本手法は,最先端技術と比較して,満足度の向上と一般化を実証する。
  論文  参考訳（メタデータ） (2022-03-22T22:51:22Z)
• Self-Supervised Shadow Removal [130.6657167667636]
  条件付きマスクを用いた自己教師付き学習による教師なしシングルイメージシャドウ除去ソリューションを提案する。 既存の文献とは対照的に、一対のシャドウとシャドウのない画像は必要とせず、自己スーパービジョンに頼り、画像にシャドウを取り除いて追加するために深いモデルを共同で学習する。
  論文  参考訳（メタデータ） (2020-10-22T11:33:41Z)
• Learning Flow-based Feature Warping for Face Frontalization with Illumination Inconsistent Supervision [73.18554605744842]
  Flow-based Feature Warping Model (FFWM) は、正面画像を保存するフォトリアリスティックおよび照明の合成を学ぶ。 Illumination Preserving Module (IPM) を提案する。 Warp Attention Module (WAM) は、機能レベルでのポーズの相違を低減するために導入された。
  論文  参考訳（メタデータ） (2020-08-16T06:07:00Z)
• Towards Geometry Guided Neural Relighting with Flash Photography [26.511476565209026]
  本稿では,深層学習を用いた深度マップを用いた1枚のフラッシュ写真から画像のリライティングを行うフレームワークを提案する。 本研究は,本質的な画像分解と画像リライティングにおける最先端の画像ベースアプローチに対する幾何学的アプローチの利点を実験的に検証する。
  論文  参考訳（メタデータ） (2020-08-12T08:03:28Z)
• Deep Reflectance Volumes: Relightable Reconstructions from Multi-View Photometric Images [59.53382863519189]
  位置決めされた点灯下で撮影された非構造画像からシーンの外観を再構築する深層学習手法を提案する。 ディープ・リフレクタンス・ボリュームの中心部には、不透明度、表面正規度、リフレクタンス・ボクセル・グリッドからなる新しいボリューム・シーンの表現がある。 学習したリフレクタンスボリュームは編集可能であり、キャプチャされたシーンの素材を修正可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-20T05:38:11Z)
• Deep Bilateral Retinex for Low-Light Image Enhancement [96.15991198417552]
  低照度画像は、低コントラスト、色歪み、測定ノイズによる視界の低下に悩まされる。 本稿では,低照度画像強調のための深層学習手法を提案する。 提案手法は最先端の手法と非常に競合し, 極めて低照度で撮影した画像の処理において, 他に比べて大きな優位性を有する。
  論文  参考訳（メタデータ） (2020-07-04T06:26:44Z)
• Portrait Shadow Manipulation [37.414681268753526]
  カジュアルに撮られた肖像画は、環境の最適下条件のため、光や影のぼやけに悩まされることが多い。 我々は、カジュアルな写真家にこの制御を一部与え、現実的で容易に制御可能な方法で、低照度な肖像画をポストキャプチャーに頼らせることができる計算手法を提案する。 我々のアプローチは、外部の物体が投げる異物の影を除去するニューラルネットワークと、被写体の特徴が投げる顔の影を和らげるニューラルネットワークと、照明率を改善するための合成フィリング光を加えることに依存している。
  論文  参考訳（メタデータ） (2020-05-18T17:51:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。