論文の概要: Learning Flow-based Feature Warping for Face Frontalization with Illumination Inconsistent Supervision

• arxiv url: http://arxiv.org/abs/2008.06843v2
• Date: Wed, 9 Sep 2020 12:51:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-28 11:41:35.118408
• Title: Learning Flow-based Feature Warping for Face Frontalization with Illumination Inconsistent Supervision
• Title（参考訳）: イルミネーション不整合スーパービジョンによる顔フロンダリゼーションのためのフローベース特徴ワープ学習
• Authors: Yuxiang Wei, Ming Liu, Haolin Wang, Ruifeng Zhu, Guosheng Hu, Wangmeng Zuo
• Abstract要約: Flow-based Feature Warping Model (FFWM) は、正面画像を保存するフォトリアリスティックおよび照明の合成を学ぶ。 Illumination Preserving Module (IPM) を提案する。 Warp Attention Module (WAM) は、機能レベルでのポーズの相違を低減するために導入された。
• 参考スコア（独自算出の注目度）: 73.18554605744842
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite recent advances in deep learning-based face frontalization methods, photo-realistic and illumination preserving frontal face synthesis is still challenging due to large pose and illumination discrepancy during training. We propose a novel Flow-based Feature Warping Model (FFWM) which can learn to synthesize photo-realistic and illumination preserving frontal images with illumination inconsistent supervision. Specifically, an Illumination Preserving Module (IPM) is proposed to learn illumination preserving image synthesis from illumination inconsistent image pairs. IPM includes two pathways which collaborate to ensure the synthesized frontal images are illumination preserving and with fine details. Moreover, a Warp Attention Module (WAM) is introduced to reduce the pose discrepancy in the feature level, and hence to synthesize frontal images more effectively and preserve more details of profile images. The attention mechanism in WAM helps reduce the artifacts caused by the displacements between the profile and the frontal images. Quantitative and qualitative experimental results show that our FFWM can synthesize photo-realistic and illumination preserving frontal images and performs favorably against the state-of-the-art results.
• Abstract（参考訳）: 深層学習に基づく顔前頭化手法の最近の進歩にもかかわらず、トレーニング中のポーズや照明の不一致が原因で、顔合成を維持できるフォトリアリスティックと照明は依然として困難である。 そこで本稿では,光実像と照明の合成を学習できるフロー型特徴ウォーピングモデル(ffwm)を提案する。 具体的には照明保存モジュール (IPM) を提案し, 照明不整合画像対から照明保存画像合成を学ぶ。 IPMには2つの経路があり、合成された前頭葉画像が光を保存し、細部まで詳細に保存される。 さらに、特徴レベルの相違を低減するためにワープ注意モジュール(WAM)を導入し、フロント画像をより効果的に合成し、プロフィール画像のより詳細な情報を保存する。 WAMの注意機構は、プロファイルと正面画像の間の変位に起因するアーティファクトを減らすのに役立つ。 定量的および定性的な実験結果から、FFWMは前頭葉画像を保存するフォトリアリスティックおよび照明の合成が可能であり、最先端の結果に対して良好に機能することが示された。

関連論文リスト

• DifFRelight: Diffusion-Based Facial Performance Relighting [12.909429637057343]
  拡散に基づく画像から画像への変換を用いた,自由視点顔の表情のリライティングのための新しいフレームワークを提案する。 我々は、正確な照明制御のための拡散モデルを訓練し、フラットライト入力からの顔画像の高忠実度化を可能にする。 このモデルは、目の反射、地表面散乱、自影、半透明といった複雑な照明効果を正確に再現する。
  論文  参考訳（メタデータ） (2024-10-10T17:56:44Z)
• Relightful Harmonization: Lighting-aware Portrait Background Replacement [23.19641174787912]
  背景画像を用いた背景像に対する高度な照明効果をシームレスに調和させるライティング対応拡散モデルであるRelightful Harmonizationを導入する。 まず、拡散モデルを用いて、対象画像の背景から照明情報をエンコードする照明表現モジュールを導入する。 第2に、画像背景から学習した照明特徴と、パノラマ環境マップから学習した照明特徴とを整列するアライメントネットワークを導入する。
  論文  参考訳（メタデータ） (2023-12-11T23:20:31Z)
• Enhancing Low-light Light Field Images with A Deep Compensation Unfolding Network [52.77569396659629]
  本稿では,低光環境下で撮像した光場(LF)画像の復元に,DCUNet(Deep compensation network openfolding)を提案する。 このフレームワークは、中間拡張結果を使用して照明マップを推定し、展開プロセスで新しい拡張結果を生成する。 本稿では,LF画像の特徴を適切に活用するために,擬似明示的特徴相互作用モジュールを提案する。
  論文  参考訳（メタデータ） (2023-08-10T07:53:06Z)
• Neural Radiance Transfer Fields for Relightable Novel-view Synthesis with Global Illumination [63.992213016011235]
  本稿では,ニューラル計算された放射光伝達関数を学習し,新しい視点下でのシーンリライティング手法を提案する。 本手法は,1つの未知の照明条件下で,シーンの実際の画像に対してのみ監視することができる。 その結果, シーンパラメータのアンタングルの復元は, 現状よりも有意に向上していることがわかった。
  論文  参考訳（メタデータ） (2022-07-27T16:07:48Z)
• Designing An Illumination-Aware Network for Deep Image Relighting [69.750906769976]
  本稿では、階層的なサンプリングから1つの画像からシーンを段階的にリライトするためのガイダンスに従うイルミネーション・アウェア・ネットワーク(IAN)を提案する。 さらに、物理レンダリングプロセスの近似として、イルミネーション・アウェア・残留ブロック(IARB)が設計されている。 実験の結果,提案手法は従来の最先端手法よりも定量的,定性的な照準結果が得られることがわかった。
  論文  参考訳（メタデータ） (2022-07-21T16:21:24Z)
• Decoupled Low-light Image Enhancement [21.111831640136835]
  本稿では,拡張モデルを2つの段階に分離することを提案する。 第1ステージでは、ピクセル単位の非線形マッピングに基づいて、シーンの可視性を改善することに焦点を当てている。 第2段階は、残りの変性因子を抑えることにより、外観の忠実度を改善することに焦点を当てる。
  論文  参考訳（メタデータ） (2021-11-29T11:15:38Z)
• Intrinsic Image Transfer for Illumination Manipulation [1.2387676601792899]
  本稿では,照明操作のための固有画像転送(IIT)アルゴリズムを提案する。 2つの照明面間の局所的な画像変換を生成する。 本報告では,本質的な画像分解を行うことなく,全ての損失を低減できることを示す。
  論文  参考訳（メタデータ） (2021-07-01T19:12:24Z)
• Crowdsampling the Plenoptic Function [56.10020793913216]
  このようなデータから時間変動照明下での新しいビュー合成手法を提案する。 本稿では,新しいDeepMPI表現について紹介する。 本手法は従来のMPI法と同等のパララックスとビュー依存効果を合成し, 反射率の変化と光の時間変化を同時に補間する。
  論文  参考訳（メタデータ） (2020-07-30T02:52:10Z)
• Recurrent Exposure Generation for Low-Light Face Detection [113.25331155337759]
  本稿では,Recurrent Exposure Generation (REG) モジュールと Multi-Exposure Detection (MED) モジュールを提案する。 REGは、様々な露光設定に対応する段階的かつ効率的な中間画像を生成する。 このような擬似露光はMEDによって融合され、異なる照明条件で顔を検出する。
  論文  参考訳（メタデータ） (2020-07-21T17:30:51Z)
• Copy and Paste GAN: Face Hallucination from Shaded Thumbnails [45.98561483932554]
  本稿では,CPGAN (Copy and Paste Generative Adversarial Network) を提案する。 本手法は,一様照明条件下での真正なHR顔画像を示し,定性的かつ定量的に最先端の手法に優れる。
  論文  参考訳（メタデータ） (2020-02-25T03:34:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。