論文の概要: Segmentation-Reconstruction-Guided Facial Image De-occlusion

• arxiv url: http://arxiv.org/abs/2112.08022v1
• Date: Wed, 15 Dec 2021 10:40:08 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-16 13:40:28.721093
• Title: Segmentation-Reconstruction-Guided Facial Image De-occlusion
• Title（参考訳）: 分割再構成誘導顔画像デクルージョン
• Authors: Xiangnan Yin, Di Huang, Zehua Fu, Yunhong Wang, Liming Chen
• Abstract要約: 隠蔽は野生の顔画像で非常に一般的であり、顔関連タスクの劣化パフォーマンスに繋がる。 本稿では,顔分割と3次元顔再構成に基づく新しい顔除去モデルを提案する。
• 参考スコア（独自算出の注目度）: 48.952656891182826
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Occlusions are very common in face images in the wild, leading to the degraded performance of face-related tasks. Although much effort has been devoted to removing occlusions from face images, the varying shapes and textures of occlusions still challenge the robustness of current methods. As a result, current methods either rely on manual occlusion masks or only apply to specific occlusions. This paper proposes a novel face de-occlusion model based on face segmentation and 3D face reconstruction, which automatically removes all kinds of face occlusions with even blurred boundaries,e.g., hairs. The proposed model consists of a 3D face reconstruction module, a face segmentation module, and an image generation module. With the face prior and the occlusion mask predicted by the first two, respectively, the image generation module can faithfully recover the missing facial textures. To supervise the training, we further build a large occlusion dataset, with both manually labeled and synthetic occlusions. Qualitative and quantitative results demonstrate the effectiveness and robustness of the proposed method.
• Abstract（参考訳）: 隠蔽は野生の顔画像で非常に一般的であり、顔関連タスクの劣化パフォーマンスに繋がる。 顔画像からのオクルージョンの除去に多くの努力が注がれているが、オクルージョンの形状やテクスチャは今でも現在の手法の堅牢性に挑戦している。 その結果、現在の方法は手動の閉塞マスクに依存するか、特定の閉塞マスクにのみ適用される。 本稿では,顔のセグメンテーションと3次元顔再構成に基づく新しい顔分割モデルを提案する。 提案モデルは,3次元顔再構成モジュール,顔セグメンテーションモジュール,画像生成モジュールで構成される。 第1の2で予測される顔前と閉塞マスクにより、画像生成モジュールは、欠落した顔のテクスチャを忠実に回復することができる。 トレーニングを監督するために、手動でラベル付けと合成のオクルージョンを持つ大きなオクルージョンデータセットを構築する。 定性的かつ定量的な結果は,提案手法の有効性とロバスト性を示すものである。

関連論文リスト

• Generative Face Parsing Map Guided 3D Face Reconstruction Under Occluded Scenes [4.542616945567623]
  ランドマークで案内された完全な顔解析マップ生成法を提案する。 優れた隠蔽顔復元法は、出力の真偽を確実にする。
  論文  参考訳（メタデータ） (2024-12-25T14:49:41Z)
• Learning to Decouple the Lights for 3D Face Texture Modeling [71.67854540658472]
  このような不自然な照明下での3次元顔のテクスチャをモデル化するための新しいアプローチを提案する。 この枠組みは、複数の異なる光条件の合成として、不自然な照明を模倣することを学ぶ。 単一画像とビデオシーケンスの両方の実験により,本手法の有効性を実証した。
  論文  参考訳（メタデータ） (2024-12-11T16:36:45Z)
• Facial Geometric Detail Recovery via Implicit Representation [147.07961322377685]
  そこで本研究では,一眼の顔画像のみを用いて,テクスチャガイドを用いた幾何的細部復元手法を提案する。 提案手法は,高品質なテクスチャ補完と暗黙の面の強力な表現性を組み合わせたものである。 本手法は, 顔の正確な細部を復元するだけでなく, 正常部, アルベド部, シェーディング部を自己監督的に分解する。
  論文  参考訳（メタデータ） (2022-03-18T01:42:59Z)
• Non-Deterministic Face Mask Removal Based On 3D Priors [3.8502825594372703]
  提案手法では,マルチタスクの3次元顔再構成モジュールと顔塗装モジュールを統合する。 本手法は,3次元形状パラメータを徐々に制御することにより,表情や口の動きの異なる高品質な動的塗装結果を生成する。
  論文  参考訳（メタデータ） (2022-02-20T16:27:44Z)
• FaceOcc: A Diverse, High-quality Face Occlusion Dataset for Human Face Extraction [3.8502825594372703]
  隠蔽は野生の顔画像にしばしば発生し、ランドマーク検出や3D再構成、顔認識といった顔関連の課題に悩まされる。 本稿では,CelebA本社とインターネットから手動で顔の隠蔽をラベル付けした新しい顔のセグメンテーションデータセットを提案する。 簡単な顔分割モデルの訓練を行ったが,SOTA性能が得られ,提案したデータセットの有効性を実証した。
  論文  参考訳（メタデータ） (2022-01-20T19:44:18Z)
• AvatarMe++: Facial Shape and BRDF Inference with Photorealistic Rendering-Aware GANs [119.23922747230193]
  そこで本研究では,レンダリング可能な3次元顔形状とBRDFの再構成を,単一の"in-the-wild"画像から実現した最初の手法を提案する。 本手法は,1枚の低解像度画像から,高解像度の3次元顔の再構成を行う。
  論文  参考訳（メタデータ） (2021-12-11T11:36:30Z)
• End2End Occluded Face Recognition by Masking Corrupted Features [82.27588990277192]
  最先端の一般的な顔認識モデルは、隠蔽された顔画像に対してうまく一般化しない。 本稿では,1つのエンドツーエンドのディープニューラルネットワークに基づいて,オクルージョンに頑健な新しい顔認識手法を提案する。 我々のアプローチは、深い畳み込みニューラルネットワークから破損した特徴を発見し、動的に学習されたマスクによってそれらをきれいにする。
  論文  参考訳（メタデータ） (2021-08-21T09:08:41Z)
• Learning to Aggregate and Personalize 3D Face from In-the-Wild Photo Collection [65.92058628082322]
  非パラメトリックフェースモデリングは形状仮定なしで画像からのみ3次元フェースを再構成することを目的としている。 本稿では,教師なしのロバストな3次元顔モデリングのための学習・アグリゲート・パーソナライズ・フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-15T03:10:17Z)
• Personalized Face Modeling for Improved Face Reconstruction and Motion Retargeting [22.24046752858929]
  本稿では、ユーザごとのパーソナライズされた顔モデルとフレームごとの顔の動きパラメータを共同で学習するエンドツーエンドフレームワークを提案する。 具体的には、パーソナライズされた修正を予測することによって、ユーザ固有の表現と動的(表現固有の)アルベドマップのブレンドを学習する。 実験結果から, 顔の微細な動態を広範囲の状況で正確に把握できることが示唆された。
  論文  参考訳（メタデータ） (2020-07-14T01:30:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。