論文の概要: Self-Supervised Robustifying Guidance for Monocular 3D Face
Reconstruction
- arxiv url: http://arxiv.org/abs/2112.14382v1
- Date: Wed, 29 Dec 2021 03:30:50 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-30 14:48:38.367647
- Title: Self-Supervised Robustifying Guidance for Monocular 3D Face
Reconstruction
- Title(参考訳): 単眼3次元顔再建のための自己教師ありロバスト化指導
- Authors: Hitika Tiwari, Min-Hung Chen, Yi-Min Tsai, Hsien-Kai Kuo, Hung-Jen
Chen, Kevin Jou, K. S. Venkatesh, Yong-Sheng Chen
- Abstract要約: 本稿では,顔画像の閉塞やノイズに対する堅牢性を得るために,自己改善型RObustifying GUidancE(ROGUE)フレームワークを提案する。
提案ネットワークは,1)クリーン顔の3次元顔係数を得るための誘導パイプラインと,2)隠蔽画像やノイズ画像の推定係数とクリーン顔との整合性を取得するロバスト化パイプラインとを含む。
CelebAのテストデータセットの3つのバリエーションにおいて,本手法は最先端の手法よりも大きなマージンで性能を向上する。
- 参考スコア(独自算出の注目度): 14.203990541030445
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite the recent developments in 3D Face Reconstruction from occluded and
noisy face images, the performance is still unsatisfactory. One of the main
challenges is to handle moderate to heavy occlusions in the face images. In
addition, the noise in the face images inhibits the correct capture of facial
attributes, thus needing to be reliably addressed. Moreover, most existing
methods rely on additional dependencies, posing numerous constraints over the
training procedure. Therefore, we propose a Self-Supervised RObustifying
GUidancE (ROGUE) framework to obtain robustness against occlusions and noise in
the face images. The proposed network contains 1) the Guidance Pipeline to
obtain the 3D face coefficients for the clean faces, and 2) the Robustification
Pipeline to acquire the consistency between the estimated coefficients for
occluded or noisy images and the clean counterpart. The proposed image- and
feature-level loss functions aid the ROGUE learning process without posing
additional dependencies. On the three variations of the test dataset of CelebA:
rational occlusions, delusional occlusions, and noisy face images, our method
outperforms the current state-of-the-art method by large margins (e.g., for the
shape-based 3D vertex errors, a reduction from 0.146 to 0.048 for rational
occlusions, from 0.292 to 0.061 for delusional occlusions and from 0.269 to
0.053 for the noise in the face images), demonstrating the effectiveness of the
proposed approach.
- Abstract(参考訳): 近年のオクルード画像とノイズ画像による3次元顔再構成の進展にもかかわらず,その性能は未だ不十分である。
主な課題の1つは、顔画像の中等度から重度の閉塞に対処することである。
また、顔画像のノイズは、顔属性の正確な捕捉を阻害するので、確実に対応する必要がある。
さらに、既存のメソッドの多くは追加の依存関係に依存しており、トレーニング手順に多くの制約を課している。
そこで本稿では,顔画像の閉塞やノイズに対する堅牢性を得るために,自己改善型RObustifying GUidancE(ROGUE)フレームワークを提案する。
提案するネットワークには
1)清潔な顔の3次元顔係数を得るための誘導パイプライン、及び
2)オクルード画像およびノイズ画像の推定係数とクリーン画像との一貫性を得るためのロバスト化パイプライン。
提案した画像と特徴レベルの損失関数は,ROGUE学習プロセスを支援する。
CelebAのテストデータセットの3つのバリエーションとして,有理オクルージョン,妄想オクルージョン,ノイズの3つの顔画像において,提案手法は現在の最先端手法を大きなマージン(形状に基づく3次元頂点誤差,有理オクルージョンの0.146から0.048,妄想オクルージョンの0.292から0.061,顔画像のノイズの0.269から0.053)で上回り,提案手法の有効性を示した。
関連論文リスト
- I2V: Towards Texture-Aware Self-Supervised Blind Denoising using
Self-Residual Learning for Real-World Images [8.763680382529412]
pixel-shuffle downsampling (PD) はノイズの空間的相関を排除するために提案されている。
テクスチャ情報を維持するために,PD処理を使わずに自己学習を提案する。
広汎な実験の結果,提案手法は最先端の自己監督型ブラインド・デノイング・アプローチよりも優れていた。
論文 参考訳(メタデータ) (2023-02-21T08:51:17Z) - Semantic-aware One-shot Face Re-enactment with Dense Correspondence
Estimation [100.60938767993088]
ワンショットの顔の再現は、ソースと駆動する顔の同一性ミスマッチのため、難しい作業である。
本稿では,3次元形態素モデル(3DMM)を明示的な顔のセマンティックな分解とアイデンティティの絡み合いに利用することを提案する。
論文 参考訳(メタデータ) (2022-11-23T03:02:34Z) - SAR Despeckling using a Denoising Diffusion Probabilistic Model [52.25981472415249]
スペックルの存在は画像品質を劣化させ、SAR画像理解アプリケーションの性能に悪影響を及ぼす。
本稿では,SAR脱種のための拡散確率モデルであるSAR-DDPMを紹介する。
提案手法は, 最先端の切り離し法と比較して, 定量化と定性化の両面で有意な改善を実現している。
論文 参考訳(メタデータ) (2022-06-09T14:00:26Z) - Non-Deterministic Face Mask Removal Based On 3D Priors [3.8502825594372703]
提案手法では,マルチタスクの3次元顔再構成モジュールと顔塗装モジュールを統合する。
本手法は,3次元形状パラメータを徐々に制御することにより,表情や口の動きの異なる高品質な動的塗装結果を生成する。
論文 参考訳(メタデータ) (2022-02-20T16:27:44Z) - Segmentation-Reconstruction-Guided Facial Image De-occlusion [48.952656891182826]
隠蔽は野生の顔画像で非常に一般的であり、顔関連タスクの劣化パフォーマンスに繋がる。
本稿では,顔分割と3次元顔再構成に基づく新しい顔除去モデルを提案する。
論文 参考訳(メタデータ) (2021-12-15T10:40:08Z) - Locality-aware Channel-wise Dropout for Occluded Face Recognition [116.2355331029041]
顔認識は、特に顔が部分的に隠されている場合、制約のないシナリオでは難しいタスクである。
そこで本研究では,ニューロン群の活性化を,精巧に選択されたチャネルに落とすことによって,新しい,エレガントなオクルージョン・シミュレート法を提案する。
種々のベンチマーク実験により,提案手法は最先端の手法よりも優れた性能を示し,性能が向上した。
論文 参考訳(メタデータ) (2021-07-20T05:53:14Z) - Learning to Aggregate and Personalize 3D Face from In-the-Wild Photo
Collection [65.92058628082322]
非パラメトリックフェースモデリングは形状仮定なしで画像からのみ3次元フェースを再構成することを目的としている。
本稿では,教師なしのロバストな3次元顔モデリングのための学習・アグリゲート・パーソナライズ・フレームワークを提案する。
論文 参考訳(メタデータ) (2021-06-15T03:10:17Z) - Image Super-Resolution via Iterative Refinement [53.57766722279425]
SR3は再精製による超解像へのアプローチである。
確率的デノイジング拡散モデルを条件付き画像生成に適応させる。
様々な倍率係数の超分解能タスクに強い性能を示す。
論文 参考訳(メタデータ) (2021-04-15T17:50:42Z) - On Improving the Generalization of Face Recognition in the Presence of
Occlusions [13.299431908881425]
Occlusion-aware face RecOgnition (OREO) アプローチは, 咬合の有無に関わらず, 識別的顔テンプレートを学習した。
OREOは、顔認識の一般化能力を1画像ベースで(10.17%)改善した。
論文 参考訳(メタデータ) (2020-06-11T20:17:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。