論文の概要: Self-Supervised Robustifying Guidance for Monocular 3D Face Reconstruction

• arxiv url: http://arxiv.org/abs/2112.14382v1
• Date: Wed, 29 Dec 2021 03:30:50 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-30 14:48:38.367647
• Title: Self-Supervised Robustifying Guidance for Monocular 3D Face Reconstruction
• Title（参考訳）: 単眼3次元顔再建のための自己教師ありロバスト化指導
• Authors: Hitika Tiwari, Min-Hung Chen, Yi-Min Tsai, Hsien-Kai Kuo, Hung-Jen Chen, Kevin Jou, K. S. Venkatesh, Yong-Sheng Chen
• Abstract要約: 本稿では,顔画像の閉塞やノイズに対する堅牢性を得るために,自己改善型RObustifying GUidancE(ROGUE)フレームワークを提案する。 提案ネットワークは,1)クリーン顔の3次元顔係数を得るための誘導パイプラインと,2)隠蔽画像やノイズ画像の推定係数とクリーン顔との整合性を取得するロバスト化パイプラインとを含む。 CelebAのテストデータセットの3つのバリエーションにおいて,本手法は最先端の手法よりも大きなマージンで性能を向上する。
• 参考スコア（独自算出の注目度）: 14.203990541030445
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the recent developments in 3D Face Reconstruction from occluded and noisy face images, the performance is still unsatisfactory. One of the main challenges is to handle moderate to heavy occlusions in the face images. In addition, the noise in the face images inhibits the correct capture of facial attributes, thus needing to be reliably addressed. Moreover, most existing methods rely on additional dependencies, posing numerous constraints over the training procedure. Therefore, we propose a Self-Supervised RObustifying GUidancE (ROGUE) framework to obtain robustness against occlusions and noise in the face images. The proposed network contains 1) the Guidance Pipeline to obtain the 3D face coefficients for the clean faces, and 2) the Robustification Pipeline to acquire the consistency between the estimated coefficients for occluded or noisy images and the clean counterpart. The proposed image- and feature-level loss functions aid the ROGUE learning process without posing additional dependencies. On the three variations of the test dataset of CelebA: rational occlusions, delusional occlusions, and noisy face images, our method outperforms the current state-of-the-art method by large margins (e.g., for the shape-based 3D vertex errors, a reduction from 0.146 to 0.048 for rational occlusions, from 0.292 to 0.061 for delusional occlusions and from 0.269 to 0.053 for the noise in the face images), demonstrating the effectiveness of the proposed approach.
• Abstract（参考訳）: 近年のオクルード画像とノイズ画像による3次元顔再構成の進展にもかかわらず,その性能は未だ不十分である。 主な課題の1つは、顔画像の中等度から重度の閉塞に対処することである。 また、顔画像のノイズは、顔属性の正確な捕捉を阻害するので、確実に対応する必要がある。 さらに、既存のメソッドの多くは追加の依存関係に依存しており、トレーニング手順に多くの制約を課している。 そこで本稿では,顔画像の閉塞やノイズに対する堅牢性を得るために,自己改善型RObustifying GUidancE(ROGUE)フレームワークを提案する。 提案するネットワークには 1)清潔な顔の3次元顔係数を得るための誘導パイプライン、及び 2)オクルード画像およびノイズ画像の推定係数とクリーン画像との一貫性を得るためのロバスト化パイプライン。 提案した画像と特徴レベルの損失関数は,ROGUE学習プロセスを支援する。 CelebAのテストデータセットの3つのバリエーションとして,有理オクルージョン,妄想オクルージョン,ノイズの3つの顔画像において,提案手法は現在の最先端手法を大きなマージン(形状に基づく3次元頂点誤差,有理オクルージョンの0.146から0.048,妄想オクルージョンの0.292から0.061,顔画像のノイズの0.269から0.053)で上回り,提案手法の有効性を示した。

関連論文リスト

• 3D Priors-Guided Diffusion for Blind Face Restoration [30.94188504133298]
  劣化した顔画像から鮮明な顔画像を復元するためのブラインド顔復元作業。 近年,GAN(Generative Adversarial Networks)を先行するアプローチが顕著な成功を収めている。 本稿では,3次元顔前処理を構造的制約と同一性制約として組み込んだ拡散に基づく新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-02T07:13:32Z)
• DPMesh: Exploiting Diffusion Prior for Occluded Human Mesh Recovery [71.6345505427213]
  DPMeshは、人間のメッシュリカバリを排除した革新的なフレームワークである。 これは、事前訓練されたテキスト・ツー・イメージ拡散モデルに埋め込まれた対象構造と空間的関係について、より深い拡散に乗じる。
  論文  参考訳（メタデータ） (2024-04-01T18:59:13Z)
• I2V: Towards Texture-Aware Self-Supervised Blind Denoising using Self-Residual Learning for Real-World Images [8.763680382529412]
  pixel-shuffle downsampling (PD) はノイズの空間的相関を排除するために提案されている。 テクスチャ情報を維持するために,PD処理を使わずに自己学習を提案する。 広汎な実験の結果,提案手法は最先端の自己監督型ブラインド・デノイング・アプローチよりも優れていた。
  論文  参考訳（メタデータ） (2023-02-21T08:51:17Z)
• Semantic-aware One-shot Face Re-enactment with Dense Correspondence Estimation [100.60938767993088]
  ワンショットの顔の再現は、ソースと駆動する顔の同一性ミスマッチのため、難しい作業である。 本稿では,3次元形態素モデル(3DMM)を明示的な顔のセマンティックな分解とアイデンティティの絡み合いに利用することを提案する。
  論文  参考訳（メタデータ） (2022-11-23T03:02:34Z)
• Non-Deterministic Face Mask Removal Based On 3D Priors [3.8502825594372703]
  提案手法では,マルチタスクの3次元顔再構成モジュールと顔塗装モジュールを統合する。 本手法は,3次元形状パラメータを徐々に制御することにより,表情や口の動きの異なる高品質な動的塗装結果を生成する。
  論文  参考訳（メタデータ） (2022-02-20T16:27:44Z)
• Segmentation-Reconstruction-Guided Facial Image De-occlusion [48.952656891182826]
  隠蔽は野生の顔画像で非常に一般的であり、顔関連タスクの劣化パフォーマンスに繋がる。 本稿では,顔分割と3次元顔再構成に基づく新しい顔除去モデルを提案する。
  論文  参考訳（メタデータ） (2021-12-15T10:40:08Z)
• Locality-aware Channel-wise Dropout for Occluded Face Recognition [116.2355331029041]
  顔認識は、特に顔が部分的に隠されている場合、制約のないシナリオでは難しいタスクである。 そこで本研究では,ニューロン群の活性化を,精巧に選択されたチャネルに落とすことによって,新しい,エレガントなオクルージョン・シミュレート法を提案する。 種々のベンチマーク実験により,提案手法は最先端の手法よりも優れた性能を示し,性能が向上した。
  論文  参考訳（メタデータ） (2021-07-20T05:53:14Z)
• Learning to Aggregate and Personalize 3D Face from In-the-Wild Photo Collection [65.92058628082322]
  非パラメトリックフェースモデリングは形状仮定なしで画像からのみ3次元フェースを再構成することを目的としている。 本稿では,教師なしのロバストな3次元顔モデリングのための学習・アグリゲート・パーソナライズ・フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-15T03:10:17Z)
• Image Super-Resolution via Iterative Refinement [53.57766722279425]
  SR3は再精製による超解像へのアプローチである。 確率的デノイジング拡散モデルを条件付き画像生成に適応させる。 様々な倍率係数の超分解能タスクに強い性能を示す。
  論文  参考訳（メタデータ） (2021-04-15T17:50:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。