論文の概要: 3D Face Alignment Through Fusion of Head Pose Information and Features

• arxiv url: http://arxiv.org/abs/2308.13327v1
• Date: Fri, 25 Aug 2023 12:01:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-28 14:11:03.951485
• Title: 3D Face Alignment Through Fusion of Head Pose Information and Features
• Title（参考訳）: 頭部ポーズ情報と特徴の融合による3次元顔アライメント
• Authors: Jaehyun So, Youngjoon Han
• Abstract要約: 顔アライメント性能を向上させるために頭部ポーズ情報を利用する新しい手法を提案する。 提案するネットワーク構造は,2次元ネットワークを介して頑健な顔アライメントを行う。 予測された顔のランドマークと頭部ポーズ情報との相関と,顔のランドマークの精度の変動を実験的に評価した。
• 参考スコア（独自算出の注目度）: 0.6526824510982799
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The ability of humans to infer head poses from face shapes, and vice versa, indicates a strong correlation between the two. Accordingly, recent studies on face alignment have employed head pose information to predict facial landmarks in computer vision tasks. In this study, we propose a novel method that employs head pose information to improve face alignment performance by fusing said information with the feature maps of a face alignment network, rather than simply using it to initialize facial landmarks. Furthermore, the proposed network structure performs robust face alignment through a dual-dimensional network using multidimensional features represented by 2D feature maps and a 3D heatmap. For effective dense face alignment, we also propose a prediction method for facial geometric landmarks through training based on knowledge distillation using predicted keypoints. We experimentally assessed the correlation between the predicted facial landmarks and head pose information, as well as variations in the accuracy of facial landmarks with respect to the quality of head pose information. In addition, we demonstrated the effectiveness of the proposed method through a competitive performance comparison with state-of-the-art methods on the AFLW2000-3D, AFLW, and BIWI datasets.
• Abstract（参考訳）: ヒトが顔の形から頭部のポーズを推測する能力は、その逆もまた、両者の強い相関関係を示している。 それゆえ、最近の顔のアライメント研究では、コンピュータビジョンタスクにおける顔のランドマークを予測するために頭の位置情報を用いている。 本研究では,顔アライメントネットワークの特徴マップにその情報を融合させることにより,顔アライメント性能を向上させるために頭部ポーズ情報を利用する新しい手法を提案する。 さらに,2次元特徴マップと3次元ヒートマップで表される多次元特徴を用いて,2次元ネットワークを通して頑健な顔アライメントを行う。 また, 予測キーポイントを用いた知識蒸留に基づく学習を通して, 顔の幾何学的ランドマークの予測手法を提案する。 本研究では,予測した顔ランドマークと頭部ポーズ情報との相関を実験的に評価し,顔ランドマークの精度と頭部ポーズ情報の質との関係について検討した。 さらに, AFLW2000-3D, AFLW, BIWIデータセット上での最先端手法との比較により, 提案手法の有効性を実証した。

関連論文リスト

• Analyzing the Impact of Shape & Context on the Face Recognition Performance of Deep Networks [2.0099255688059907]
  顔画像におけるベースアイデンティティの基底となる3次元形状の変化が全体像を歪めるかを分析する。 本実験は, 正確な顔マッチングにおける顔形状の重要性を実証し, ネットワークトレーニングにおける文脈データの重要性を裏付けるものである。
  論文  参考訳（メタデータ） (2022-08-05T05:32:07Z)
• FaceTuneGAN: Face Autoencoder for Convolutional Expression Transfer Using Neural Generative Adversarial Networks [0.7043489166804575]
  顔の識別と表情を分離して符号化する新しい3次元顔モデル表現であるFaceTuneGANを提案する。 本稿では,2次元領域で使用されている画像と画像の変換ネットワークを3次元顔形状に適応させる手法を提案する。
  論文  参考訳（メタデータ） (2021-12-01T14:42:03Z)
• Learning to Aggregate and Personalize 3D Face from In-the-Wild Photo Collection [65.92058628082322]
  非パラメトリックフェースモデリングは形状仮定なしで画像からのみ3次元フェースを再構成することを目的としている。 本稿では,教師なしのロバストな3次元顔モデリングのための学習・アグリゲート・パーソナライズ・フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-15T03:10:17Z)
• Robust Face-Swap Detection Based on 3D Facial Shape Information [59.32489266682952]
  顔のスワップ画像やビデオは、悪意ある攻撃者を惹きつけ、重要な人物の信用を損ねている。 以前のピクセルレベルのアーティファクトに基づく検出技術は、常に不明瞭なパターンにフォーカスするが、利用可能なセマンティックなヒントは無視する。 キーフィギュアの顔・スワップ検出のための外観・形状特徴をフル活用するための生体情報に基づく手法を提案する。
  論文  参考訳（メタデータ） (2021-04-28T09:35:48Z)
• An Efficient Multitask Neural Network for Face Alignment, Head Pose Estimation and Face Tracking [9.39854778804018]
  効率的なマルチタスク顔アライメント、顔追跡、頭部ポーズ推定ネットワーク(ATPN)を提案します。 ATPNは従来の最先端手法に比べて性能が向上し、パラメータやFLOPSは少ない。
  論文  参考訳（メタデータ） (2021-03-13T04:41:15Z)
• Learning 3D Face Reconstruction with a Pose Guidance Network [49.13404714366933]
  ポーズ誘導ネットワーク(PGN)を用いた単眼3次元顔再構成学習のための自己指導型学習手法を提案する。 まず,従来のパラメトリックな3次元顔の学習手法におけるポーズ推定のボトルネックを明らかにし,ポーズパラメータの推定に3次元顔のランドマークを活用することを提案する。 我々のデザインしたPGNでは、完全にラベル付けされた3Dランドマークと無制限にラベル付けされた未使用の顔画像で両方の顔から学習できる。
  論文  参考訳（メタデータ） (2020-10-09T06:11:17Z)
• Face Super-Resolution Guided by 3D Facial Priors [92.23902886737832]
  シャープな顔構造を把握した3次元顔先行情報を明示的に組み込んだ新しい顔超解像法を提案する。 我々の研究は、顔属性のパラメトリック記述の融合に基づく3次元形態的知識を初めて探求したものである。 提案した3D先行画像は、最先端技術よりも優れた顔超解像結果が得られる。
  論文  参考訳（メタデータ） (2020-07-18T15:26:07Z)
• Dual-Attention GAN for Large-Pose Face Frontalization [59.689836951934694]
  本稿では,フォトリアリスティック顔フロンダル化のためのDA-GAN(Dual-Attention Generative Adversarial Network)を提案する。 具体的には、ローカル機能と長距離依存関係を統合するために、自己アテンションベースのジェネレータが導入された。 顔領域の局所的特徴を強調するために,新しい顔認識に基づく識別器を適用した。
  論文  参考訳（メタデータ） (2020-02-17T20:00:56Z)
• It's Written All Over Your Face: Full-Face Appearance-Based Gaze Estimation [82.16380486281108]
  顔の全体像のみを入力とする外観に基づく手法を提案する。 本手法は,特徴写像に空間重みを印加した畳み込みニューラルネットワークを用いて顔画像の符号化を行う。 本手法は2次元視線と3次元視線の両方で技量を有意に上回ることを示す。
  論文  参考訳（メタデータ） (2016-11-27T15:00:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。