論文の概要: Precise Facial Landmark Detection by Reference Heatmap Transformer

• arxiv url: http://arxiv.org/abs/2303.07840v1
• Date: Tue, 14 Mar 2023 12:26:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-15 15:10:39.670581
• Title: Precise Facial Landmark Detection by Reference Heatmap Transformer
• Title（参考訳）: 参照熱マップ変換器による顔の高精度ランドマーク検出
• Authors: Jun Wan, Jun Liu, Jie Zhou, Zhihui Lai, Linlin Shen, Hang Sun, Ping Xiong, Wenwen Min
• Abstract要約: より正確に顔のランドマークを検出するための参照ヒートマップ変換器(RHT)を提案する。 評価実験の結果,提案手法は文献における最先端の手法よりも優れていることが示された。
• 参考スコア（独自算出の注目度）: 52.417964103227696
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most facial landmark detection methods predict landmarks by mapping the input facial appearance features to landmark heatmaps and have achieved promising results. However, when the face image is suffering from large poses, heavy occlusions and complicated illuminations, they cannot learn discriminative feature representations and effective facial shape constraints, nor can they accurately predict the value of each element in the landmark heatmap, limiting their detection accuracy. To address this problem, we propose a novel Reference Heatmap Transformer (RHT) by introducing reference heatmap information for more precise facial landmark detection. The proposed RHT consists of a Soft Transformation Module (STM) and a Hard Transformation Module (HTM), which can cooperate with each other to encourage the accurate transformation of the reference heatmap information and facial shape constraints. Then, a Multi-Scale Feature Fusion Module (MSFFM) is proposed to fuse the transformed heatmap features and the semantic features learned from the original face images to enhance feature representations for producing more accurate target heatmaps. To the best of our knowledge, this is the first study to explore how to enhance facial landmark detection by transforming the reference heatmap information. The experimental results from challenging benchmark datasets demonstrate that our proposed method outperforms the state-of-the-art methods in the literature.
• Abstract（参考訳）: ほとんどの顔ランドマーク検出方法は、入力された顔の外観特徴をランドマークのヒートマップにマッピングすることでランドマークを予測し、有望な結果を得た。 しかし、顔画像が大きなポーズ、重い咬合、複雑な照度に苦しんでいる場合、識別的特徴表現や効果的な顔形状の制約を学習することはできず、ランドマークのヒートマップの各要素の値を正確に予測することもできず、検出精度を制限できる。 この問題に対処するために,より正確な顔のランドマーク検出のための参照ヒートマップ情報を導入し,新しい参照ヒートマップ変換器(RHT)を提案する。 提案するRHTはソフトトランスフォーメーションモジュール (STM) とハードトランスフォーメーションモジュール (HTM) で構成され, 参照熱マップ情報と顔形状制約の正確な変換を促進する。 次に,マルチスケール機能融合モジュール (msffm) を提案し,変換されたヒートマップの特徴と,元の顔画像から得られた意味的特徴を融合し,より正確なターゲットヒートマップを生成する特徴表現を強化する。 私たちの知る限りでは、これは参照ヒートマップ情報を変換して顔のランドマークを検出する方法を検討する最初の研究です。 評価実験の結果,提案手法は文献の最先端手法よりも優れていることが示された。

関連論文リスト

• VcT: Visual change Transformer for Remote Sensing Image Change Detection [16.778418602705287]
  本稿では,視覚変化検出問題に対する新しい視覚変化変換器(VcT)モデルを提案する。 トップKの信頼できるトークンは、クラスタリングアルゴリズムを使用してマップからマイニングし、洗練することができる。 複数のベンチマークデータセットに対する大規模な実験により,提案したVcTモデルの有効性が検証された。
  論文  参考訳（メタデータ） (2023-10-17T17:25:31Z)
• Subpixel Heatmap Regression for Facial Landmark Localization [65.41270740933656]
  熱マップ回帰法は、熱マップ符号化と復号処理の両方に関連する離散化による誤差に悩まされる。 本稿では,熱マップの符号化と復号化に基礎となる連続分布を利用した新しい手法を提案する。 我々のアプローチは、顔のランドマークのローカライゼーションに新しい最先端の結果を設定する複数のデータセット間で顕著な利得を提供する。
  論文  参考訳（メタデータ） (2021-11-03T17:21:28Z)
• Robust Face Alignment by Multi-order High-precision Hourglass Network [44.94500006611075]
  本稿では,熱マップサブピクセル回帰 (HSR) 法と多階クロスジオメトリ・アウェア (MCG) モデルを提案する。 HSR法は、よく設計されたサブピクセル検出損失(SDL)とサブピクセル検出技術(SDT)により、高精度なランドマーク検出を実現するために提案されている。 同時に、MCGモデルは、提案した多階交差情報を用いて、顔の幾何学的制約と文脈情報を強化するためのより識別的な表現を学習することができる。
  論文  参考訳（メタデータ） (2020-10-17T05:40:30Z)
• Heatmap Regression via Randomized Rounding [105.75014893647538]
  本稿では,サブピクセルローカライゼーション問題に対処する簡易かつ効果的な量子化システムを提案する。 提案システムでは,数値座標の分数部をトレーニング中の確率的アプローチを用いて基底真理熱マップに符号化する。
  論文  参考訳（メタデータ） (2020-09-01T04:54:22Z)
• Multi-spectral Facial Landmark Detection [10.009879315990133]
  我々は、頑健なニューラルネットワークにより顔のランドマーク検出、すなわちDeep Multi-Spectral Learning (DMSL)を提案する。 DMSLは2つのサブモデル、すなわち顔境界検出とランドマーク座標検出から構成される。 Eurecomの可視・熱対データベースで実施された実験は、熱的顔のランドマーク検出のための最先端技術よりもDMSLの優れた性能を示している。
  論文  参考訳（メタデータ） (2020-06-09T11:43:46Z)
• Multi-Scale Thermal to Visible Face Verification via Attribute Guided Synthesis [55.29770222566124]
  可視画像から抽出した属性を用いて、熱画像から属性保存された可視画像を合成し、クロスモーダルマッチングを行う。 抽出した属性によって導かれる熱画像から可視像を合成するために, 新規なマルチスケールジェネレータを提案する。 事前訓練されたVGG-Faceネットワークを利用して、合成画像と入力可視画像から特徴を抽出し、検証を行う。
  論文  参考訳（メタデータ） (2020-04-20T01:45:05Z)
• A Transfer Learning approach to Heatmap Regression for Action Unit intensity estimation [50.261472059743845]
  アクション・ユニット(英: Action Units、AUs)は、幾何学に基づく原子性顔面筋運動である。 本稿では,その位置と強度を共同で推定する新しいAUモデリング問題を提案する。 ヒートマップは、所定の空間的位置でAUが発生するか否かをモデル化する。
  論文  参考訳（メタデータ） (2020-04-14T16:51:13Z)
• Attentive One-Dimensional Heatmap Regression for Facial Landmark Detection and Tracking [73.35078496883125]
  顔のランドマークの局所化のための新しい1次元熱マップ回帰法を提案する。 まず、x座標とy座標の辺分布を表すために、1次元熱マップの2つの群を予測する。 第2に、x と y 座標に存在する固有の空間パターンをモデル化するコアテンション機構が採用されている。 第3に、1次元熱マップ構造に基づいて、画像上のランドマーク検出のための空間パターンを検出する顔ランドマーク検出器を提案する。
  論文  参考訳（メタデータ） (2020-04-05T06:51:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。