論文の概要: Self-Supervised Facial Representation Learning with Facial Region
Awareness
- arxiv url: http://arxiv.org/abs/2403.02138v1
- Date: Mon, 4 Mar 2024 15:48:56 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-06 18:18:09.954431
- Title: Self-Supervised Facial Representation Learning with Facial Region
Awareness
- Title（参考訳）: 顔領域認識を用いた自己教師付き表情表現学習
- Authors: Zheng Gao, Ioannis Patras
- Abstract要約: 自己教師付き事前学習は、様々な視覚的タスクに役立つ伝達可能な表現を学習するのに有効であることが証明されている。
この目標に向けての最近の取り組みは、各顔画像を全体として扱うことに限定されている。
本研究では,一貫したグローバルおよびローカルな顔表現を学習するための,自己教師型顔表現学習フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 13.06996608324306
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Self-supervised pre-training has been proved to be effective in learning
transferable representations that benefit various visual tasks. This paper asks
this question: can self-supervised pre-training learn general facial
representations for various facial analysis tasks? Recent efforts toward this
goal are limited to treating each face image as a whole, i.e., learning
consistent facial representations at the image-level, which overlooks the
consistency of local facial representations (i.e., facial regions like eyes,
nose, etc). In this work, we make a first attempt to propose a novel
self-supervised facial representation learning framework to learn consistent
global and local facial representations, Facial Region Awareness (FRA).
Specifically, we explicitly enforce the consistency of facial regions by
matching the local facial representations across views, which are extracted
with learned heatmaps highlighting the facial regions. Inspired by the mask
prediction in supervised semantic segmentation, we obtain the heatmaps via
cosine similarity between the per-pixel projection of feature maps and facial
mask embeddings computed from learnable positional embeddings, which leverage
the attention mechanism to globally look up the facial image for facial
regions. To learn such heatmaps, we formulate the learning of facial mask
embeddings as a deep clustering problem by assigning the pixel features from
the feature maps to them. The transfer learning results on facial
classification and regression tasks show that our FRA outperforms previous
pre-trained models and more importantly, using ResNet as the unified backbone
for various tasks, our FRA achieves comparable or even better performance
compared with SOTA methods in facial analysis tasks.
- Abstract（参考訳）: 自己教師付き事前学習は、様々な視覚タスクに役立つ転送可能表現の学習に有効であることが証明されている。
自己教師付き事前学習は、様々な顔分析タスクで一般的な顔表現を学習できるか?
この目的に向けた最近の取り組みは、各顔画像全体、すなわち、局所的な顔表現の一貫性(すなわち、目や鼻などの顔領域)を無視する、画像レベルで一貫した顔表現を学ぶことに限定されている。
本研究では,一貫したグローバルおよびローカルな顔表現,顔領域認識(FRA)を学習するための,自己指導型表情表現学習フレームワークを提案する。
具体的には, 顔領域を強調表示した学習熱マップを用いて抽出したビュー間の局所的な顔表現をマッチングすることにより, 顔領域の一貫性を明示的に強化する。
教師付き意味セグメンテーションにおけるマスク予測に触発されて,特徴地図の画素毎の投影と,学習可能な位置埋め込みから計算された顔マスク埋め込みとのコサイン類似性により,顔領域の顔画像のグローバル検索に注意機構を利用する。
このようなヒートマップを学習するために,特徴マップから画素特徴を割り当てることで,顔マスク埋め込みの学習を深いクラスタリング問題として定式化する。
顔分類および回帰タスクにおける転写学習の結果から,FRAは従来の訓練済みモデルよりも優れており,さらに重要なことは,ResNetを様々なタスクの統一バックボーンとして使用することにより,顔分析タスクにおけるSOTA法と比較して,同等あるいはそれ以上の性能を達成できたことである。
関連論文リスト
- LAFS: Landmark-based Facial Self-supervised Learning for Face
Recognition [37.4550614524874]
我々は、効果的な顔認識モデルの訓練に適応できる顔表現の学習に焦点をあてる。
本研究では,自己教師付き事前学習による未ラベル顔画像の学習戦略について検討する。
提案手法は,複数の顔認識ベンチマークにおける最先端技術よりも大幅に向上する。
論文 参考訳（メタデータ） (2024-03-13T01:07:55Z) - A Generalist FaceX via Learning Unified Facial Representation [77.74407008931486]
FaceXは、多様な顔タスクを同時に処理できる新しい顔ジェネラリストモデルである。
汎用的なFaceXは、一般的な顔編集タスクの精巧なタスク特化モデルと比較して、競争性能が向上する。
論文 参考訳（メタデータ） (2023-12-31T17:41:48Z) - Toward High Quality Facial Representation Learning [58.873356953627614]
我々はMask Contrastive Face (MCF)と呼ばれる自己教師型事前学習フレームワークを提案する。
トレーニング済みの視覚バックボーンの特徴マップを監視項目として使用し、マスク画像モデリングに部分的にトレーニング済みのデコーダを使用する。
このモデルはAFLW-19顔アライメントの0.932 NME_diag$とLaPa顔解析の93.96 F1スコアを達成する。
論文 参考訳（メタデータ） (2023-09-07T09:11:49Z) - SimFLE: Simple Facial Landmark Encoding for Self-Supervised Facial
Expression Recognition in the Wild [3.4798852684389963]
顔のランドマークの効果的な符号化を学習できる自己教師型簡易顔ランドマーク符号化法(SimFLE)を提案する。
この目的のために、新しいFaceMAEモジュールを紹介します。
いくつかのFER-Wベンチマークの実験結果から、提案したSimFLEは顔のランドマークのローカライゼーションに優れていることが証明された。
論文 参考訳（メタデータ） (2023-03-14T06:30:55Z) - CIAO! A Contrastive Adaptation Mechanism for Non-Universal Facial
Expression Recognition [80.07590100872548]
本稿では、顔エンコーダの最後の層に異なるデータセットの特定の感情特性を適応させるメカニズムであるContrastive Inhibitory Adaptati On(CIAO)を提案する。
CIAOは、非常にユニークな感情表現を持つ6つの異なるデータセットに対して、表情認識性能が改善されている。
論文 参考訳（メタデータ） (2022-08-10T15:46:05Z) - General Facial Representation Learning in a Visual-Linguistic Manner [45.92447707178299]
本稿では,一般の顔表現学習を視覚言語的に行うためのフレームワークFaRLを紹介する。
従来の事前学習モデルと比較して, FaRL は転送性能がよいことを示す。
本モデルは,顔解析や顔のアライメントといった顔解析タスクにおける最先端の手法を超越したモデルである。
論文 参考訳（メタデータ） (2021-12-06T15:22:05Z) - TANet: A new Paradigm for Global Face Super-resolution via
Transformer-CNN Aggregation Network [72.41798177302175]
本稿では, 顔構造特徴の表現能力を完全に探求する自己認識機構(すなわち Transformer のコア)に基づく新しいパラダイムを提案する。
具体的には、2つの経路からなるTransformer-CNNアグリゲーションネットワーク(TANet)を設計する。
上記の2つの経路から特徴を集約することにより、グローバルな顔の構造の整合性と局所的な顔のディテール復元の忠実度を同時に強化する。
論文 参考訳（メタデータ） (2021-09-16T18:15:07Z) - Learning Facial Representations from the Cycle-consistency of Face [23.23272327438177]
顔特徴の周期一貫性を自由監督信号として導入し、ラベルのない顔画像から顔の表情を学習する。
この学習は、顔の動きサイクルの制約とアイデンティティのサイクルの制約を重畳することによって実現される。
我々のアプローチは既存の手法と競合し、アンタングル表現に埋め込まれたリッチでユニークな情報を実証する。
論文 参考訳（メタデータ） (2021-08-07T11:30:35Z) - Pre-training strategies and datasets for facial representation learning [58.8289362536262]
いくつかの顔分析タスクやデータセットに適用可能な普遍的な顔表現の探索方法を示す。
顔に適応する2つの大規模表現学習を体系的に検討する。
私たちの主な2つの発見は以下の通りです: 完全にインザワイルドな未処理データに対する教師なし事前トレーニングは一貫性を提供し、場合によっては大幅な精度向上をもたらします。
論文 参考訳（メタデータ） (2021-03-30T17:57:25Z) - Spontaneous Emotion Recognition from Facial Thermal Images [0.0]
熱赤外画像における顔画像処理のタスクの多くは、現代の学習に基づくアプローチで対処できると分析する。
USTC-NVIEデータベースを使用して、顔のランドマーク局在化のための多数の機械学習アルゴリズムのトレーニングを行っています。
論文 参考訳（メタデータ） (2020-12-13T05:55:19Z) - DotFAN: A Domain-transferred Face Augmentation Network for Pose and
Illumination Invariant Face Recognition [94.96686189033869]
本稿では,3次元モデルを用いたドメイン転送型顔強調ネットワーク(DotFAN)を提案する。
DotFANは、他のドメインから収集された既存のリッチフェイスデータセットから抽出された知識に基づいて、入力顔の一連の変種を生成することができる。
実験によると、DotFANは、クラス内の多様性を改善するために、小さな顔データセットを増やすのに有益である。
論文 参考訳（メタデータ） (2020-02-23T08:16:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。