論文の概要: Pose-disentangled Contrastive Learning for Self-supervised Facial Representation

• arxiv url: http://arxiv.org/abs/2211.13490v2
• Date: Mon, 8 May 2023 06:37:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-10 00:00:05.431806
• Title: Pose-disentangled Contrastive Learning for Self-supervised Facial Representation
• Title（参考訳）: 自己監督型顔表情表現のためのポスディスタングル・コントラスト学習
• Authors: Yuanyuan Liu, Wenbin Wang, Yibing Zhan, Shaoze Feng, Kejun Liu, Zhe Chen
• Abstract要約: 本稿では,汎用的な自己監督型顔表情表現のための,Pose-disentangled Contrastive Learning (PCL) 手法を提案する。 当社のPCLは、まず、顔認識機能からポーズ関連機能を切り離した、ポーズ異形デコーダ(PDD)を考案した。 次に、同じ画像のデータ拡張に基づいてポーズ関連情報を学習する、ポーズ関連コントラスト学習手法を提案する。
• 参考スコア（独自算出の注目度）: 12.677909048435408
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised facial representation has recently attracted increasing attention due to its ability to perform face understanding without relying on large-scale annotated datasets heavily. However, analytically, current contrastive-based self-supervised learning (SSL) still performs unsatisfactorily for learning facial representation. More specifically, existing contrastive learning (CL) tends to learn pose-invariant features that cannot depict the pose details of faces, compromising the learning performance. To conquer the above limitation of CL, we propose a novel Pose-disentangled Contrastive Learning (PCL) method for general self-supervised facial representation. Our PCL first devises a pose-disentangled decoder (PDD) with a delicately designed orthogonalizing regulation, which disentangles the pose-related features from the face-aware features; therefore, pose-related and other pose-unrelated facial information could be performed in individual subnetworks and do not affect each other's training. Furthermore, we introduce a pose-related contrastive learning scheme that learns pose-related information based on data augmentation of the same image, which would deliver more effective face-aware representation for various downstream tasks. We conducted linear evaluation on four challenging downstream facial understanding tasks, ie, facial expression recognition, face recognition, AU detection and head pose estimation. Experimental results demonstrate that our method significantly outperforms state-of-the-art SSL methods. Code is available at https://github.com/DreamMr/PCL}{https://github.com/DreamMr/PCL
• Abstract（参考訳）: 近年,大規模なアノテートデータセットに大きく依存することなく顔の理解を行う能力によって,自己監督型顔表現が注目を集めている。 しかし、分析的には、現在のコントラストベース自己教師学習(SSL)は、顔表現の学習に不満足に機能している。 より具体的には、既存のコントラスト学習(CL)は、顔のポーズの詳細を表現できないポーズ不変の特徴を学習し、学習性能を損なう傾向にある。 上記のCLの制限を克服するために,汎用的な自己監督型顔表情表現のための新しいPose-disentangled Contrastive Learning (PCL)法を提案する。 提案するpclは,まずポーズ関連特徴と顔認識特徴を区別し,個々のサブネットワーク内でポーズ関連および他のポーズ関連顔情報を実行し,相互に影響を与えない,繊細に設計された直交規則を備えたポーズ関連デコーダ(pdd)を考案した。 さらに,同一画像のデータ増補に基づいてポーズ関連情報を学習するポーズ関連コントラスト学習方式を導入し,様々な下流タスクに対してより効果的な顔認識表現を実現する。 提案手法では,ie,表情認識,顔認識,au検出,頭部ポーズ推定の4つの課題に対して線形評価を行った。 実験の結果,本手法は最先端のSSL手法よりも優れていた。 コードはhttps://github.com/DreamMr/PCL}{https://github.com/DreamMr/PCLで入手できる。

関連論文リスト

• Self-Supervised Facial Representation Learning with Facial Region Awareness [13.06996608324306]
  自己教師付き事前学習は、様々な視覚的タスクに役立つ伝達可能な表現を学習するのに有効であることが証明されている。 この目標に向けての最近の取り組みは、各顔画像を全体として扱うことに限定されている。 本研究では,一貫したグローバルおよびローカルな顔表現を学習するための,自己教師型顔表現学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-04T15:48:56Z)
• ProS: Facial Omni-Representation Learning via Prototype-based Self-Distillation [22.30414271893046]
  ProS(Prototype-based Self-Distillation)は、教師なし顔表現学習のための新しいアプローチである。 ProSは2つの視覚変換器(教師と生徒のモデル)で構成されており、異なるイメージで訓練されている。 ProSは、フルおよび数ショット設定の両方で、さまざまなタスクで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-11-03T14:10:06Z)
• Understanding Pose and Appearance Disentanglement in 3D Human Pose Estimation [72.50214227616728]
  ポーズ情報から外見情報を引き離すために,自己教師型で画像表現を学習する手法がいくつか提案されている。 我々は,多種多様な画像合成実験を通じて,自己教師ネットワークの観点から,ゆがみについて検討する。 我々は,対象の自然な外見変化を生起することに焦点を当てた敵対的戦略を設計し,その反対に,絡み合ったネットワークが堅牢であることを期待している。
  論文  参考訳（メタデータ） (2023-09-20T22:22:21Z)
• GaFET: Learning Geometry-aware Facial Expression Translation from In-The-Wild Images [55.431697263581626]
  本稿では,パラメトリックな3次元顔表現をベースとした新しい顔表情翻訳フレームワークを提案する。 我々は、最先端の手法と比較して、高品質で正確な表情伝達結果を実現し、様々なポーズや複雑なテクスチャの適用性を実証する。
  論文  参考訳（メタデータ） (2023-08-07T09:03:35Z)
• CIAO! A Contrastive Adaptation Mechanism for Non-Universal Facial Expression Recognition [80.07590100872548]
  本稿では、顔エンコーダの最後の層に異なるデータセットの特定の感情特性を適応させるメカニズムであるContrastive Inhibitory Adaptati On(CIAO)を提案する。 CIAOは、非常にユニークな感情表現を持つ6つの異なるデータセットに対して、表情認識性能が改善されている。
  論文  参考訳（メタデータ） (2022-08-10T15:46:05Z)
• General Facial Representation Learning in a Visual-Linguistic Manner [45.92447707178299]
  本稿では,一般の顔表現学習を視覚言語的に行うためのフレームワークFaRLを紹介する。 従来の事前学習モデルと比較して, FaRL は転送性能がよいことを示す。 本モデルは,顔解析や顔のアライメントといった顔解析タスクにおける最先端の手法を超越したモデルである。
  論文  参考訳（メタデータ） (2021-12-06T15:22:05Z)
• Attention-guided Progressive Mapping for Profile Face Recognition [12.792576041526289]
  顔認証のクロスポーズは依然として重要な課題である。 正面の顔の特徴空間にトラバースすることで、ポーズ・ロバストな特徴を学習することは、この問題を緩和するための効果的で安価な方法を提供する。
  論文  参考訳（メタデータ） (2021-06-27T02:21:41Z)
• Learning to Aggregate and Personalize 3D Face from In-the-Wild Photo Collection [65.92058628082322]
  非パラメトリックフェースモデリングは形状仮定なしで画像からのみ3次元フェースを再構成することを目的としている。 本稿では,教師なしのロバストな3次元顔モデリングのための学習・アグリゲート・パーソナライズ・フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-15T03:10:17Z)
• Pre-training strategies and datasets for facial representation learning [58.8289362536262]
  いくつかの顔分析タスクやデータセットに適用可能な普遍的な顔表現の探索方法を示す。 顔に適応する2つの大規模表現学習を体系的に検討する。 私たちの主な2つの発見は以下の通りです: 完全にインザワイルドな未処理データに対する教師なし事前トレーニングは一貫性を提供し、場合によっては大幅な精度向上をもたらします。
  論文  参考訳（メタデータ） (2021-03-30T17:57:25Z)
• InterFaceGAN: Interpreting the Disentangled Face Representation Learned by GANs [73.27299786083424]
  我々は、最先端のGANモデルによって学習された不整合顔表現を解釈するInterFaceGANというフレームワークを提案する。 まず、GANは潜在空間の線型部分空間で様々な意味学を学ぶ。 次に、異なる意味論間の相関関係について詳細な研究を行い、部分空間射影を通してそれらをよりよく解離させる。
  論文  参考訳（メタデータ） (2020-05-18T18:01:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。