論文の概要: Learning Facial Representations from the Cycle-consistency of Face
- arxiv url: http://arxiv.org/abs/2108.03427v1
- Date: Sat, 7 Aug 2021 11:30:35 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-10 15:31:29.676849
- Title: Learning Facial Representations from the Cycle-consistency of Face
- Title(参考訳): 顔の周期一貫性による表情の学習
- Authors: Jia-Ren Chang, Yong-Sheng Chen, Wei-Chen Chiu
- Abstract要約: 顔特徴の周期一貫性を自由監督信号として導入し、ラベルのない顔画像から顔の表情を学習する。
この学習は、顔の動きサイクルの制約とアイデンティティのサイクルの制約を重畳することによって実現される。
我々のアプローチは既存の手法と競合し、アンタングル表現に埋め込まれたリッチでユニークな情報を実証する。
- 参考スコア(独自算出の注目度): 23.23272327438177
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Faces manifest large variations in many aspects, such as identity,
expression, pose, and face styling. Therefore, it is a great challenge to
disentangle and extract these characteristics from facial images, especially in
an unsupervised manner. In this work, we introduce cycle-consistency in facial
characteristics as free supervisory signal to learn facial representations from
unlabeled facial images. The learning is realized by superimposing the facial
motion cycle-consistency and identity cycle-consistency constraints. The main
idea of the facial motion cycle-consistency is that, given a face with
expression, we can perform de-expression to a neutral face via the removal of
facial motion and further perform re-expression to reconstruct back to the
original face. The main idea of the identity cycle-consistency is to exploit
both de-identity into mean face by depriving the given neutral face of its
identity via feature re-normalization and re-identity into neutral face by
adding the personal attributes to the mean face. At training time, our model
learns to disentangle two distinct facial representations to be useful for
performing cycle-consistent face reconstruction. At test time, we use the
linear protocol scheme for evaluating facial representations on various tasks,
including facial expression recognition and head pose regression. We also can
directly apply the learnt facial representations to person recognition,
frontalization and image-to-image translation. Our experiments show that the
results of our approach is competitive with those of existing methods,
demonstrating the rich and unique information embedded in the disentangled
representations. Code is available at https://github.com/JiaRenChang/FaceCycle .
- Abstract(参考訳): 顔は、アイデンティティ、表情、ポーズ、顔のスタイルなど、多くの面で大きな変化を示します。
したがって、これらの特徴を特に教師なしの方法で顔画像から切り離して抽出することは大きな課題である。
本研究では,非ラベルの顔画像から表情を学習する自由監督信号として,顔特性の周期整合性を導入する。
この学習は、顔の動きサイクル一貫性とアイデンティティサイクル一貫性の制約を重畳することによって実現される。
顔の動きのサイクル整合性の主な考え方は、表情のある顔が与えられた場合、顔の動きの除去によって中性顔に非表現を施し、さらに元の顔に再構成するために再表現を行うことである。
アイデンティティ・サイクル・コンシステンシーの主な考え方は、特徴の再正規化によってそのアイデンティティの与えられた中立的な面を剥奪し、平均的な顔に個人的属性を加えることで、中立的な顔に再同一性を持たせることである。
トレーニング時には、2つの異なる顔表現をアンタングルしてサイクル一貫性のある顔再構成を行う。
実験時には,表情認識や頭部ポーズ回帰など,様々なタスクにおける顔表現の評価に線形プロトコルスキームを用いる。
また、学習した表情を人物認識、フロンダル化、画像間翻訳に直接適用することができる。
実験により,提案手法は既存の手法と競合することを示し,異種表現に埋め込まれたリッチでユニークな情報を示す。
コードはhttps://github.com/JiaRenChang/FaceCycleで入手できる。
関連論文リスト
- LAFS: Landmark-based Facial Self-supervised Learning for Face
Recognition [37.4550614524874]
我々は、効果的な顔認識モデルの訓練に適応できる顔表現の学習に焦点をあてる。
本研究では,自己教師付き事前学習による未ラベル顔画像の学習戦略について検討する。
提案手法は,複数の顔認識ベンチマークにおける最先端技術よりも大幅に向上する。
論文 参考訳(メタデータ) (2024-03-13T01:07:55Z) - Self-Supervised Facial Representation Learning with Facial Region
Awareness [13.06996608324306]
自己教師付き事前学習は、様々な視覚的タスクに役立つ伝達可能な表現を学習するのに有効であることが証明されている。
この目標に向けての最近の取り組みは、各顔画像を全体として扱うことに限定されている。
本研究では,一貫したグローバルおよびローカルな顔表現を学習するための,自己教師型顔表現学習フレームワークを提案する。
論文 参考訳(メタデータ) (2024-03-04T15:48:56Z) - A Generalist FaceX via Learning Unified Facial Representation [77.74407008931486]
FaceXは、多様な顔タスクを同時に処理できる新しい顔ジェネラリストモデルである。
汎用的なFaceXは、一般的な顔編集タスクの精巧なタスク特化モデルと比較して、競争性能が向上する。
論文 参考訳(メタデータ) (2023-12-31T17:41:48Z) - Emotion Separation and Recognition from a Facial Expression by
Generating the Poker Face with Vision Transformers [57.67586172996843]
静的な顔画像から外乱非依存の感情を分離し認識するための新しいFERモデルであるポーカー・フェイス・ビジョン・トランスフォーマー(PF-ViT)を提案する。
PF-ViTは、ペア画像なしで対応するポーカーフェイスを生成する。
論文 参考訳(メタデータ) (2022-07-22T13:39:06Z) - SynFace: Face Recognition with Synthetic Data [83.15838126703719]
我々は、ID混在(IM)とドメイン混在(DM)を併用したSynFaceを考案し、パフォーマンスギャップを緩和する。
また、合成顔画像の系統的実験分析を行い、合成データを顔認識に効果的に活用する方法についての知見を提供する。
論文 参考訳(メタデータ) (2021-08-18T03:41:54Z) - Learning Fair Face Representation With Progressive Cross Transformer [79.73754444296213]
フェアフェイス認識のためのプログレッシブクロストランス (PCT) 手法を提案する。
我々は,PCTが最先端FR性能を達成しつつ,顔認識におけるバイアスを軽減することができることを示した。
論文 参考訳(メタデータ) (2021-08-11T01:31:14Z) - I Only Have Eyes for You: The Impact of Masks On Convolutional-Based
Facial Expression Recognition [78.07239208222599]
今回提案したFaceChannelがマスクを持つ人からの表情認識にどのように適応するかを評価します。
また、制約された社会的相互作用シナリオにおける顔の特徴の変化を学習し、組み合わせるためのFaceChannelの本質的な能力を示すために、特定の機能レベルの可視化も行います。
論文 参考訳(メタデータ) (2021-04-16T20:03:30Z) - Facial Expressions as a Vulnerability in Face Recognition [73.85525896663371]
本研究では,顔認識システムのセキュリティ脆弱性としての表情バイアスについて検討する。
本稿では,表情バイアスが顔認識技術の性能に与える影響を包括的に分析する。
論文 参考訳(メタデータ) (2020-11-17T18:12:41Z) - LandmarkGAN: Synthesizing Faces from Landmarks [43.53204737135101]
顔のランドマークに基づいた顔合成を入力として行う新しい手法であるLandmarkGANについて述べる。
提案手法では,顔のランドマークの集合を異なる対象の新たな顔に変換することができるが,顔の表情や向きは同一である。
論文 参考訳(メタデータ) (2020-10-31T13:27:21Z) - FaR-GAN for One-Shot Face Reenactment [20.894596219099164]
本稿では,任意の音源の顔画像とターゲット表現のみを入力として用いた一発顔再現モデルFaR-GANを提案する。
提案手法は,音源の同一性,表情,頭部ポーズ,さらには画像背景についても仮定しない。
論文 参考訳(メタデータ) (2020-05-13T16:15:37Z) - VAE/WGAN-Based Image Representation Learning For Pose-Preserving
Seamless Identity Replacement In Facial Images [15.855376604558977]
We present a novel variational generative adversarial network (VGAN) based on Wasserstein loss。
我々のネットワークは、ポーズ保存されたアイデンティティ・モーフィングとアイデンティティ保存されたポーズ・モーフィングの実行に利用できることを示す。
論文 参考訳(メタデータ) (2020-03-02T03:35:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。