論文の概要: Learning Facial Representations from the Cycle-consistency of Face
- arxiv url: http://arxiv.org/abs/2108.03427v1
- Date: Sat, 7 Aug 2021 11:30:35 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-10 15:31:29.676849
- Title: Learning Facial Representations from the Cycle-consistency of Face
- Title（参考訳）: 顔の周期一貫性による表情の学習
- Authors: Jia-Ren Chang, Yong-Sheng Chen, Wei-Chen Chiu
- Abstract要約: 顔特徴の周期一貫性を自由監督信号として導入し、ラベルのない顔画像から顔の表情を学習する。
この学習は、顔の動きサイクルの制約とアイデンティティのサイクルの制約を重畳することによって実現される。
我々のアプローチは既存の手法と競合し、アンタングル表現に埋め込まれたリッチでユニークな情報を実証する。
- 参考スコア（独自算出の注目度）: 23.23272327438177
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Faces manifest large variations in many aspects, such as identity,
expression, pose, and face styling. Therefore, it is a great challenge to
disentangle and extract these characteristics from facial images, especially in
an unsupervised manner. In this work, we introduce cycle-consistency in facial
characteristics as free supervisory signal to learn facial representations from
unlabeled facial images. The learning is realized by superimposing the facial
motion cycle-consistency and identity cycle-consistency constraints. The main
idea of the facial motion cycle-consistency is that, given a face with
expression, we can perform de-expression to a neutral face via the removal of
facial motion and further perform re-expression to reconstruct back to the
original face. The main idea of the identity cycle-consistency is to exploit
both de-identity into mean face by depriving the given neutral face of its
identity via feature re-normalization and re-identity into neutral face by
adding the personal attributes to the mean face. At training time, our model
learns to disentangle two distinct facial representations to be useful for
performing cycle-consistent face reconstruction. At test time, we use the
linear protocol scheme for evaluating facial representations on various tasks,
including facial expression recognition and head pose regression. We also can
directly apply the learnt facial representations to person recognition,
frontalization and image-to-image translation. Our experiments show that the
results of our approach is competitive with those of existing methods,
demonstrating the rich and unique information embedded in the disentangled
representations. Code is available at https://github.com/JiaRenChang/FaceCycle .
- Abstract（参考訳）: 顔は、アイデンティティ、表情、ポーズ、顔のスタイルなど、多くの面で大きな変化を示します。
したがって、これらの特徴を特に教師なしの方法で顔画像から切り離して抽出することは大きな課題である。
本研究では,非ラベルの顔画像から表情を学習する自由監督信号として,顔特性の周期整合性を導入する。
この学習は、顔の動きサイクル一貫性とアイデンティティサイクル一貫性の制約を重畳することによって実現される。
顔の動きのサイクル整合性の主な考え方は、表情のある顔が与えられた場合、顔の動きの除去によって中性顔に非表現を施し、さらに元の顔に再構成するために再表現を行うことである。
アイデンティティ・サイクル・コンシステンシーの主な考え方は、特徴の再正規化によってそのアイデンティティの与えられた中立的な面を剥奪し、平均的な顔に個人的属性を加えることで、中立的な顔に再同一性を持たせることである。
トレーニング時には、2つの異なる顔表現をアンタングルしてサイクル一貫性のある顔再構成を行う。
実験時には,表情認識や頭部ポーズ回帰など,様々なタスクにおける顔表現の評価に線形プロトコルスキームを用いる。
また、学習した表情を人物認識、フロンダル化、画像間翻訳に直接適用することができる。
実験により,提案手法は既存の手法と競合することを示し,異種表現に埋め込まれたリッチでユニークな情報を示す。
コードはhttps://github.com/JiaRenChang/FaceCycleで入手できる。
関連論文リスト
- Knowledge-Enhanced Facial Expression Recognition with Emotional-to-Neutral Transformation [66.53435569574135]
既存の表情認識法は、通常、個別のラベルを使って訓練済みのビジュアルエンコーダを微調整する。
視覚言語モデルによって生成されるテキスト埋め込みの豊富な知識は、識別的表情表現を学ぶための有望な代替手段である。
感情-中性変換を用いた知識強化FER法を提案する。
論文 参考訳（メタデータ） (2024-09-13T07:28:57Z) - Towards Localized Fine-Grained Control for Facial Expression Generation [54.82883891478555]
人間、特にその顔は、豊かな表現と意図を伝える能力のために、コンテンツ生成の中心である。
現在の生成モデルは、主に平らな中立表現と文字なしの笑顔を認証なしで生成する。
顔生成における表情制御におけるAU(アクションユニット)の利用を提案する。
論文 参考訳（メタデータ） (2024-07-25T18:29:48Z) - ComFace: Facial Representation Learning with Synthetic Data for Comparing Faces [5.07975834105566]
合成画像を用いた顔表現学習手法ComFaceを提案する。
効果的な表現学習のために、ComFaceは2つの特徴表現、すなわち、対人的な顔の違いと対人的な顔の変化を取得することを目指している。
我々のComFaceは、合成データのみを用いて訓練され、実画像を用いて訓練された一般的な事前学習や最先端表現学習方法と同等以上の転送性能を達成する。
論文 参考訳（メタデータ） (2024-05-25T02:44:07Z) - LAFS: Landmark-based Facial Self-supervised Learning for Face
Recognition [37.4550614524874]
我々は、効果的な顔認識モデルの訓練に適応できる顔表現の学習に焦点をあてる。
本研究では,自己教師付き事前学習による未ラベル顔画像の学習戦略について検討する。
提案手法は,複数の顔認識ベンチマークにおける最先端技術よりも大幅に向上する。
論文 参考訳（メタデータ） (2024-03-13T01:07:55Z) - Self-Supervised Facial Representation Learning with Facial Region
Awareness [13.06996608324306]
自己教師付き事前学習は、様々な視覚的タスクに役立つ伝達可能な表現を学習するのに有効であることが証明されている。
この目標に向けての最近の取り組みは、各顔画像を全体として扱うことに限定されている。
本研究では,一貫したグローバルおよびローカルな顔表現を学習するための,自己教師型顔表現学習フレームワークを提案する。
論文 参考訳（メタデータ） (2024-03-04T15:48:56Z) - A Generalist FaceX via Learning Unified Facial Representation [77.74407008931486]
FaceXは、多様な顔タスクを同時に処理できる新しい顔ジェネラリストモデルである。
汎用的なFaceXは、一般的な顔編集タスクの精巧なタスク特化モデルと比較して、競争性能が向上する。
論文 参考訳（メタデータ） (2023-12-31T17:41:48Z) - Emotion Separation and Recognition from a Facial Expression by Generating the Poker Face with Vision Transformers [57.1091606948826]
我々はこれらの課題に対処するため,ポーカー・フェイス・ビジョン・トランスフォーマー (PF-ViT) と呼ばれる新しいFERモデルを提案する。
PF-ViTは、対応するポーカーフェースを生成して、乱れを認識できない感情を静的な顔画像から分離し、認識することを目的としている。
PF-ViTはバニラビジョントランスフォーマーを使用し、そのコンポーネントは大規模な表情データセット上でMasked Autoencodeerとして事前トレーニングされている。
論文 参考訳（メタデータ） (2022-07-22T13:39:06Z) - SynFace: Face Recognition with Synthetic Data [83.15838126703719]
我々は、ID混在(IM)とドメイン混在(DM)を併用したSynFaceを考案し、パフォーマンスギャップを緩和する。
また、合成顔画像の系統的実験分析を行い、合成データを顔認識に効果的に活用する方法についての知見を提供する。
論文 参考訳（メタデータ） (2021-08-18T03:41:54Z) - Learning Fair Face Representation With Progressive Cross Transformer [79.73754444296213]
フェアフェイス認識のためのプログレッシブクロストランス (PCT) 手法を提案する。
我々は,PCTが最先端FR性能を達成しつつ,顔認識におけるバイアスを軽減することができることを示した。
論文 参考訳（メタデータ） (2021-08-11T01:31:14Z) - LandmarkGAN: Synthesizing Faces from Landmarks [43.53204737135101]
顔のランドマークに基づいた顔合成を入力として行う新しい手法であるLandmarkGANについて述べる。
提案手法では,顔のランドマークの集合を異なる対象の新たな顔に変換することができるが,顔の表情や向きは同一である。
論文 参考訳（メタデータ） (2020-10-31T13:27:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。