論文の概要: Towards an objective characterization of an individual's facial
movements using Self-Supervised Person-Specific-Models
- arxiv url: http://arxiv.org/abs/2211.08279v1
- Date: Tue, 15 Nov 2022 16:30:24 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-16 15:10:00.504238
- Title: Towards an objective characterization of an individual's facial
movements using Self-Supervised Person-Specific-Models
- Title(参考訳): 自己監督型人物特定モデルを用いた人物の顔運動の客観的特徴付け
- Authors: Yanis Tazi, Michael Berger, and Winrich A. Freiwald
- Abstract要約: 本稿では,他の顔の特徴とは無関係に顔の動きを学習するための新しい訓練手法を提案する。
個人毎の1つのモデルは、人のアイデンティティとは無関係に、顔の動きの埋め込みを抽出することを学ぶことができる。
このアプローチは、新しい個人に対して容易に拡張可能であり、一般化可能であるという量的および質的な証拠を提示する。
- 参考スコア(独自算出の注目度): 0.3441021278275805
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Disentangling facial movements from other facial characteristics,
particularly from facial identity, remains a challenging task, as facial
movements display great variation between individuals. In this paper, we aim to
characterize individual-specific facial movements. We present a novel training
approach to learn facial movements independently of other facial
characteristics, focusing on each individual separately. We propose
self-supervised Person-Specific Models (PSMs), in which one model per
individual can learn to extract an embedding of the facial movements
independently of the person's identity and other structural facial
characteristics from unlabeled facial video. These models are trained using
encoder-decoder-like architectures. We provide quantitative and qualitative
evidence that a PSM learns a meaningful facial embedding that discovers
fine-grained movements otherwise not characterized by a General Model (GM),
which is trained across individuals and characterizes general patterns of
facial movements. We present quantitative and qualitative evidence that this
approach is easily scalable and generalizable for new individuals: facial
movements knowledge learned on a person can quickly and effectively be
transferred to a new person. Lastly, we propose a novel PSM using curriculum
temporal learning to leverage the temporal contiguity between video frames. Our
code, analysis details, and all pretrained models are available in Github and
Supplementary Materials.
- Abstract(参考訳): 他の顔の特徴、特に顔の特徴から顔の動きを遠ざけることは難しい課題であり、顔の動きは個人間で大きな変化を示す。
本稿では,個々の顔の動きを特徴付けることを目的とする。
本研究では,他の顔の特徴と独立して顔の動きを学習する新たな訓練手法を提案する。
個人ごとの1つのモデルが、人物のアイデンティティや、ラベルなしの顔画像から、顔の動きの埋め込みを抽出することを学ぶことができる自己教師型個人特化モデル(PSMs)を提案する。
これらのモデルはエンコーダ・デコーダのようなアーキテクチャを使って訓練される。
一般モデル(GM)によって特徴付けられていない細粒度な動きを発見し,顔の動きの一般的なパターンを特徴付ける意味のある顔埋め込みをPSMが学習する,定量的かつ質的な証拠を提供する。
我々は,この手法が新しい個人にとって容易にスケーラブルで一般化できるという,定量的かつ質的な証拠を提示する: 人について学んだ顔の動きの知識は,迅速かつ効果的に新しい人に伝達できる。
最後に,映像フレーム間の時間的連続性を活用するために,カリキュラム時間学習を用いた新しいpsmを提案する。
私たちのコード、分析の詳細、および事前訓練済みのモデルはすべて、GithubとSupplementary Materialsで利用可能です。
関連論文リスト
- A Generalist FaceX via Learning Unified Facial Representation [77.74407008931486]
FaceXは、多様な顔タスクを同時に処理できる新しい顔ジェネラリストモデルである。
汎用的なFaceXは、一般的な顔編集タスクの精巧なタスク特化モデルと比較して、競争性能が向上する。
論文 参考訳(メタデータ) (2023-12-31T17:41:48Z) - VINECS: Video-based Neural Character Skinning [82.39776643541383]
ポーズ依存のスキン重みを持つ完全リップ文字を作成するための完全自動アプローチを提案する。
提案手法は高密度4Dスキャンに頼らず,最先端技術よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-07-03T08:35:53Z) - Imitator: Personalized Speech-driven 3D Facial Animation [63.57811510502906]
State-of-the-artメソッドは、ターゲットアクターの顔トポロジを変形させ、ターゲットアクターのアイデンティティ固有の話し方や顔の慣用性を考慮せずに入力オーディオを同期させる。
本稿では,音声による表情合成手法であるImitatorについて述べる。
提案手法は,ターゲットアクターの発話スタイルを保ちながら,入力音声から時間的コヒーレントな表情を生成する。
論文 参考訳(メタデータ) (2022-12-30T19:00:02Z) - Domain-specific Learning of Multi-scale Facial Dynamics for Apparent
Personality Traits Prediction [3.19935268158731]
本稿では,新しい映像に基づく人格特徴認識手法を提案する。
本研究は,(1)人格関係の短期的顔行動の特徴を抽出する顔行動モデリングモジュール,(2)ビデオの短期的特徴をすべて長期的・ビデオレベルの人格表現として要約する顔行動モデリングモジュール,(3)全ての特徴間の関係をモデル化し,映像レベルの人格表現に基づいて共同で予測する人格特性予測モジュールからなる。
論文 参考訳(メタデータ) (2022-09-09T07:08:55Z) - CIAO! A Contrastive Adaptation Mechanism for Non-Universal Facial
Expression Recognition [80.07590100872548]
本稿では、顔エンコーダの最後の層に異なるデータセットの特定の感情特性を適応させるメカニズムであるContrastive Inhibitory Adaptati On(CIAO)を提案する。
CIAOは、非常にユニークな感情表現を持つ6つの異なるデータセットに対して、表情認識性能が改善されている。
論文 参考訳(メタデータ) (2022-08-10T15:46:05Z) - Mitigating Bias in Facial Analysis Systems by Incorporating Label
Diversity [4.089080285684415]
本研究では,顔の特徴の数学的定義に基づいて,主観的人間に基づくラベルと客観的アノテーションを組み合わせた新しい学習手法を提案する。
提案手法は,下流タスクの精度を高く保ちながら,意図しないバイアスを軽減できる。
論文 参考訳(メタデータ) (2022-04-13T13:17:27Z) - Learning Facial Representations from the Cycle-consistency of Face [23.23272327438177]
顔特徴の周期一貫性を自由監督信号として導入し、ラベルのない顔画像から顔の表情を学習する。
この学習は、顔の動きサイクルの制約とアイデンティティのサイクルの制約を重畳することによって実現される。
我々のアプローチは既存の手法と競合し、アンタングル表現に埋め込まれたリッチでユニークな情報を実証する。
論文 参考訳(メタデータ) (2021-08-07T11:30:35Z) - I Only Have Eyes for You: The Impact of Masks On Convolutional-Based
Facial Expression Recognition [78.07239208222599]
今回提案したFaceChannelがマスクを持つ人からの表情認識にどのように適応するかを評価します。
また、制約された社会的相互作用シナリオにおける顔の特徴の変化を学習し、組み合わせるためのFaceChannelの本質的な能力を示すために、特定の機能レベルの可視化も行います。
論文 参考訳(メタデータ) (2021-04-16T20:03:30Z) - Pre-training strategies and datasets for facial representation learning [58.8289362536262]
いくつかの顔分析タスクやデータセットに適用可能な普遍的な顔表現の探索方法を示す。
顔に適応する2つの大規模表現学習を体系的に検討する。
私たちの主な2つの発見は以下の通りです: 完全にインザワイルドな未処理データに対する教師なし事前トレーニングは一貫性を提供し、場合によっては大幅な精度向上をもたらします。
論文 参考訳(メタデータ) (2021-03-30T17:57:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。