論文の概要: Towards an objective characterization of an individual's facial
movements using Self-Supervised Person-Specific-Models
- arxiv url: http://arxiv.org/abs/2211.08279v1
- Date: Tue, 15 Nov 2022 16:30:24 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-16 15:10:00.504238
- Title: Towards an objective characterization of an individual's facial
movements using Self-Supervised Person-Specific-Models
- Title（参考訳）: 自己監督型人物特定モデルを用いた人物の顔運動の客観的特徴付け
- Authors: Yanis Tazi, Michael Berger, and Winrich A. Freiwald
- Abstract要約: 本稿では,他の顔の特徴とは無関係に顔の動きを学習するための新しい訓練手法を提案する。
個人毎の1つのモデルは、人のアイデンティティとは無関係に、顔の動きの埋め込みを抽出することを学ぶことができる。
このアプローチは、新しい個人に対して容易に拡張可能であり、一般化可能であるという量的および質的な証拠を提示する。
- 参考スコア（独自算出の注目度）: 0.3441021278275805
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Disentangling facial movements from other facial characteristics,
particularly from facial identity, remains a challenging task, as facial
movements display great variation between individuals. In this paper, we aim to
characterize individual-specific facial movements. We present a novel training
approach to learn facial movements independently of other facial
characteristics, focusing on each individual separately. We propose
self-supervised Person-Specific Models (PSMs), in which one model per
individual can learn to extract an embedding of the facial movements
independently of the person's identity and other structural facial
characteristics from unlabeled facial video. These models are trained using
encoder-decoder-like architectures. We provide quantitative and qualitative
evidence that a PSM learns a meaningful facial embedding that discovers
fine-grained movements otherwise not characterized by a General Model (GM),
which is trained across individuals and characterizes general patterns of
facial movements. We present quantitative and qualitative evidence that this
approach is easily scalable and generalizable for new individuals: facial
movements knowledge learned on a person can quickly and effectively be
transferred to a new person. Lastly, we propose a novel PSM using curriculum
temporal learning to leverage the temporal contiguity between video frames. Our
code, analysis details, and all pretrained models are available in Github and
Supplementary Materials.
- Abstract（参考訳）: 他の顔の特徴、特に顔の特徴から顔の動きを遠ざけることは難しい課題であり、顔の動きは個人間で大きな変化を示す。
本稿では,個々の顔の動きを特徴付けることを目的とする。
本研究では,他の顔の特徴と独立して顔の動きを学習する新たな訓練手法を提案する。
個人ごとの1つのモデルが、人物のアイデンティティや、ラベルなしの顔画像から、顔の動きの埋め込みを抽出することを学ぶことができる自己教師型個人特化モデル(PSMs)を提案する。
これらのモデルはエンコーダ・デコーダのようなアーキテクチャを使って訓練される。
一般モデル(GM)によって特徴付けられていない細粒度な動きを発見し,顔の動きの一般的なパターンを特徴付ける意味のある顔埋め込みをPSMが学習する,定量的かつ質的な証拠を提供する。
我々は,この手法が新しい個人にとって容易にスケーラブルで一般化できるという,定量的かつ質的な証拠を提示する: 人について学んだ顔の動きの知識は,迅速かつ効果的に新しい人に伝達できる。
最後に,映像フレーム間の時間的連続性を活用するために,カリキュラム時間学習を用いた新しいpsmを提案する。
私たちのコード、分析の詳細、および事前訓練済みのモデルはすべて、GithubとSupplementary Materialsで利用可能です。
関連論文リスト
- MimicTalk: Mimicking a personalized and expressive 3D talking face in minutes [74.82911268630463]
トーキングフェース生成(TFG)は、ターゲットアイデンティティーの顔をアニメーション化し、リアルなトーキングビデオを作成することを目的としている。
MimicTalkは、個人別TFGの効率性と堅牢性を改善するために、NeRFベースの個人非依存のジェネリックモデルから豊富な知識を活用する。
私たちのMimicTalkは、ビデオの品質、効率、表現性に関して、これまでのベースラインを超えていることが実験によって示されています。
論文 参考訳（メタデータ） (2024-10-09T10:12:37Z) - Diverse Code Query Learning for Speech-Driven Facial Animation [2.1779479916071067]
音声駆動型顔アニメーションは、所定の音声信号に従って唇同期3D音声を合成することを目的としている。
我々は,同一の音声信号に条件付された複数のサンプルを予測し,多様な顔のアニメーションに対処するために,サンプルの多様性を明示的に促すことを提案する。
論文 参考訳（メタデータ） (2024-09-27T21:15:21Z) - A Generalist FaceX via Learning Unified Facial Representation [77.74407008931486]
FaceXは、多様な顔タスクを同時に処理できる新しい顔ジェネラリストモデルである。
汎用的なFaceXは、一般的な顔編集タスクの精巧なタスク特化モデルと比較して、競争性能が向上する。
論文 参考訳（メタデータ） (2023-12-31T17:41:48Z) - VINECS: Video-based Neural Character Skinning [82.39776643541383]
ポーズ依存のスキン重みを持つ完全リップ文字を作成するための完全自動アプローチを提案する。
提案手法は高密度4Dスキャンに頼らず,最先端技術よりも優れていることを示す。
論文 参考訳（メタデータ） (2023-07-03T08:35:53Z) - CIAO! A Contrastive Adaptation Mechanism for Non-Universal Facial
Expression Recognition [80.07590100872548]
本稿では、顔エンコーダの最後の層に異なるデータセットの特定の感情特性を適応させるメカニズムであるContrastive Inhibitory Adaptati On(CIAO)を提案する。
CIAOは、非常にユニークな感情表現を持つ6つの異なるデータセットに対して、表情認識性能が改善されている。
論文 参考訳（メタデータ） (2022-08-10T15:46:05Z) - Mitigating Bias in Facial Analysis Systems by Incorporating Label
Diversity [4.089080285684415]
本研究では,顔の特徴の数学的定義に基づいて,主観的人間に基づくラベルと客観的アノテーションを組み合わせた新しい学習手法を提案する。
提案手法は,下流タスクの精度を高く保ちながら,意図しないバイアスを軽減できる。
論文 参考訳（メタデータ） (2022-04-13T13:17:27Z) - Learning Facial Representations from the Cycle-consistency of Face [23.23272327438177]
顔特徴の周期一貫性を自由監督信号として導入し、ラベルのない顔画像から顔の表情を学習する。
この学習は、顔の動きサイクルの制約とアイデンティティのサイクルの制約を重畳することによって実現される。
我々のアプローチは既存の手法と競合し、アンタングル表現に埋め込まれたリッチでユニークな情報を実証する。
論文 参考訳（メタデータ） (2021-08-07T11:30:35Z) - I Only Have Eyes for You: The Impact of Masks On Convolutional-Based
Facial Expression Recognition [78.07239208222599]
今回提案したFaceChannelがマスクを持つ人からの表情認識にどのように適応するかを評価します。
また、制約された社会的相互作用シナリオにおける顔の特徴の変化を学習し、組み合わせるためのFaceChannelの本質的な能力を示すために、特定の機能レベルの可視化も行います。
論文 参考訳（メタデータ） (2021-04-16T20:03:30Z) - Pre-training strategies and datasets for facial representation learning [58.8289362536262]
いくつかの顔分析タスクやデータセットに適用可能な普遍的な顔表現の探索方法を示す。
顔に適応する2つの大規模表現学習を体系的に検討する。
私たちの主な2つの発見は以下の通りです: 完全にインザワイルドな未処理データに対する教師なし事前トレーニングは一貫性を提供し、場合によっては大幅な精度向上をもたらします。
論文 参考訳（メタデータ） (2021-03-30T17:57:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。