論文の概要: Semi-supervised Facial Action Unit Intensity Estimation with Contrastive
Learning
- arxiv url: http://arxiv.org/abs/2011.01864v2
- Date: Wed, 4 Nov 2020 09:40:36 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-30 05:18:56.853766
- Title: Semi-supervised Facial Action Unit Intensity Estimation with Contrastive
Learning
- Title(参考訳): コントラスト学習による半教師付き顔動作単位強度推定
- Authors: Enrique Sanchez, Adrian Bulat, Anestis Zaganidis, Georgios
Tzimiropoulos
- Abstract要約: 提案手法では,手動でキーフレームを選択する必要はなく,2%の注釈付きフレームで最先端の結果を生成できる。
提案手法は, ランダムに選択したデータに対してわずか2%の費用で作業した場合に, 既存の手法よりも優れていることを実験的に検証した。
- 参考スコア(独自算出の注目度): 54.90704746573636
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper tackles the challenging problem of estimating the intensity of
Facial Action Units with few labeled images. Contrary to previous works, our
method does not require to manually select key frames, and produces
state-of-the-art results with as little as $2\%$ of annotated frames, which are
\textit{randomly chosen}. To this end, we propose a semi-supervised learning
approach where a spatio-temporal model combining a feature extractor and a
temporal module are learned in two stages. The first stage uses datasets of
unlabeled videos to learn a strong spatio-temporal representation of facial
behavior dynamics based on contrastive learning. To our knowledge we are the
first to build upon this framework for modeling facial behavior in an
unsupervised manner. The second stage uses another dataset of randomly chosen
labeled frames to train a regressor on top of our spatio-temporal model for
estimating the AU intensity. We show that although backpropagation through time
is applied only with respect to the output of the network for extremely sparse
and randomly chosen labeled frames, our model can be effectively trained to
estimate AU intensity accurately, thanks to the unsupervised pre-training of
the first stage. We experimentally validate that our method outperforms
existing methods when working with as little as $2\%$ of randomly chosen data
for both DISFA and BP4D datasets, without a careful choice of labeled frames, a
time-consuming task still required in previous approaches.
- Abstract(参考訳): 本稿では,ラベル付き画像が少ない顔行動単位の強度を推定する難題に対処する。
従来の作業とは対照的に、この手法ではキーフレームを手動で選択する必要はなく、注釈付きフレームを最大$2\%$で生成し、それは\textit{randomly select}である。
そこで本研究では,特徴抽出器と時間モジュールを組み合わせた時空間モデルが2段階学習される半教師付き学習手法を提案する。
第1段階では、ラベルのないビデオのデータセットを使用して、コントラスト学習に基づいて、顔の行動ダイナミクスの強い時空間的表現を学ぶ。
私たちの知る限りでは、顔の振る舞いを教師なしでモデル化するためのこのフレームワークを最初に構築しました。
第2段階では、ランダムに選択されたフレームのデータセットを使用して、当社の時空間モデル上で回帰器をトレーニングし、AU強度を推定します。
提案手法は,高度にスパースでランダムにラベル付けされたフレームに対して,ネットワークの出力に対してのみ時間によるバックプロパゲーションを適用するが,第1段階の教師なし事前学習により,AU強度を正確に推定する訓練を効果的に行うことができることを示す。
ラベル付きフレームを慎重に選択することなく,disFAとBP4Dの両方のデータセットに対してランダムに選択されたデータに対して,2\%のコストで作業する場合,既存の手法よりも優れていることを示す。
関連論文リスト
- FACTUAL: A Novel Framework for Contrastive Learning Based Robust SAR Image Classification [10.911464455072391]
FACTUALは、逆行訓練と堅牢なSAR分類のためのコントラストラーニングフレームワークである。
本モデルでは, 洗浄試料の99.7%, 摂動試料の89.6%の精度が得られた。
論文 参考訳(メタデータ) (2024-04-04T06:20:22Z) - Skeleton2vec: A Self-supervised Learning Framework with Contextualized
Target Representations for Skeleton Sequence [56.092059713922744]
予測対象として高レベルな文脈化機能を使用することで,優れた性能が得られることを示す。
具体的には、シンプルで効率的な3D行動表現学習フレームワークであるSkeleton2vecを提案する。
提案するSkeleton2vecは,従来の手法より優れ,最先端の結果が得られる。
論文 参考訳(メタデータ) (2024-01-01T12:08:35Z) - Self-Distilled Representation Learning for Time Series [45.51976109748732]
時系列データに対する自己教師型学習は、最近自然言語処理とコンピュータビジョンで発表されたものと類似した可能性を秘めている。
我々は,Data2vec自己蒸留フレームワークに基づく,概念的にシンプルだが強力な非競合的アプローチを提案する。
UCRやUEAのアーカイブやETTやElectricityのデータセットなど、最先端の自己教師型学習手法と比較して、下流タスクとして分類と予測を行うアプローチの競争力を実証する。
論文 参考訳(メタデータ) (2023-11-19T14:34:01Z) - Semi-Supervised Learning for hyperspectral images by non parametrically
predicting view assignment [25.198550162904713]
ハイパースペクトル画像(HSI)分類は、画像中のスペクトル情報が高いため、現在、多くの勢いを増している。
近年,ラベル付きサンプルを最小限に抑えたディープラーニングモデルを効果的に訓練するために,ラベル付きサンプルも自己教師付きおよび半教師付き設定で活用されている。
本研究では,半教師付き学習の概念を利用して,モデルの識別的自己教師型事前学習を支援する。
論文 参考訳(メタデータ) (2023-06-19T14:13:56Z) - Self-Supervised Representation Learning from Temporal Ordering of
Automated Driving Sequences [49.91741677556553]
本研究では、認識タスクのための地域レベルの特徴表現を事前学習するための時間順述前文タスクであるTempOを提案する。
我々は各フレームを、オブジェクト検出やトラッキングシステムにとって自然な表現である、未順序な特徴ベクトルのセットで埋め込む。
BDD100K、nu Images、MOT17データセットの大規模な評価は、私たちのTempO事前学習アプローチがシングルフレームの自己教師型学習方法よりも優れていることを示している。
論文 参考訳(メタデータ) (2023-02-17T18:18:27Z) - Learning from Temporal Spatial Cubism for Cross-Dataset Skeleton-based
Action Recognition [88.34182299496074]
アクションラベルはソースデータセットでのみ利用可能だが、トレーニング段階のターゲットデータセットでは利用できない。
我々は,2つの骨格に基づく行動データセット間の領域シフトを低減するために,自己スーパービジョン方式を利用する。
時間的セグメントや人体部分のセグメンテーションとパーフォーミングにより、我々は2つの自己教師あり学習分類タスクを設計する。
論文 参考訳(メタデータ) (2022-07-17T07:05:39Z) - Train No Evil: Selective Masking for Task-Guided Pre-Training [97.03615486457065]
一般的な事前学習と微調整の間を選択的にマスキングするタスク誘導事前学習段階を付加した3段階のフレームワークを提案する。
提案手法は,50%未満のコストで同等あるいはさらに優れた性能が得られることを示す。
論文 参考訳(メタデータ) (2020-04-21T03:14:22Z) - Fast Template Matching and Update for Video Object Tracking and
Segmentation [56.465510428878]
私たちが取り組もうとしている主な課題は、フレームの列にまたがるマルチインスタンスの半教師付きビデオオブジェクトセグメンテーションである。
課題は、結果を予測するためのマッチングメソッドの選択と、ターゲットテンプレートを更新するかどうかを決定することである。
本稿では,これら2つの決定を同時に行うために,強化学習を利用する新しい手法を提案する。
論文 参考訳(メタデータ) (2020-04-16T08:58:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。