Fugu-MT 論文翻訳(概要): HSEmotion Team at the 7th ABAW Challenge: Multi-Task Learning and Compound Facial Expression Recognition

論文の概要: HSEmotion Team at the 7th ABAW Challenge: Multi-Task Learning and Compound Facial Expression Recognition

arxiv url: http://arxiv.org/abs/2407.13184v1
Date: Thu, 18 Jul 2024 05:47:49 GMT
ステータス: 処理完了
システム内更新日: 2024-07-19 16:42:04.737783
Title: HSEmotion Team at the 7th ABAW Challenge: Multi-Task Learning and Compound Facial Expression Recognition
Title（参考訳）: HSEmotion Team at the 7th ABAW Challenge: Multi-Task Learning and Compound Facial Expression Recognition
Authors: Andrey V. Savchenko,
Abstract要約: HSEmotionチームは,第7回ABAW(Affective Behavior Analysis in-the-wild)コンペティションの2つの課題について報告する。マルチタスク設定で事前学習したフレームレベルの顔特徴抽出器に基づく効率的なパイプラインを提案する。ニューラルネットワークの軽量アーキテクチャを利用することで、私たちのテクニックのプライバシ意識を確保する。
参考スコア（独自算出の注目度）: 16.860963320038902
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In this paper, we describe the results of the HSEmotion team in two tasks of the seventh Affective Behavior Analysis in-the-wild (ABAW) competition, namely, multi-task learning for simultaneous prediction of facial expression, valence, arousal, and detection of action units, and compound expression recognition. We propose an efficient pipeline based on frame-level facial feature extractors pre-trained in multi-task settings to estimate valence-arousal and basic facial expressions given a facial photo. We ensure the privacy-awareness of our techniques by using the lightweight architectures of neural networks, such as MT-EmotiDDAMFN, MT-EmotiEffNet, and MT-EmotiMobileFaceNet, that can run even on a mobile device without the need to send facial video to a remote server. It was demonstrated that a significant step in improving the overall accuracy is the smoothing of neural network output scores using Gaussian or box filters. It was experimentally demonstrated that such a simple post-processing of predictions from simple blending of two top visual models improves the F1-score of facial expression recognition up to 7%. At the same time, the mean Concordance Correlation Coefficient (CCC) of valence and arousal is increased by up to 1.25 times compared to each model's frame-level predictions. As a result, our final performance score on the validation set from the multi-task learning challenge is 4.5 times higher than the baseline (1.494 vs 0.32).
Abstract（参考訳）: 本稿では,HSEmotionチームの結果を,第7回ABAW(Affective Behavior Analysis in the-wild)コンペティションの2つのタスク,すなわち,表情の同時予測のためのマルチタスク学習,原子価,覚醒,行動単位の検出,複合表現認識の2つのタスクで記述する。複数タスク設定で事前学習したフレームレベルの顔特徴抽出器をベースとした効率的なパイプラインを提案する。我々は,MT-EmotiDDAMFN,MT-EmotiEffNet,MT-EmotiMobileFaceNetなどのニューラルネットワークの軽量なアーキテクチャを用いて,遠隔サーバに顔映像を送ることなくモバイルデバイス上でも動作可能な手法のプライバシ意識を確保する。全体的な精度を改善するための重要なステップとして,ガウスフィルタやボックスフィルタを用いたニューラルネットワークの出力スコアの平滑化が示された。 2つの上位視覚モデルの単純なブレンディングによる予測の単純な後処理は、表情認識のF1スコアを最大7%向上させることを示した。同時に、各モデルのフレームレベルの予測に比べて、価と覚醒の平均一致相関係数(CCC)を最大1.25倍に向上させる。その結果,マルチタスク学習課題による検証結果の最終的な性能スコアは,ベースラインの4.5倍(1.494対0.32)であった。

関連論文リスト

HSEmotion Team at the 6th ABAW Competition: Facial Expressions, Valence-Arousal and Emotion Intensity Prediction [16.860963320038902]
我々は、下流タスクのためにニューラルネットワークを微調整することなく、信頼できる感情的特徴を抽出する訓練済みのディープモデルを使用することの可能性を検討する。我々は、マルチタスクシナリオで訓練されたMobileViT、MobileFaceNet、EfficientNet、DFNDAMアーキテクチャに基づいて、表情を認識するための軽量モデルをいくつか導入する。提案手法では,既存の非アンサンブル手法と比較して,検証セットの品質指標を大幅に改善する。
論文参考訳（メタデータ） (2024-03-18T09:08:41Z)
SwinFace: A Multi-task Transformer for Face Recognition, Expression Recognition, Age Estimation and Attribute Estimation [60.94239810407917]
本論文では,単一スウィントランスを用いた顔認識,表情認識,年齢推定,顔属性推定のための多目的アルゴリズムを提案する。複数のタスク間の競合に対処するため、マルチレベルチャネル注意(MLCA)モジュールをタスク固有の分析に統合する。実験の結果,提案したモデルでは顔の理解が良く,全てのタスクにおいて優れた性能が得られることがわかった。
論文参考訳（メタデータ） (2023-08-22T15:38:39Z)
CIAO! A Contrastive Adaptation Mechanism for Non-Universal Facial Expression Recognition [80.07590100872548]
本稿では、顔エンコーダの最後の層に異なるデータセットの特定の感情特性を適応させるメカニズムであるContrastive Inhibitory Adaptati On(CIAO)を提案する。 CIAOは、非常にユニークな感情表現を持つ6つの異なるデータセットに対して、表情認識性能が改善されている。
論文参考訳（メタデータ） (2022-08-10T15:46:05Z)
Affective Behaviour Analysis Using Pretrained Model with Facial Priori [22.885249372875727]
そこで本稿では,未ラベル顔画像に事前トレーニングしたMasked Auto-Encoder (MAE) を用いた顔情報の利用を提案する。また,MAE事前学習型視覚変換器(ViT)とAffectNet事前学習型CNNを組み合わせてマルチタスク感情認識を行う。
論文参考訳（メタデータ） (2022-07-24T07:28:08Z)
HSE-NN Team at the 4th ABAW Competition: Multi-task Emotion Recognition and Learning from Synthetic Images [7.056222499095849]
第4回ABAW(Affective Behavior Analysis in the-wild)コンペティションにおけるHSE-NNチームの結果を報告する。表情の同時認識のために,新しいマルチタスク効率ネットモデルを訓練する。その結果、MT-EmotiEffNetは単純なフィードフォワードニューラルネットワークに入力される視覚的特徴を抽出する。
論文参考訳（メタデータ） (2022-07-19T18:43:14Z)
Frame-level Prediction of Facial Expressions, Valence, Arousal and Action Units for Mobile Devices [7.056222499095849]
本稿では,AffectNetで事前学習した1つのEfficientNetモデルを用いて,顔の特徴を抽出し,フレームレベルの感情認識アルゴリズムを提案する。当社のアプローチは,モバイルデバイス上でのビデオ解析にも適用できる。
論文参考訳（メタデータ） (2022-03-25T03:53:27Z)
MViT: Mask Vision Transformer for Facial Expression Recognition in the wild [77.44854719772702]
野生における表情認識(FER)はコンピュータビジョンにおいて極めて困難な課題である。本研究ではまず,野生におけるFERのためのマスク・ビジョン・トランス (MViT) を提案する。我々のMViTはRAF-DBの最先端手法を88.62%、FERPlusを89.22%、AffectNet-7を64.57%で上回り、61.40%でAffectNet-8と同等の結果を得る。
論文参考訳（メタデータ） (2021-06-08T16:58:10Z)
Facial expression and attributes recognition based on multi-task learning of lightweight neural networks [9.162936410696409]
顔の識別と顔の属性の分類のための軽量畳み込みニューラルネットワークのマルチタスクトレーニングを検討する。顔の表情を予測するためには,これらのネットワークを微調整する必要がある。 MobileNet、EfficientNet、RexNetアーキテクチャに基づくいくつかのモデルが提示される。
論文参考訳（メタデータ） (2021-03-31T14:21:04Z)
The FaceChannel: A Fast & Furious Deep Neural Network for Facial Expression Recognition [71.24825724518847]
顔の表情の自動認識(FER)の最先端モデルは、非常に深いニューラルネットワークに基づいており、訓練には効果的だがかなり高価である。私たちは、一般的なディープニューラルネットワークよりもはるかに少ないパラメータを持つ軽量ニューラルネットワークであるFaceChannelを形式化します。我々は、私たちのモデルがFERの現在の最先端技術に匹敵するパフォーマンスを達成する方法を実証する。
論文参考訳（メタデータ） (2020-09-15T09:25:37Z)
Deep Multi-task Multi-label CNN for Effective Facial Attribute Classification [53.58763562421771]
DMM-CNN(ディープ・マルチタスク・マルチラベル・CNN)による効果的な顔属性分類(FAC)を提案する。具体的には、DMM-CNNは、2つの密接に関連するタスク(顔のランドマーク検出とFAC)を共同で最適化し、マルチタスク学習を活用することにより、FACの性能を向上させる。 2つの異なるネットワークアーキテクチャは2つの属性のグループの特徴を抽出するために設計され、トレーニング中に各顔属性に損失重みを自動的に割り当てる新しい動的重み付け方式が提案されている。
論文参考訳（メタデータ） (2020-02-10T12:34:16Z)
Learning to Augment Expressions for Few-shot Fine-grained Facial Expression Recognition [98.83578105374535]
顔表情データベースF2EDについて述べる。顔の表情は119人から54人まで、200万枚以上の画像が含まれている。実世界のシナリオでは,不均一なデータ分布やサンプルの欠如が一般的であるので,数発の表情学習の課題を評価する。顔画像合成のための統合されたタスク駆動型フレームワークであるComposeal Generative Adversarial Network (Comp-GAN) 学習を提案する。
論文参考訳（メタデータ） (2020-01-17T03:26:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。