論文の概要: Multi-Modal Facial Expression Recognition with Transformer-Based Fusion
Networks and Dynamic Sampling
- arxiv url: http://arxiv.org/abs/2303.08419v1
- Date: Wed, 15 Mar 2023 07:40:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2023-03-16 14:38:37.718145
- Title: Multi-Modal Facial Expression Recognition with Transformer-Based Fusion
Networks and Dynamic Sampling
- Title（参考訳）: トランスフォーマー型フュージョンネットワークと動的サンプリングを用いたマルチモーダル表情認識
- Authors: Jun-Hwa Kim, Namho Kim, Chee Sun Won
- Abstract要約: 表情認識では、静止画像とともに音声情報を組み込むことで、表情状態をより包括的に理解することができる。
そこで我々は,モーダル・フュージョン・モジュール (MFM) を提案する。
我々のアプローチは、トレーニングデータセットにおけるデータ再サンプリングを通じてデータセットの不均衡にも対処し、単一のフレームでリッチなモーダルを活用する。
- 参考スコア（独自算出の注目度）: 1.983814021949464
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Facial expression recognition is important for various purpose such as
emotion detection, mental health analysis, and human-machine interaction. In
facial expression recognition, incorporating audio information along with still
images can provide a more comprehensive understanding of an expression state.
This paper presents the Multi-modal facial expression recognition methods for
Affective Behavior in-the-wild (ABAW) challenge at CVPR 2023. We propose a
Modal Fusion Module (MFM) to fuse audio-visual information. The modalities used
are image and audio, and features are extracted based on Swin Transformer to
forward the MFM. Our approach also addresses imbalances in the dataset through
data resampling in training dataset and leverages the rich modal in a single
frame using dynmaic data sampling, leading to improved performance.
- Abstract（参考訳）: 表情認識は、感情検出、メンタルヘルス分析、人間と機械の相互作用といった様々な目的において重要である。
表情認識では、静止画像とともに音声情報を取り入れることで、表情状態のより包括的な理解が可能になる。
本稿では,CVPR 2023におけるABAW(Affective Behavior in the-wild)課題に対するマルチモーダル表情認識手法を提案する。
本稿では,視聴覚情報を融合するmodal fusion module (mfm)を提案する。
モダリティは画像とオーディオであり、特徴はMFMを転送するためにSwin Transformerに基づいて抽出される。
トレーニングデータセットにおけるデータ再サンプリングによるデータセットの不均衡にも対処し,dynmaicデータサンプリングを用いた単一フレームのリッチモーダルを活用することで,パフォーマンスの向上を実現した。
関連論文リスト
- Milmer: a Framework for Multiple Instance Learning based Multimodal Emotion Recognition [16.616341358877243]
本研究は,表情解析と脳波信号の統合による感情認識の課題に対処する。
提案するフレームワークは、視覚的および生理的モダリティを効果的に統合するために、トランスフォーマーベースの融合アプローチを採用している。
この研究の重要な革新は、複数の表情画像から意味のある情報を抽出する多重インスタンス学習(MIL)アプローチの採用である。
論文 参考訳（メタデータ） (2025-02-01T20:32:57Z) - Speech2UnifiedExpressions: Synchronous Synthesis of Co-Speech Affective Face and Body Expressions from Affordable Inputs [67.27840327499625]
本稿では,デジタル文字の表情と上半身ジェスチャーを同時に合成するマルチモーダル学習手法を提案する。
提案手法は, 映像データから直接推定される, まばらな顔のランドマークと上体関節から学習し, もっともらしい感情的性格運動を生成する。
論文 参考訳（メタデータ） (2024-06-26T04:53:11Z) - From Static to Dynamic: Adapting Landmark-Aware Image Models for Facial Expression Recognition in Videos [88.08209394979178]
野生における動的表情認識(DFER)は、データ制限によって依然として妨げられている。
抽出された顔のランドマーク認識機能に暗黙的に符号化された既存のSFER知識と動的情報を活用する新しい静的・動的モデル(S2D)を提案する。
論文 参考訳（メタデータ） (2023-12-09T03:16:09Z) - Cooperative Dual Attention for Audio-Visual Speech Enhancement with
Facial Cues [80.53407593586411]
頑健な音声音声強調(AVSE)のための唇領域を超えて顔の手がかりを活用することに注力する。
本稿では,音声関連情報を無視し,音声関連情報を顔の手がかりで捉え,AVSEの音声信号と動的に統合するDual Attention Cooperative Framework(DualAVSE)を提案する。
論文 参考訳（メタデータ） (2023-11-24T04:30:31Z) - Interpretable Multimodal Emotion Recognition using Facial Features and
Physiological Signals [16.549488750320336]
視覚的な顔の特徴や、入力ビデオから抽出したr信号から情報を融合することで、感情理解のためのマルチモーダルフレームワークを導入する。
置換重要度分析に基づく解釈可能性技術も実装されている。
論文 参考訳（メタデータ） (2023-06-05T12:57:07Z) - Emotion Separation and Recognition from a Facial Expression by Generating the Poker Face with Vision Transformers [57.1091606948826]
我々はこれらの課題に対処するため,ポーカー・フェイス・ビジョン・トランスフォーマー (PF-ViT) と呼ばれる新しいFERモデルを提案する。
PF-ViTは、対応するポーカーフェースを生成して、乱れを認識できない感情を静的な顔画像から分離し、認識することを目的としている。
PF-ViTはバニラビジョントランスフォーマーを使用し、そのコンポーネントは大規模な表情データセット上でMasked Autoencodeerとして事前トレーニングされている。
論文 参考訳（メタデータ） (2022-07-22T13:39:06Z) - Facial Expression Recognition with Swin Transformer [1.983814021949464]
本稿では,Aff-Wild2 Expression データセットの帯域内音声視覚データセットに対して,Swin トランスフォーマーに基づく表情表現手法を提案する。
具体的には、マルチモーダルな情報を表情認識に融合させるために、音声・視覚ビデオに3ストリームネットワークを用いる。
論文 参考訳（メタデータ） (2022-03-25T06:42:31Z) - Transformer-based Multimodal Information Fusion for Facial Expression
Analysis [10.548915939047305]
CVPR2022 Competition on Affective Behavior Analysis in-wild (ABAW) において,4つの競争課題を定義した。
利用可能なマルチモーダル情報は、ビデオにおける音声語、音声韻律、および視覚表現から構成される。
本研究は,上記マルチモーダル情報の融合を実現するために,トランスフォーマーをベースとした4つのネットワークフレームワークを提案する。
論文 参考訳（メタデータ） (2022-03-23T12:38:50Z) - Multimodal Emotion Recognition using Transfer Learning from Speaker
Recognition and BERT-based models [53.31917090073727]
本稿では,音声とテキストのモダリティから,伝達学習モデルと微調整モデルとを融合したニューラルネットワークによる感情認識フレームワークを提案する。
本稿では,対話型感情的モーションキャプチャー・データセットにおけるマルチモーダル・アプローチの有効性を評価する。
論文 参考訳（メタデータ） (2022-02-16T00:23:42Z) - SynFace: Face Recognition with Synthetic Data [83.15838126703719]
我々は、ID混在(IM)とドメイン混在(DM)を併用したSynFaceを考案し、パフォーマンスギャップを緩和する。
また、合成顔画像の系統的実験分析を行い、合成データを顔認識に効果的に活用する方法についての知見を提供する。
論文 参考訳（メタデータ） (2021-08-18T03:41:54Z) - MAFER: a Multi-resolution Approach to Facial Expression Recognition [9.878384185493623]
そこで本稿では,表情認識に携わる深層学習モデルを訓練するための2段階学習手法であるMAFERを提案する。
MAFERの関連する特徴は、タスクに依存しない、すなわち、他の客観的関連技術に補完的に使用できることである。
論文 参考訳（メタデータ） (2021-05-06T07:26:58Z) - A Multi-resolution Approach to Expression Recognition in the Wild [9.118706387430883]
顔認識タスクを解決するためのマルチリゾリューション手法を提案する。
私たちは、しばしば異なる解像度で画像が取得されるという観察を直感的に根拠としています。
我々は、Affect-in-the-Wild 2データセットに基づいてトレーニングされたSqueeze-and-Excitationブロックを備えたResNetのようなアーキテクチャを使用する。
論文 参考訳（メタデータ） (2021-03-09T21:21:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。