論文の概要: Micro-Expression Recognition Based on Attribute Information Embedding
and Cross-modal Contrastive Learning
- arxiv url: http://arxiv.org/abs/2205.14643v1
- Date: Sun, 29 May 2022 12:28:10 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-31 13:24:07.116051
- Title: Micro-Expression Recognition Based on Attribute Information Embedding
and Cross-modal Contrastive Learning
- Title(参考訳): 属性情報埋め込みとクロスモーダルコントラスト学習に基づくマイクロ表現認識
- Authors: Yanxin Song, Jianzong Wang, Tianbo Wu, Zhangcheng Huang, Jing Xiao
- Abstract要約: 本稿では,属性情報埋め込みとクロスモーダルコントラスト学習に基づくマイクロ圧縮認識手法を提案する。
我々はCASME II と MMEW データベースで広範な実験を行い、精度はそれぞれ77.82% と 71.04% である。
- 参考スコア(独自算出の注目度): 22.525295392858293
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Facial micro-expressions recognition has attracted much attention recently.
Micro-expressions have the characteristics of short duration and low intensity,
and it is difficult to train a high-performance classifier with the limited
number of existing micro-expressions. Therefore, recognizing micro-expressions
is a challenge task. In this paper, we propose a micro-expression recognition
method based on attribute information embedding and cross-modal contrastive
learning. We use 3D CNN to extract RGB features and FLOW features of
micro-expression sequences and fuse them, and use BERT network to extract text
information in Facial Action Coding System. Through cross-modal contrastive
loss, we embed attribute information in the visual network, thereby improving
the representation ability of micro-expression recognition in the case of
limited samples. We conduct extensive experiments in CASME II and MMEW
databases, and the accuracy is 77.82% and 71.04%, respectively. The comparative
experiments show that this method has better recognition effect than other
methods for micro-expression recognition.
- Abstract(参考訳): 顔のマイクロ表現認識は近年注目されている。
マイクロエクスプレッションは短寿命・低強度の特徴を持ち,既存のマイクロエクスプレッションの数が限られている高性能分類器の訓練は困難である。
したがって、マイクロ表現の認識は課題である。
本稿では,属性情報埋め込みとクロスモーダルコントラスト学習に基づくマイクロ表現認識手法を提案する。
3d cnnを用いて,マイクロ表現シーケンスのrgb特徴とフロー特徴を抽出し,それらを融合し,bert networkを用いて顔行動符号化システムにおけるテキスト情報を抽出する。
クロスモーダルコントラスト損失により,視覚ネットワークに属性情報を埋め込み,限られたサンプルの場合のマイクロ表現認識の表現能力を向上させる。
我々はCASME II と MMEW データベースで広範な実験を行い、精度はそれぞれ77.82% と 71.04% である。
比較実験により、この手法は他のマイクロ表現認識法よりも優れた認識効果を示す。
関連論文リスト
- GPT as Psychologist? Preliminary Evaluations for GPT-4V on Visual
Affective Computing [76.22275262399378]
マルチモーダル言語モデル(MLM)は、テキスト、音声、画像、ビデオなどの複数のソースからの情報を処理、統合するために設計されている。
本稿では、視覚的情緒的タスクと推論タスクにまたがる5つの重要な能力を持つインクリングの適用性を評価する。
GPT4は、顔表情認識性能が正確でないにもかかわらず、顔動作単位認識と微小表現検出において高い精度を有する。
論文 参考訳(メタデータ) (2024-03-09T13:56:25Z) - Improving Vision Anomaly Detection with the Guidance of Language
Modality [64.53005837237754]
本稿では,マルチモーダルの観点から視覚モダリティの課題に取り組む。
本稿では,冗長な情報問題とスパース空間問題に対処するために,クロスモーダルガイダンス(CMG)を提案する。
視覚異常検出のためのよりコンパクトな潜在空間を学習するために、CMLEは言語モダリティから相関構造行列を学習する。
論文 参考訳(メタデータ) (2023-10-04T13:44:56Z) - Person Recognition using Facial Micro-Expressions with Deep Learning [0.41998444721319217]
本研究では,空間的意味論と動きを時間分解能で捉えるための深層学習手法を提案する。
広く使われている3つのマイクロ圧縮データベースの実験は、既存のベンチマークと比較して識別精度が顕著に向上したことを示している。
論文 参考訳(メタデータ) (2023-06-24T08:57:15Z) - Multi-scale multi-modal micro-expression recognition algorithm based on
transformer [17.980579727286518]
マイクロ・エクスプレッション(micro-expression)は、人々が隠そうとする真の感情を明らかにする、自然に無意識の顔面筋運動である。
マイクロ表現の局所的多粒度特徴を学習するためのトランスフォーマーネットワークに基づくマルチモーダルマルチスケールアルゴリズムを提案する。
その結果、単一測定SMICデータベースにおける提案アルゴリズムの精度は78.73%、組合せデータベースのCASMEII上のF1値は最大0.9071であることがわかった。
論文 参考訳(メタデータ) (2023-01-08T03:45:23Z) - Three-dimensional microstructure generation using generative adversarial
neural networks in the context of continuum micromechanics [77.34726150561087]
本研究は, 三次元マイクロ構造生成に適した生成対向ネットワークを提案する。
軽量アルゴリズムは、明示的な記述子を必要とせずに、単一のmicroCTスキャンから材料の基礎特性を学習することができる。
論文 参考訳(メタデータ) (2022-05-31T13:26:51Z) - Transferring Dual Stochastic Graph Convolutional Network for Facial
Micro-expression Recognition [7.62031665958404]
本稿では,2つのグラフ畳み込みネットワーク(GCN)モデルについて述べる。
マイクロ圧縮画像からより識別性の高い特徴を抽出するグラフ構築法と二重グラフ畳み込みネットワークを提案する。
提案手法は,最近リリースされたMMEWベンチマークの最先端性能を実現する。
論文 参考訳(メタデータ) (2022-03-10T07:41:18Z) - Video-based Facial Micro-Expression Analysis: A Survey of Datasets,
Features and Algorithms [52.58031087639394]
マイクロ表現は不随意かつ過渡的な表情である。
嘘検出や犯罪検出など、幅広い応用において重要な情報を提供することができる。
マイクロ表現は過渡的で低強度であるため、検出と認識は困難であり、専門家の経験に大きく依存する。
論文 参考訳(メタデータ) (2022-01-30T05:14:13Z) - Short and Long Range Relation Based Spatio-Temporal Transformer for
Micro-Expression Recognition [61.374467942519374]
我々は,マイクロ圧縮認識のための最初の純粋トランスフォーマーベースアプローチである,新しいアテンポ的トランスフォーマーアーキテクチャを提案する。
空間パターンを学習する空間エンコーダと、時間的分析のための時間的次元分類と、ヘッドとを備える。
広範に使用されている3つの自発的マイクロ圧縮データセットに対する総合的な評価は,提案手法が一貫して芸術の状態を上回っていることを示している。
論文 参考訳(メタデータ) (2021-12-10T22:10:31Z) - Progressive Spatio-Temporal Bilinear Network with Monte Carlo Dropout
for Landmark-based Facial Expression Recognition with Uncertainty Estimation [93.73198973454944]
提案手法の性能は, 広く使用されている3つのデータセットで評価される。
ビデオベースの最先端の手法に匹敵するが、複雑さははるかに少ない。
論文 参考訳(メタデータ) (2021-06-08T13:40:30Z) - Micro-Facial Expression Recognition Based on Deep-Rooted Learning
Algorithm [0.0]
本稿では,MFEDRL(Micro-Facial Expression Based Deep-Rooted Learning)分類器を提案する。
アルゴリズムの性能は認識率と偽測度を用いて評価する。
論文 参考訳(メタデータ) (2020-09-12T12:23:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。