論文の概要: Micro-Expression Recognition Based on Attribute Information Embedding and Cross-modal Contrastive Learning

• arxiv url: http://arxiv.org/abs/2205.14643v1
• Date: Sun, 29 May 2022 12:28:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-31 13:24:07.116051
• Title: Micro-Expression Recognition Based on Attribute Information Embedding and Cross-modal Contrastive Learning
• Title（参考訳）: 属性情報埋め込みとクロスモーダルコントラスト学習に基づくマイクロ表現認識
• Authors: Yanxin Song, Jianzong Wang, Tianbo Wu, Zhangcheng Huang, Jing Xiao
• Abstract要約: 本稿では,属性情報埋め込みとクロスモーダルコントラスト学習に基づくマイクロ圧縮認識手法を提案する。 我々はCASME II と MMEW データベースで広範な実験を行い、精度はそれぞれ77.82% と 71.04% である。
• 参考スコア（独自算出の注目度）: 22.525295392858293
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Facial micro-expressions recognition has attracted much attention recently. Micro-expressions have the characteristics of short duration and low intensity, and it is difficult to train a high-performance classifier with the limited number of existing micro-expressions. Therefore, recognizing micro-expressions is a challenge task. In this paper, we propose a micro-expression recognition method based on attribute information embedding and cross-modal contrastive learning. We use 3D CNN to extract RGB features and FLOW features of micro-expression sequences and fuse them, and use BERT network to extract text information in Facial Action Coding System. Through cross-modal contrastive loss, we embed attribute information in the visual network, thereby improving the representation ability of micro-expression recognition in the case of limited samples. We conduct extensive experiments in CASME II and MMEW databases, and the accuracy is 77.82% and 71.04%, respectively. The comparative experiments show that this method has better recognition effect than other methods for micro-expression recognition.
• Abstract（参考訳）: 顔のマイクロ表現認識は近年注目されている。 マイクロエクスプレッションは短寿命・低強度の特徴を持ち,既存のマイクロエクスプレッションの数が限られている高性能分類器の訓練は困難である。 したがって、マイクロ表現の認識は課題である。 本稿では,属性情報埋め込みとクロスモーダルコントラスト学習に基づくマイクロ表現認識手法を提案する。 3d cnnを用いて,マイクロ表現シーケンスのrgb特徴とフロー特徴を抽出し,それらを融合し,bert networkを用いて顔行動符号化システムにおけるテキスト情報を抽出する。 クロスモーダルコントラスト損失により,視覚ネットワークに属性情報を埋め込み,限られたサンプルの場合のマイクロ表現認識の表現能力を向上させる。 我々はCASME II と MMEW データベースで広範な実験を行い、精度はそれぞれ77.82% と 71.04% である。 比較実験により、この手法は他のマイクロ表現認識法よりも優れた認識効果を示す。

関連論文リスト

• Three-Stream Temporal-Shift Attention Network Based on Self-Knowledge Distillation for Micro-Expression Recognition [21.675660978188617]
  ミクロな表現認識は、犯罪分析や心理療法など、多くの分野で重要である。 本稿では,SKD-TSTSANと呼ばれる自己知識蒸留に基づく3ストリーム時間シフトアテンションネットワークを提案する。
  論文  参考訳（メタデータ） (2024-06-25T13:22:22Z)
• Adaptive Temporal Motion Guided Graph Convolution Network for Micro-expression Recognition [48.21696443824074]
  ATM-GCN(Adaptive Temporal Motion Guided Graph Convolution Network)と呼ばれる,マイクロ圧縮認識のための新しいフレームワークを提案する。 本フレームワークは,クリップ全体のフレーム間の時間的依存関係の把握に優れ,クリップレベルでのマイクロ圧縮認識が向上する。
  論文  参考訳（メタデータ） (2024-06-13T10:57:24Z)
• From Macro to Micro: Boosting micro-expression recognition via pre-training on macro-expression videos [9.472210792839023]
  マイクロ圧縮認識(MER)は、インテリジェント医療や嘘検出に応用される可能性があるため、近年注目を集めている。 我々は、textbfMAcro-expression textbfTO textbfMIcro-expression (MA2MI) と呼ばれる一般化トランスファー学習パラダイムを提案する。 我々のパラダイムでは、ネットワークは将来のフレームを再構築することで、微妙な顔の動きを表現する能力を学ぶことができる。
  論文  参考訳（メタデータ） (2024-05-26T06:42:06Z)
• GPT as Psychologist? Preliminary Evaluations for GPT-4V on Visual Affective Computing [74.68232970965595]
  MLLM(Multimodal large language model)は、テキスト、音声、画像、ビデオなどの複数のソースからの情報を処理し、統合するように設計されている。 本稿では、視覚的情緒的タスクと推論タスクにまたがる5つの重要な能力を持つMLLMの適用性を評価する。
  論文  参考訳（メタデータ） (2024-03-09T13:56:25Z)
• Improving Vision Anomaly Detection with the Guidance of Language Modality [64.53005837237754]
  本稿では,マルチモーダルの観点から視覚モダリティの課題に取り組む。 本稿では,冗長な情報問題とスパース空間問題に対処するために,クロスモーダルガイダンス(CMG)を提案する。 視覚異常検出のためのよりコンパクトな潜在空間を学習するために、CMLEは言語モダリティから相関構造行列を学習する。
  論文  参考訳（メタデータ） (2023-10-04T13:44:56Z)
• Person Recognition using Facial Micro-Expressions with Deep Learning [0.41998444721319217]
  本研究では,空間的意味論と動きを時間分解能で捉えるための深層学習手法を提案する。 広く使われている3つのマイクロ圧縮データベースの実験は、既存のベンチマークと比較して識別精度が顕著に向上したことを示している。
  論文  参考訳（メタデータ） (2023-06-24T08:57:15Z)
• Video-based Facial Micro-Expression Analysis: A Survey of Datasets, Features and Algorithms [52.58031087639394]
  マイクロ表現は不随意かつ過渡的な表情である。 嘘検出や犯罪検出など、幅広い応用において重要な情報を提供することができる。 マイクロ表現は過渡的で低強度であるため、検出と認識は困難であり、専門家の経験に大きく依存する。
  論文  参考訳（メタデータ） (2022-01-30T05:14:13Z)
• Short and Long Range Relation Based Spatio-Temporal Transformer for Micro-Expression Recognition [61.374467942519374]
  我々は,マイクロ圧縮認識のための最初の純粋トランスフォーマーベースアプローチである,新しいアテンポ的トランスフォーマーアーキテクチャを提案する。 空間パターンを学習する空間エンコーダと、時間的分析のための時間的次元分類と、ヘッドとを備える。 広範に使用されている3つの自発的マイクロ圧縮データセットに対する総合的な評価は,提案手法が一貫して芸術の状態を上回っていることを示している。
  論文  参考訳（メタデータ） (2021-12-10T22:10:31Z)
• Progressive Spatio-Temporal Bilinear Network with Monte Carlo Dropout for Landmark-based Facial Expression Recognition with Uncertainty Estimation [93.73198973454944]
  提案手法の性能は, 広く使用されている3つのデータセットで評価される。 ビデオベースの最先端の手法に匹敵するが、複雑さははるかに少ない。
  論文  参考訳（メタデータ） (2021-06-08T13:40:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。