論文の概要: MMNet: Muscle motion-guided network for micro-expression recognition
- arxiv url: http://arxiv.org/abs/2201.05297v1
- Date: Fri, 14 Jan 2022 04:05:49 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-17 15:01:34.057173
- Title: MMNet: Muscle motion-guided network for micro-expression recognition
- Title(参考訳): MMNet:マイクロ圧縮認識のための筋運動誘導ネットワーク
- Authors: Hanting Li, Mingzhe Sui, Zhaoqing Zhu, Feng Zhao
- Abstract要約: 筋運動誘導ネットワーク(MMNet)という,ロバストなマイクロ圧縮認識フレームワークを提案する。
具体的には,局所的な微妙な筋運動パターンを識別情報が少なくモデル化することに焦点を当てた連続的注意ブロック(CA)を導入する。
我々の手法は最先端の手法よりも大きなマージンで優れている。
- 参考スコア(独自算出の注目度): 2.032432845751978
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Facial micro-expressions (MEs) are involuntary facial motions revealing
peoples real feelings and play an important role in the early intervention of
mental illness, the national security, and many human-computer interaction
systems. However, existing micro-expression datasets are limited and usually
pose some challenges for training good classifiers. To model the subtle facial
muscle motions, we propose a robust micro-expression recognition (MER)
framework, namely muscle motion-guided network (MMNet). Specifically, a
continuous attention (CA) block is introduced to focus on modeling local subtle
muscle motion patterns with little identity information, which is different
from most previous methods that directly extract features from complete video
frames with much identity information. Besides, we design a position
calibration (PC) module based on the vision transformer. By adding the position
embeddings of the face generated by PC module at the end of the two branches,
the PC module can help to add position information to facial muscle motion
pattern features for the MER. Extensive experiments on three public
micro-expression datasets demonstrate that our approach outperforms
state-of-the-art methods by a large margin.
- Abstract(参考訳): 顔のマイクロ・エクスプレッション(ME)は、人々の本当の感情を明らかにする不随意の顔の動きであり、精神疾患の早期介入、国家安全保障、および多くの人間とコンピュータの相互作用システムにおいて重要な役割を果たす。
しかし、既存のマイクロ圧縮データセットは限定的であり、通常は優れた分類器の訓練にいくつかの課題をもたらす。
顔面筋の微妙な運動をモデル化するために,ロバストなマイクロ表現認識(mer)フレームワーク,すなわち筋運動誘導ネットワーク(mmnet)を提案する。
特に、連続注意ブロックは、身元情報が少ない局所的な微妙な筋肉運動パターンのモデル化に焦点をあてるが、これは、多くの身元情報を持つ完全なビデオフレームから特徴を直接抽出する従来の方法と異なる。
また,視覚トランスフォーマに基づいて位置校正(pc)モジュールを設計する。
2つの枝の端にPCモジュールによって生成された顔の位置埋め込みを追加することで、PCモジュールはMERの顔面筋運動パターンの特徴に位置情報を追加するのに役立つ。
3つの公開マイクロ表現データセットに関する広範な実験は、我々のアプローチが最先端のメソッドよりも大きなマージンで優れていることを示している。
関連論文リスト
- Micro-Expression Recognition by Motion Feature Extraction based on Pre-training [6.015288149235598]
マイクロ圧縮認識タスクのための新しい動き抽出戦略(MoExt)を提案する。
MoExtでは、まず、開始フレームと頂点フレームから形状特徴とテクスチャ特徴を分離して抽出し、その後、両方のフレームの形状特徴に基づいてMEに関連する運動特徴を抽出する。
提案手法の有効性を3つの一般的なデータセットで検証した。
論文 参考訳(メタデータ) (2024-07-10T03:51:34Z) - Three-Stream Temporal-Shift Attention Network Based on Self-Knowledge Distillation for Micro-Expression Recognition [21.675660978188617]
ミクロな表現認識は、犯罪分析や心理療法など、多くの分野で重要である。
本稿では,SKD-TSTSANと呼ばれる自己知識蒸留に基づく3ストリーム時間シフトアテンションネットワークを提案する。
論文 参考訳(メタデータ) (2024-06-25T13:22:22Z) - Adaptive Temporal Motion Guided Graph Convolution Network for Micro-expression Recognition [48.21696443824074]
ATM-GCN(Adaptive Temporal Motion Guided Graph Convolution Network)と呼ばれる,マイクロ圧縮認識のための新しいフレームワークを提案する。
本フレームワークは,クリップ全体のフレーム間の時間的依存関係の把握に優れ,クリップレベルでのマイクロ圧縮認識が向上する。
論文 参考訳(メタデータ) (2024-06-13T10:57:24Z) - From Macro to Micro: Boosting micro-expression recognition via pre-training on macro-expression videos [9.472210792839023]
マイクロ圧縮認識(MER)は、インテリジェント医療や嘘検出に応用される可能性があるため、近年注目を集めている。
我々は、textbfMAcro-expression textbfTO textbfMIcro-expression (MA2MI) と呼ばれる一般化トランスファー学習パラダイムを提案する。
我々のパラダイムでは、ネットワークは将来のフレームを再構築することで、微妙な顔の動きを表現する能力を学ぶことができる。
論文 参考訳(メタデータ) (2024-05-26T06:42:06Z) - Facial Prior Based First Order Motion Model for Micro-expression
Generation [11.27890186026442]
本稿では,マイクロ圧縮生成と呼ばれる新しいタスクの定式化を試みる。
ファーストオーダーのモーションモデルと顔の事前知識を組み合わせる。
対象の顔が与えられた場合、原動画の動きパターンに応じて、顔を動かしてマイクロ圧縮ビデオを生成する。
論文 参考訳(メタデータ) (2023-08-08T18:57:03Z) - Multi-Stage Spatio-Temporal Aggregation Transformer for Video Person
Re-identification [78.08536797239893]
本稿では,2つの新しいプロキシ埋め込みモジュールを設計したMSTAT(Multi-Stage Space-Temporal Aggregation Transformer)を提案する。
MSTATは、属性関連、アイデンティティ関連、および属性関連情報をビデオクリップからエンコードする3つのステージから構成される。
MSTATは様々な標準ベンチマークで最先端の精度を達成できることを示す。
論文 参考訳(メタデータ) (2023-01-02T05:17:31Z) - Video-based Facial Micro-Expression Analysis: A Survey of Datasets,
Features and Algorithms [52.58031087639394]
マイクロ表現は不随意かつ過渡的な表情である。
嘘検出や犯罪検出など、幅広い応用において重要な情報を提供することができる。
マイクロ表現は過渡的で低強度であるため、検出と認識は困難であり、専門家の経験に大きく依存する。
論文 参考訳(メタデータ) (2022-01-30T05:14:13Z) - Short and Long Range Relation Based Spatio-Temporal Transformer for
Micro-Expression Recognition [61.374467942519374]
我々は,マイクロ圧縮認識のための最初の純粋トランスフォーマーベースアプローチである,新しいアテンポ的トランスフォーマーアーキテクチャを提案する。
空間パターンを学習する空間エンコーダと、時間的分析のための時間的次元分類と、ヘッドとを備える。
広範に使用されている3つの自発的マイクロ圧縮データセットに対する総合的な評価は,提案手法が一貫して芸術の状態を上回っていることを示している。
論文 参考訳(メタデータ) (2021-12-10T22:10:31Z) - Pose-Controllable Talking Face Generation by Implicitly Modularized
Audio-Visual Representation [96.66010515343106]
ポーズ制御可能な発話顔を生成するためのクリーンで効果的なフレームワークを提案する。
我々は1枚の写真のみを識別基準として生の顔画像を操作する。
私達のモデルに極度な視野の堅牢性および話す表面前部化を含む複数の高度の機能があります。
論文 参考訳(メタデータ) (2021-04-22T15:10:26Z) - Shape My Face: Registering 3D Face Scans by Surface-to-Surface
Translation [75.59415852802958]
Shape-My-Face (SMF) は、改良されたポイントクラウドエンコーダ、新しい視覚的注意機構、スキップ接続付きグラフ畳み込みデコーダ、特殊口モデルに基づく強力なエンコーダデコーダアーキテクチャである。
私たちのモデルは、トポロジカルにサウンドメッシュを最小限の監視で提供し、より高速なトレーニング時間を提供し、訓練可能なパラメータを桁違いに減らし、ノイズに強く、以前は見られないデータセットに一般化することができます。
論文 参考訳(メタデータ) (2020-12-16T20:02:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。