論文の概要: SKD-TSTSAN: Three-Stream Temporal-Shift Attention Network Based on Self-Knowledge Distillation for Micro-Expression Recognition
- arxiv url: http://arxiv.org/abs/2406.17538v1
- Date: Tue, 25 Jun 2024 13:22:22 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-26 14:20:18.379112
- Title: SKD-TSTSAN: Three-Stream Temporal-Shift Attention Network Based on Self-Knowledge Distillation for Micro-Expression Recognition
- Title（参考訳）: SKD-TSTSAN:マイクロ圧縮認識のための自己知識蒸留に基づく3ストリーム時間シフト注意ネットワーク
- Authors: Guanghao Zhu, Lin Liu, Yuhao Hu, Haixin Sun, Fang Liu, Xiaohui Du, Ruqian Hao, Juanxiu Liu, Yong Liu, Hao Deng, Jing Zhang,
- Abstract要約: マイクロ圧縮認識(MER)は、犯罪分析や心理療法など、多くの分野で重要である。
本稿では,自己知識蒸留(SKD-TSTSAN)に基づく3ストリーム時間シフトアテンションネットワークを提案する。
- 参考スコア（独自算出の注目度）: 21.675660978188617
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Micro-expressions (MEs) are subtle facial movements that occur spontaneously when people try to conceal the real emotions. Micro-expression recognition (MER) is crucial in many fields, including criminal analysis and psychotherapy. However, MER is challenging since MEs have low intensity and ME datasets are small in size. To this end, a three-stream temporal-shift attention network based on self-knowledge distillation (SKD-TSTSAN) is proposed in this paper. Firstly, to address the low intensity of ME muscle movements, we utilize learning-based motion magnification modules to enhance the intensity of ME muscle movements. Secondly, we employ efficient channel attention (ECA) modules in the local-spatial stream to make the network focus on facial regions that are highly relevant to MEs. In addition, temporal shift modules (TSMs) are used in the dynamic-temporal stream, which enables temporal modeling with no additional parameters by mixing ME motion information from two different temporal domains. Furthermore, we introduce self-knowledge distillation (SKD) into the MER task by introducing auxiliary classifiers and using the deepest section of the network for supervision, encouraging all blocks to fully explore the features of the training set. Finally, extensive experiments are conducted on four ME datasets: CASME II, SAMM, MMEW, and CAS(ME)3. The experimental results demonstrate that our SKD-TSTSAN outperforms other existing methods and achieves new state-of-the-art performance. Our code will be available at https://github.com/GuanghaoZhu663/SKD-TSTSAN.
- Abstract（参考訳）: マイクロ表現(ME)は、人々が本当の感情を隠そうとするときに自然に起こる微妙な顔の動きである。
マイクロ圧縮認識(MER)は、犯罪分析や心理療法など、多くの分野で重要である。
しかし、MEの強度が低く、MEデータセットが小さいため、MERは難しい。
そこで本論文では, 自己知識蒸留(SKD-TSTSAN)に基づく3ストリーム時間シフトアテンションネットワークを提案する。
まず,ME筋運動の低強度化にあたり,ME筋運動の強度を高めるために学習ベースの運動倍率モジュールを利用する。
第2に,ローカル空間ストリームに効率的なチャネルアテンション (ECA) モジュールを用いて,ME に強く関係する顔領域にネットワークを集中させる。
さらに、時間シフトモジュール(TSM)を動的時相ストリームで使用することにより、2つの異なる時間領域からMEモーション情報を混合することにより、追加のパラメータを持たない時間モデリングを可能にする。
さらに,MERタスクに自己知識蒸留(SKD)を導入し,補助分類器を導入し,ネットワークの最深部を監督し,全てのブロックがトレーニングセットの特徴を十分に探求することを奨励する。
最後に、CASME II、SAMM、MMEW、CAS(ME)3の4つのMEデータセットについて広範な実験を行った。
実験の結果,SKD-TSTSANは既存の手法よりも優れ,新しい最先端性能を実現していることがわかった。
私たちのコードはhttps://github.com/GuanghaoZhu663/SKD-TSTSANで公開されます。
関連論文リスト
- Adaptive Temporal Motion Guided Graph Convolution Network for Micro-expression Recognition [48.21696443824074]
ATM-GCN(Adaptive Temporal Motion Guided Graph Convolution Network)と呼ばれる,マイクロ圧縮認識のための新しいフレームワークを提案する。
本フレームワークは,クリップ全体のフレーム間の時間的依存関係の把握に優れ,クリップレベルでのマイクロ圧縮認識が向上する。
論文 参考訳（メタデータ） (2024-06-13T10:57:24Z) - Masked Motion Predictors are Strong 3D Action Representation Learners [143.9677635274393]
人間の3次元行動認識では、教師付きデータが限られており、トランスフォーマーのような強力なネットワークのモデリング能力を十分に活用することは困難である。
人間の関節において、マスク付き自己成分再構成を行うための一般的な前提に従わず、明示的な文脈運動モデリングが、3次元動作認識のための効果的な特徴表現の学習の成功の鍵となることを示す。
論文 参考訳（メタデータ） (2023-08-14T11:56:39Z) - Video-based Facial Micro-Expression Analysis: A Survey of Datasets,
Features and Algorithms [52.58031087639394]
マイクロ表現は不随意かつ過渡的な表情である。
嘘検出や犯罪検出など、幅広い応用において重要な情報を提供することができる。
マイクロ表現は過渡的で低強度であるため、検出と認識は困難であり、専門家の経験に大きく依存する。
論文 参考訳（メタデータ） (2022-01-30T05:14:13Z) - MMNet: Muscle motion-guided network for micro-expression recognition [2.032432845751978]
筋運動誘導ネットワーク(MMNet)という,ロバストなマイクロ圧縮認識フレームワークを提案する。
具体的には,局所的な微妙な筋運動パターンを識別情報が少なくモデル化することに焦点を当てた連続的注意ブロック(CA)を導入する。
我々の手法は最先端の手法よりも大きなマージンで優れている。
論文 参考訳（メタデータ） (2022-01-14T04:05:49Z) - Short and Long Range Relation Based Spatio-Temporal Transformer for
Micro-Expression Recognition [61.374467942519374]
我々は,マイクロ圧縮認識のための最初の純粋トランスフォーマーベースアプローチである,新しいアテンポ的トランスフォーマーアーキテクチャを提案する。
空間パターンを学習する空間エンコーダと、時間的分析のための時間的次元分類と、ヘッドとを備える。
広範に使用されている3つの自発的マイクロ圧縮データセットに対する総合的な評価は,提案手法が一貫して芸術の状態を上回っていることを示している。
論文 参考訳（メタデータ） (2021-12-10T22:10:31Z) - Progressive Spatio-Temporal Bilinear Network with Monte Carlo Dropout
for Landmark-based Facial Expression Recognition with Uncertainty Estimation [93.73198973454944]
提案手法の性能は, 広く使用されている3つのデータセットで評価される。
ビデオベースの最先端の手法に匹敵するが、複雑さははるかに少ない。
論文 参考訳（メタデータ） (2021-06-08T13:40:30Z) - MERANet: Facial Micro-Expression Recognition using 3D Residual Attention
Network [14.285700243381537]
本研究では,MERANet を用いた顔認識モデルを提案する。
提案モデルは空間情報と時間情報の両方を包含する。
顔のマイクロ表現認識のための最先端技術と比較して優れた性能が観察される。
論文 参考訳（メタデータ） (2020-12-07T16:41:42Z) - Multi-Temporal Convolutions for Human Action Recognition in Videos [83.43682368129072]
複数の解像度で抽出できる新しい時間・時間的畳み込みブロックを提案する。
提案するブロックは軽量で,任意の3D-CNNアーキテクチャに統合可能である。
論文 参考訳（メタデータ） (2020-11-08T10:40:26Z) - SMA-STN: Segmented Movement-Attending Spatiotemporal Network
forMicro-Expression Recognition [20.166205708651194]
本稿では,視覚的に視覚的に微妙な動き変化を明らかにするために,SMA-STN( segmented movement-attending network)を提案する。
CALoss II、SAMM、ShiCの3つの広く使われているベンチマークに対する大規模な実験は、提案されたSMA-STNが他の最先端手法よりも優れたMER性能を達成することを示している。
論文 参考訳（メタデータ） (2020-10-19T09:23:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。