論文の概要: Short and Long Range Relation Based Spatio-Temporal Transformer for
Micro-Expression Recognition
- arxiv url: http://arxiv.org/abs/2112.05851v2
- Date: Tue, 14 Dec 2021 13:26:25 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-18 17:36:51.086035
- Title: Short and Long Range Relation Based Spatio-Temporal Transformer for
Micro-Expression Recognition
- Title(参考訳): マイクロ表現認識のための短距離・長距離関係に基づく時空間変圧器
- Authors: Liangfei Zhang, Xiaopeng Hong, Ognjen Arandjelovic, Guoying Zhao
- Abstract要約: 我々は,マイクロ圧縮認識のための最初の純粋トランスフォーマーベースアプローチである,新しいアテンポ的トランスフォーマーアーキテクチャを提案する。
空間パターンを学習する空間エンコーダと、時間的分析のための時間的次元分類と、ヘッドとを備える。
広範に使用されている3つの自発的マイクロ圧縮データセットに対する総合的な評価は,提案手法が一貫して芸術の状態を上回っていることを示している。
- 参考スコア(独自算出の注目度): 61.374467942519374
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Being spontaneous, micro-expressions are useful in the inference of a
person's true emotions even if an attempt is made to conceal them. Due to their
short duration and low intensity, the recognition of micro-expressions is a
difficult task in affective computing. The early work based on handcrafted
spatio-temporal features which showed some promise, has recently been
superseded by different deep learning approaches which now compete for the
state of the art performance. Nevertheless, the problem of capturing both local
and global spatio-temporal patterns remains challenging. To this end, herein we
propose a novel spatio-temporal transformer architecture -- to the best of our
knowledge, the first purely transformer based approach (i.e. void of any
convolutional network use) for micro-expression recognition. The architecture
comprises a spatial encoder which learns spatial patterns, a temporal
aggregator for temporal dimension analysis, and a classification head. A
comprehensive evaluation on three widely used spontaneous micro-expression data
sets, namely SMIC-HS, CASME II and SAMM, shows that the proposed approach
consistently outperforms the state of the art, and is the first framework in
the published literature on micro-expression recognition to achieve the
unweighted F1-score greater than 0.9 on any of the aforementioned data sets.
- Abstract(参考訳): 自発的であるため、マイクロ表現は、たとえそれを隠そうと試みても、人の真の感情を推測するのに有用である。
短い持続時間と低強度のため、マイクロ表現の認識は感情的な計算では難しいタスクである。
手作りの時空間的特徴に基づく初期の作品は、最近、さまざまなディープラーニングアプローチに取って代わられ、現在、アートパフォーマンスの状態を競っている。
それでも、局所的およびグローバルな時空間パターンをキャプチャする問題は依然として難しい。
この目的のために、我々は、マイクロ圧縮認識のための最初の純粋トランスフォーマーベースアプローチ(すなわち、畳み込みネットワークの使用を無効とする)である、新しい時空間トランスフォーマーアーキテクチャを提案する。
空間パターンを学習する空間エンコーダと、時間次元解析のための時間アグリゲータと、分類ヘッドと、を備える。
smic-hs, casme ii, sammの3つの広く使われている自発的マイクロ表現データセットの包括的評価は、提案手法が常に芸術の状態を上回っており、前述のデータセットの0.9以上の重み付けのないf1-scoreを達成するためのマイクロ表現認識に関する出版文献における最初の枠組みであることを示している。
関連論文リスト
- Spatial-temporal Memories Enhanced Graph Autoencoder for Anomaly Detection in Dynamic Graphs [52.956235109354175]
動的グラフにおける異常検出は、グラフ構造と属性の時間的進化によって大きな課題となる。
空間記憶強調グラフオートエンコーダ(STRIPE)について紹介する。
STRIPEは、動的グラフの異なる空間的・時間的ダイナミクスを効果的に活用することにより、異常を識別する優れた能力を示した。
論文 参考訳(メタデータ) (2024-03-14T02:26:10Z) - Video Anomaly Detection via Spatio-Temporal Pseudo-Anomaly Generation :
A Unified Approach [52.14916470104883]
本研究は,画像のマスキング領域にペンキを塗布することにより,汎用的な映像時間PAを生成する手法を提案する。
さらに,OCC設定下での現実世界の異常を検出するための単純な統合フレームワークを提案する。
提案手法は,OCC設定下での既存のPAs生成および再構築手法と同等に動作する。
論文 参考訳(メタデータ) (2023-11-27T13:14:06Z) - Revisiting the Encoding of Satellite Image Time Series [2.5874041837241304]
画像時系列(SITS)時間学習は、高時間分解能と不規則な取得時間のために複雑である。
我々は、クエリベースのトランスフォーマーデコーダを採用する最近のトレンドに触発されて、直接セット予測問題としてSITS処理の新たな視点を開発する。
衛星PASTISベンチマークデータセットを用いて,SOTA(State-of-the-art)の新たな結果を得た。
論文 参考訳(メタデータ) (2023-05-03T12:44:20Z) - Efficient Neural Architecture Search for Emotion Recognition [10.944807967751277]
本稿では,マクロおよびマイクロ圧縮認識のための高効率で堅牢なニューラルアーキテクチャを提案する。
勾配に基づくアーキテクチャ探索アルゴリズムを用いて軽量モデルを作成する。
提案したモデルは、既存の最先端手法よりも優れ、速度と空間の複雑さの点で非常によく機能する。
論文 参考訳(メタデータ) (2023-03-23T20:21:26Z) - Micro-Expression Recognition Based on Attribute Information Embedding
and Cross-modal Contrastive Learning [22.525295392858293]
本稿では,属性情報埋め込みとクロスモーダルコントラスト学習に基づくマイクロ圧縮認識手法を提案する。
我々はCASME II と MMEW データベースで広範な実験を行い、精度はそれぞれ77.82% と 71.04% である。
論文 参考訳(メタデータ) (2022-05-29T12:28:10Z) - Transferring Dual Stochastic Graph Convolutional Network for Facial
Micro-expression Recognition [7.62031665958404]
本稿では,2つのグラフ畳み込みネットワーク(GCN)モデルについて述べる。
マイクロ圧縮画像からより識別性の高い特徴を抽出するグラフ構築法と二重グラフ畳み込みネットワークを提案する。
提案手法は,最近リリースされたMMEWベンチマークの最先端性能を実現する。
論文 参考訳(メタデータ) (2022-03-10T07:41:18Z) - Video-based Facial Micro-Expression Analysis: A Survey of Datasets,
Features and Algorithms [52.58031087639394]
マイクロ表現は不随意かつ過渡的な表情である。
嘘検出や犯罪検出など、幅広い応用において重要な情報を提供することができる。
マイクロ表現は過渡的で低強度であるため、検出と認識は困難であり、専門家の経験に大きく依存する。
論文 参考訳(メタデータ) (2022-01-30T05:14:13Z) - Progressive Spatio-Temporal Bilinear Network with Monte Carlo Dropout
for Landmark-based Facial Expression Recognition with Uncertainty Estimation [93.73198973454944]
提案手法の性能は, 広く使用されている3つのデータセットで評価される。
ビデオベースの最先端の手法に匹敵するが、複雑さははるかに少ない。
論文 参考訳(メタデータ) (2021-06-08T13:40:30Z) - Multi-Temporal Convolutions for Human Action Recognition in Videos [83.43682368129072]
複数の解像度で抽出できる新しい時間・時間的畳み込みブロックを提案する。
提案するブロックは軽量で,任意の3D-CNNアーキテクチャに統合可能である。
論文 参考訳(メタデータ) (2020-11-08T10:40:26Z) - Recognizing Micro-Expression in Video Clip with Adaptive Key-Frame
Mining [18.34213657996624]
マイクロ・エクスプレッションでは、顔の動きは過渡的であり、時間を通して緩やかに局所化される。
適応鍵フレームマイニングネットワーク(AKMNet)と呼ばれる新しいエンドツーエンドディープラーニングアーキテクチャを提案する。
AKMNetは、自己学習した局所鍵フレームの空間的特徴と、その大域的時間的ダイナミクスを組み合わせることで、差別的時間的表現を学習することができる。
論文 参考訳(メタデータ) (2020-09-19T07:03:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。