論文の概要: Short and Long Range Relation Based Spatio-Temporal Transformer for
Micro-Expression Recognition
- arxiv url: http://arxiv.org/abs/2112.05851v1
- Date: Fri, 10 Dec 2021 22:10:31 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-18 17:09:05.029391
- Title: Short and Long Range Relation Based Spatio-Temporal Transformer for
Micro-Expression Recognition
- Title（参考訳）: マイクロ表現認識のための短距離・長距離関係に基づく時空間変圧器
- Authors: Liangfei Zhang, Xiaopeng Hong, Ognjen Arandjelovic, Guoying Zhao
- Abstract要約: 無意識であり、自発的なマイクロ表現は、たとえそれを隠そうと試みても、人の真の感情を推測するのに有用である。
短い時間と低強度のため、マイクロ表現の認識は感情コンピューティングでは難しい課題である。
我々は,新しいトランスフォーマーアーキテクチャを提案する。私たちの知る限り,マイクロ圧縮認識のための最初の純粋トランスフォーマーベースアプローチ(畳み込みネットワーク使用の無効化)を提案する。
- 参考スコア（独自算出の注目度）: 61.374467942519374
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Being unconscious and spontaneous, micro-expressions are useful in the
inference of a person's true emotions even if an attempt is made to conceal
them. Due to their short duration and low intensity, the recognition of
micro-expressions is a difficult task in affective computing. The early work
based on handcrafted spatio-temporal features which showed some promise, has
recently been superseded by different deep learning approaches which now
compete for the state of the art performance. Nevertheless, the problem of
capturing both local and global spatio-temporal patterns remains challenging.
To this end, herein we propose a novel spatio-temporal transformer architecture
-- to the best of our knowledge, the first purely transformer based approach
(i.e. void of any convolutional network use) for micro-expression recognition.
The architecture comprises a spatial encoder which learns spatial patterns, a
temporal aggregator for temporal dimension analysis, and a classification head.
A comprehensive evaluation on three widely used spontaneous micro-expression
data sets, namely SMIC-HS, CASME II and SAMM, shows that the proposed approach
consistently outperforms the state of the art, and is the first framework in
the published literature on micro-expression recognition to achieve the
unweighted F1-score greater than 0.9 on any of the aforementioned data sets.
- Abstract（参考訳）: 無意識で自発的なマイクロ表現は、たとえそれを隠そうと試みても、人の真の感情を推測するのに有用である。
短い持続時間と低強度のため、マイクロ表現の認識は感情的な計算では難しいタスクである。
手作りの時空間的特徴に基づく初期の作品は、最近、さまざまなディープラーニングアプローチに取って代わられ、現在、アートパフォーマンスの状態を競っている。
それでも、局所的およびグローバルな時空間パターンをキャプチャする問題は依然として難しい。
この目的のために、我々は、マイクロ圧縮認識のための最初の純粋トランスフォーマーベースアプローチ(すなわち、畳み込みネットワークの使用を無効とする)である、新しい時空間トランスフォーマーアーキテクチャを提案する。
空間パターンを学習する空間エンコーダと、時間次元解析のための時間アグリゲータと、分類ヘッドと、を備える。
smic-hs, casme ii, sammの3つの広く使われている自発的マイクロ表現データセットの包括的評価は、提案手法が常に芸術の状態を上回っており、前述のデータセットの0.9以上の重み付けのないf1-scoreを達成するためのマイクロ表現認識に関する出版文献における最初の枠組みであることを示している。
関連論文リスト
- Neuron: Learning Context-Aware Evolving Representations for Zero-Shot Skeleton Action Recognition [64.56321246196859]
本稿では,dUalスケルトン・セマンティック・セマンティック・セマンティック・セマンティック・シンジスティック・フレームワークを提案する。
まず、時空間進化型マイクロプロトタイプを構築し、動的コンテキスト認識側情報を統合する。
本研究では,空間的圧縮と時間的記憶機構を導入し,空間的時間的マイクロプロトタイプの成長を導く。
論文 参考訳（メタデータ） (2024-11-18T05:16:11Z) - Synergistic Spotting and Recognition of Micro-Expression via Temporal State Transition [12.087992699513213]
マイクロ表現の分析には、一般的に2つの主要なタスクがある: 長いビデオでマイクロ表現間隔を見つけることと、これらの間隔に関連する感情を認識することである。
従来のディープラーニング手法は主にスライディングウインドウを用いた分類ネットワークに依存していた。
本稿では、従来のウィンドウレベルの分類をビデオレベルの回帰に置き換える、状態空間モデルに基づく新しい時間状態遷移アーキテクチャを提案する。
論文 参考訳（メタデータ） (2024-09-15T12:14:19Z) - Hierarchical Temporal Context Learning for Camera-based Semantic Scene Completion [57.232688209606515]
カメラによるセマンティックシーンの補完を改善するための,新たな時間的文脈学習パラダイムであるHTCLを提案する。
提案手法は,Semantic KITTIベンチマークで1st$をランク付けし,mIoUの点でLiDARベースの手法を超えている。
論文 参考訳（メタデータ） (2024-07-02T09:11:17Z) - Three-Stream Temporal-Shift Attention Network Based on Self-Knowledge Distillation for Micro-Expression Recognition [21.675660978188617]
ミクロな表現認識は、犯罪分析や心理療法など、多くの分野で重要である。
本稿では,SKD-TSTSANと呼ばれる自己知識蒸留に基づく3ストリーム時間シフトアテンションネットワークを提案する。
論文 参考訳（メタデータ） (2024-06-25T13:22:22Z) - Adaptive Temporal Motion Guided Graph Convolution Network for Micro-expression Recognition [48.21696443824074]
ATM-GCN(Adaptive Temporal Motion Guided Graph Convolution Network)と呼ばれる,マイクロ圧縮認識のための新しいフレームワークを提案する。
本フレームワークは,クリップ全体のフレーム間の時間的依存関係の把握に優れ,クリップレベルでのマイクロ圧縮認識が向上する。
論文 参考訳（メタデータ） (2024-06-13T10:57:24Z) - Transferring Dual Stochastic Graph Convolutional Network for Facial
Micro-expression Recognition [7.62031665958404]
本稿では,2つのグラフ畳み込みネットワーク(GCN)モデルについて述べる。
マイクロ圧縮画像からより識別性の高い特徴を抽出するグラフ構築法と二重グラフ畳み込みネットワークを提案する。
提案手法は,最近リリースされたMMEWベンチマークの最先端性能を実現する。
論文 参考訳（メタデータ） (2022-03-10T07:41:18Z) - Video-based Facial Micro-Expression Analysis: A Survey of Datasets,
Features and Algorithms [52.58031087639394]
マイクロ表現は不随意かつ過渡的な表情である。
嘘検出や犯罪検出など、幅広い応用において重要な情報を提供することができる。
マイクロ表現は過渡的で低強度であるため、検出と認識は困難であり、専門家の経験に大きく依存する。
論文 参考訳（メタデータ） (2022-01-30T05:14:13Z) - Progressive Spatio-Temporal Bilinear Network with Monte Carlo Dropout
for Landmark-based Facial Expression Recognition with Uncertainty Estimation [93.73198973454944]
提案手法の性能は, 広く使用されている3つのデータセットで評価される。
ビデオベースの最先端の手法に匹敵するが、複雑さははるかに少ない。
論文 参考訳（メタデータ） (2021-06-08T13:40:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。