論文の概要: ME-TST+: Micro-expression Analysis via Temporal State Transition with ROI Relationship Awareness
- arxiv url: http://arxiv.org/abs/2508.08082v1
- Date: Mon, 11 Aug 2025 15:28:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-12 21:23:29.169354
- Title: ME-TST+: Micro-expression Analysis via Temporal State Transition with ROI Relationship Awareness
- Title(参考訳): ME-TST+:ROI関係認識を伴う時間状態遷移によるマイクロ圧縮解析
- Authors: Zizheng Guo, Bochao Zou, Junbao Zhuo, Huimin Ma,
- Abstract要約: マイクロ表現(ME)は、個人固有の感情、嗜好、傾向の重要な指標とみなされる。
従来のディープラーニングアプローチでは、スライディングウインドウ分類ネットワークが一般的であった。
本稿では,ME-TSTとME-TST+という2つの状態空間モデルに基づくアーキテクチャを提案する。
- 参考スコア(独自算出の注目度): 12.584801819076425
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Micro-expressions (MEs) are regarded as important indicators of an individual's intrinsic emotions, preferences, and tendencies. ME analysis requires spotting of ME intervals within long video sequences and recognition of their corresponding emotional categories. Previous deep learning approaches commonly employ sliding-window classification networks. However, the use of fixed window lengths and hard classification presents notable limitations in practice. Furthermore, these methods typically treat ME spotting and recognition as two separate tasks, overlooking the essential relationship between them. To address these challenges, this paper proposes two state space model-based architectures, namely ME-TST and ME-TST+, which utilize temporal state transition mechanisms to replace conventional window-level classification with video-level regression. This enables a more precise characterization of the temporal dynamics of MEs and supports the modeling of MEs with varying durations. In ME-TST+, we further introduce multi-granularity ROI modeling and the slowfast Mamba framework to alleviate information loss associated with treating ME analysis as a time-series task. Additionally, we propose a synergy strategy for spotting and recognition at both the feature and result levels, leveraging their intrinsic connection to enhance overall analysis performance. Extensive experiments demonstrate that the proposed methods achieve state-of-the-art performance. The codes are available at https://github.com/zizheng-guo/ME-TST.
- Abstract(参考訳): マイクロ表現(ME)は、個人固有の感情、嗜好、傾向の重要な指標とみなされる。
ME分析では、長いビデオシーケンス内のME間隔のスポッティングと、それに対応する感情カテゴリーの認識が必要である。
従来のディープラーニングアプローチでは、スライディングウインドウ分類ネットワークが一般的であった。
しかし、固定窓の長さと硬い分類の使用は、実際には顕著な制限を呈している。
さらに、これらの手法は通常、MEスポッティングと認識を2つの別々のタスクとして扱い、それら間の本質的な関係を見越す。
これらの課題に対処するために、従来のウィンドウレベルの分類をビデオレベルの回帰に置き換えるために、時間的状態遷移機構を利用するME-TSTとME-TST+という2つの状態空間モデルに基づくアーキテクチャを提案する。
これにより、MEの時間的ダイナミクスをより正確に評価することができ、様々な期間でMEのモデリングをサポートする。
ME-TST+では、マルチグラニュラリティROIモデリングと、ME分析を時系列タスクとして扱う際の情報損失を軽減するために、高速なMambaフレームワークを導入する。
さらに,特徴レベルと結果レベルの両方でスポッティングと認識を行うためのシナジー戦略を提案する。
大規模な実験により,提案手法が最先端の性能を達成することを示す。
コードはhttps://github.com/zizheng-guo/ME-TSTで公開されている。
関連論文リスト
- Spatio-Temporal Fuzzy-oriented Multi-Modal Meta-Learning for Fine-grained Emotion Recognition [26.73957526115721]
細粒度感情認識(FER)は、疾患診断、パーソナライズされたレコメンデーション、マルチメディアマイニングなど、様々な分野で重要な役割を果たしている。
既存のFERメソッドは、現実の応用において3つの重要な課題に直面している: (i) 感情は複雑で時間を要するため正確性を確保するために、大量の注釈付きデータに依存している; (ii) サンプリング期間内の時間的相関が同じであると仮定するため、感情パターンの変化に起因する時間的不均一性を捉えることができない; (iii) 異なるFERシナリオの空間的不均一性、すなわち、感情の分布を考慮しない。
論文 参考訳(メタデータ) (2024-12-18T06:40:53Z) - Synergistic Spotting and Recognition of Micro-Expression via Temporal State Transition [12.087992699513213]
マイクロ表現の分析には、一般的に2つの主要なタスクがある: 長いビデオでマイクロ表現間隔を見つけることと、これらの間隔に関連する感情を認識することである。
従来のディープラーニング手法は主にスライディングウインドウを用いた分類ネットワークに依存していた。
本稿では、従来のウィンドウレベルの分類をビデオレベルの回帰に置き換える、状態空間モデルに基づく新しい時間状態遷移アーキテクチャを提案する。
論文 参考訳(メタデータ) (2024-09-15T12:14:19Z) - PMT: Progressive Mean Teacher via Exploring Temporal Consistency for Semi-Supervised Medical Image Segmentation [51.509573838103854]
医用画像セグメンテーションのための半教師付き学習フレームワークであるプログレッシブ平均教師(PMT)を提案する。
我々のPMTは、トレーニングプロセスにおいて、堅牢で多様な特徴を学習することで、高忠実な擬似ラベルを生成する。
CT と MRI の異なる2つのデータセットに対する実験結果から,本手法が最先端の医用画像分割法より優れていることが示された。
論文 参考訳(メタデータ) (2024-09-08T15:02:25Z) - EEG-SCMM: Soft Contrastive Masked Modeling for Cross-Corpus EEG-Based Emotion Recognition [0.862468061241377]
クロスコーパス脳波に基づく感情認識の課題を解決するために,ソフトコントラスト・マスクド・モデリング(SCMM)と呼ばれる新しいフレームワークを提案する。
SCMMは、ソフトコントラスト学習とハイブリッドマスキング戦略を統合し、感情力学を効果的に捉える。
実験では、SCMMは、同じクラスと異なるクラスのクロスコーパス設定の両方で平均4.26%の精度を達成する。
論文 参考訳(メタデータ) (2024-08-17T12:35:13Z) - Three-Stream Temporal-Shift Attention Network Based on Self-Knowledge Distillation for Micro-Expression Recognition [21.675660978188617]
ミクロな表現認識は、犯罪分析や心理療法など、多くの分野で重要である。
本稿では,自己知識蒸留に基づく3ストリーム時間シフトアテンションネットワークを提案する。
論文 参考訳(メタデータ) (2024-06-25T13:22:22Z) - Graph-Aware Contrasting for Multivariate Time-Series Classification [50.84488941336865]
既存のコントラスト学習手法は主に、時間的拡張とコントラスト技術による時間的一貫性を達成することに焦点を当てている。
MTSデータ間の空間的整合性を考慮したグラフ認識コントラストを提案する。
提案手法は,様々なMSS分類タスクにおける最先端性能を実現する。
論文 参考訳(メタデータ) (2023-09-11T02:35:22Z) - GaitASMS: Gait Recognition by Adaptive Structured Spatial Representation
and Multi-Scale Temporal Aggregation [2.0444600042188448]
歩行認識は、最も有望なビデオベースの生体認証技術の一つである。
本稿では,GaitASMSと呼ばれる新しい歩行認識フレームワークを提案する。
適応的な空間表現を効果的に抽出し、多スケールの時間情報を自然に集約することができる。
論文 参考訳(メタデータ) (2023-07-29T13:03:17Z) - Short and Long Range Relation Based Spatio-Temporal Transformer for
Micro-Expression Recognition [61.374467942519374]
我々は,マイクロ圧縮認識のための最初の純粋トランスフォーマーベースアプローチである,新しいアテンポ的トランスフォーマーアーキテクチャを提案する。
空間パターンを学習する空間エンコーダと、時間的分析のための時間的次元分類と、ヘッドとを備える。
広範に使用されている3つの自発的マイクロ圧縮データセットに対する総合的な評価は,提案手法が一貫して芸術の状態を上回っていることを示している。
論文 参考訳(メタデータ) (2021-12-10T22:10:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。