論文の概要: MESTI-MEGANet: Micro-expression Spatio-Temporal Image and Micro-expression Gradient Attention Networks for Micro-expression Recognition

• arxiv url: http://arxiv.org/abs/2509.00056v2
• Date: Sun, 07 Sep 2025 09:26:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-09 14:07:03.340216
• Title: MESTI-MEGANet: Micro-expression Spatio-Temporal Image and Micro-expression Gradient Attention Networks for Micro-expression Recognition
• Title（参考訳）: MESTI-MEGANet:Micro-Expression Spatio-Temporal Image and Micro-Expression Gradient Attention Networks for Micro-Expression Recognition
• Authors: Luu Tu Nguyen, Vu Tram Anh Khuong, Thanh Ha Le, Thi Duyen Ngo,
• Abstract要約: マイクロ表現認識(MER)は、マイクロ表現の微妙な性質と浮き彫り性のために難しい課題である。 アペックスフレーム、オプティカルフロー、ダイナミックイメージのような伝統的な入力モダリティは、これらの短い顔の動きを適切に捉えることができないことが多い。 ビデオシーケンスを単一の画像に変換する新しい動的入力モダリティであるMESTI(Micro-Expression Spatio-Temporal Image)を導入する。 また,マイクロ圧縮グラディエント・アテンション・ネットワーク(MEGANet)について述べる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Micro-expression recognition (MER) is a challenging task due to the subtle and fleeting nature of micro-expressions. Traditional input modalities, such as Apex Frame, Optical Flow, and Dynamic Image, often fail to adequately capture these brief facial movements, resulting in suboptimal performance. In this study, we introduce the Micro-expression Spatio-Temporal Image (MESTI), a novel dynamic input modality that transforms a video sequence into a single image while preserving the essential characteristics of micro-movements. Additionally, we present the Micro-expression Gradient Attention Network (MEGANet), which incorporates a novel Gradient Attention block to enhance the extraction of fine-grained motion features from micro-expressions. By combining MESTI and MEGANet, we aim to establish a more effective approach to MER. Extensive experiments were conducted to evaluate the effectiveness of MESTI, comparing it with existing input modalities across three CNN architectures (VGG19, ResNet50, and EfficientNetB0). Moreover, we demonstrate that replacing the input of previously published MER networks with MESTI leads to consistent performance improvements. The performance of MEGANet, both with MESTI and Dynamic Image, is also evaluated, showing that our proposed network achieves state-of-the-art results on the CASMEII and SAMM datasets. The combination of MEGANet and MESTI achieves the highest accuracy reported to date, setting a new benchmark for micro-expression recognition. These findings underscore the potential of MESTI as a superior input modality and MEGANet as an advanced recognition network, paving the way for more effective MER systems in a variety of applications.
• Abstract（参考訳）: マイクロ表現認識(MER)は、マイクロ表現の微妙な性質と浮き彫り性のために難しい課題である。 アペックスフレーム、オプティカルフロー、ダイナミックイメージのような伝統的な入力モダリティは、これらの短い顔の動きを適切に捉えることができず、結果として準最適性能をもたらす。 本研究では,マイクロ圧縮時空間像(MESTI)について紹介する。これはビデオシーケンスを単一画像に変換しながら,マイクロモーションの本質的特性を保ちながら,動的入力モダリティである。 さらに,マイクロ表現からの微細な動き特徴の抽出を強化するため,新しいグラディエント注意ブロックを組み込んだMEGANetを提案する。 MESTIとMEGANetを組み合わせることで、より効果的なMERアプローチを確立することを目指している。 MESTIの有効性を3つのCNNアーキテクチャ(VGG19, ResNet50, EfficientNetB0)で比較した。 さらに,MESTI による MER ネットワークの入力を MESTI に置き換えることで,一貫した性能向上が期待できることを示す。 また,MESTI と Dynamic Image を用いて MEGANet の性能を評価し,CASMEII と SAMM のデータセットに対して,提案したネットワークが最先端の結果を得ることを示す。 MEGANetとMESTIの組み合わせは、これまで報告された最高精度を達成し、マイクロ圧縮認識のための新しいベンチマークを設定する。 これらの知見は、MESTIを優れた入力モダリティとして、MEGANetを高度な認識ネットワークとして、様々なアプリケーションにおいてより効果的なMERシステムを実現するための道を開くことの可能性を浮き彫りにした。

関連論文リスト

• MPT: Motion Prompt Tuning for Micro-Expression Recognition [47.62949098749473]
  本稿では,MERのための事前学習モデルに適用するための新しいアプローチとして,MPT(Motion Prompt Tuning)を提案する。 特に、動きの倍率化やガウストークン化などの動きのプロンプト生成を導入し、微妙な動きをLMのプロンプトとして抽出する。 広範に使われている3つのMERデータセットに対して行われた大規模な実験により、提案したMPTが最先端のアプローチを一貫して超越していることが証明された。
  論文  参考訳（メタデータ） (2025-08-13T02:57:43Z)
• Temporal and Spatial Feature Fusion Framework for Dynamic Micro Expression Recognition [5.444324424467006]
  過渡的かつ高度に局所化されたマイクロ表現は、その正確な認識に重大な課題をもたらす。 マイクロ圧縮認識の精度は、プロでも50%以下である。 DMER(TSFmicro)のための新しい時間空間特徴融合フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-22T08:26:19Z)
• MELLM: Exploring LLM-Powered Micro-Expression Understanding Enhanced by Subtle Motion Perception [47.80768014770871]
  マイクロ圧縮大言語モデル(MELLM)を提案する。 MLLMの強い推論能力を備えた微妙な顔の動き知覚戦略を取り入れている。 我々のモデルは、マイクロ圧縮理解(MEU)において優れた堅牢性と一般化能力を示す。
  論文  参考訳（メタデータ） (2025-05-11T15:08:23Z)
• AMMSM: Adaptive Motion Magnification and Sparse Mamba for Micro-Expression Recognition [7.084377962617903]
  本稿では,Adaptive Motion Magnification and Sparse Mambaというマルチタスク学習フレームワークを提案する。 この枠組みは, 自己監督型微妙な動きの倍率化により, マイクロ表現の精度を高めることを目的としている。 空間選択の倍率係数と空間選択の余剰比を最適化するために進化的探索を用い、さらに性能を向上させるために微調整を行った。
  論文  参考訳（メタデータ） (2025-03-31T13:17:43Z)
• AHMSA-Net: Adaptive Hierarchical Multi-Scale Attention Network for Micro-Expression Recognition [15.008358563986825]
  マイクロ圧縮認識のための適応階層型マルチスケールアテンションネットワーク(AHMSA-Net)を設計する。 AHMSA-Netはアダプティブ階層フレームワークとマルチスケールアテンションメカニズムの2つの部分から構成される。 AHMSA-Netは、複合データベース上で78.21%の認識精度を達成している。
  論文  参考訳（メタデータ） (2025-01-05T13:40:12Z)
• Adaptive Temporal Motion Guided Graph Convolution Network for Micro-expression Recognition [48.21696443824074]
  ATM-GCN(Adaptive Temporal Motion Guided Graph Convolution Network)と呼ばれる,マイクロ圧縮認識のための新しいフレームワークを提案する。 本フレームワークは,クリップ全体のフレーム間の時間的依存関係の把握に優れ,クリップレベルでのマイクロ圧縮認識が向上する。
  論文  参考訳（メタデータ） (2024-06-13T10:57:24Z)
• Semantics-enhanced Cross-modal Masked Image Modeling for Vision-Language Pre-training [87.69394953339238]
  Masked Image Modeling (MIM) が最近導入され、細粒度のクロスモーダルアライメントを実現している。 視覚言語表現学習のためのセマンティクス強化クロスモーダルMIMフレームワーク(SemMIM)を提案する。
  論文  参考訳（メタデータ） (2024-03-01T03:25:58Z)
• Micro-Expression Recognition Based on Attribute Information Embedding and Cross-modal Contrastive Learning [22.525295392858293]
  本稿では,属性情報埋め込みとクロスモーダルコントラスト学習に基づくマイクロ圧縮認識手法を提案する。 我々はCASME II と MMEW データベースで広範な実験を行い、精度はそれぞれ77.82% と 71.04% である。
  論文  参考訳（メタデータ） (2022-05-29T12:28:10Z)
• Short and Long Range Relation Based Spatio-Temporal Transformer for Micro-Expression Recognition [61.374467942519374]
  我々は,マイクロ圧縮認識のための最初の純粋トランスフォーマーベースアプローチである,新しいアテンポ的トランスフォーマーアーキテクチャを提案する。 空間パターンを学習する空間エンコーダと、時間的分析のための時間的次元分類と、ヘッドとを備える。 広範に使用されている3つの自発的マイクロ圧縮データセットに対する総合的な評価は,提案手法が一貫して芸術の状態を上回っていることを示している。
  論文  参考訳（メタデータ） (2021-12-10T22:10:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。