論文の概要: From Macro to Micro: Boosting micro-expression recognition via pre-training on macro-expression videos
- arxiv url: http://arxiv.org/abs/2405.16451v2
- Date: Tue, 4 Jun 2024 05:15:50 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-06 09:02:44.696082
- Title: From Macro to Micro: Boosting micro-expression recognition via pre-training on macro-expression videos
- Title(参考訳): マクロからマイクロへ:マクロ表現ビデオの事前学習によるマイクロ圧縮認識の促進
- Authors: Hanting Li, Hongjing Niu, Feng Zhao,
- Abstract要約: マイクロ圧縮認識(MER)は、インテリジェント医療や嘘検出に応用される可能性があるため、近年注目を集めている。
我々は、textbfMAcro-expression textbfTO textbfMIcro-expression (MA2MI) と呼ばれる一般化トランスファー学習パラダイムを提案する。
我々のパラダイムでは、ネットワークは将来のフレームを再構築することで、微妙な顔の動きを表現する能力を学ぶことができる。
- 参考スコア(独自算出の注目度): 9.472210792839023
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Micro-expression recognition (MER) has drawn increasing attention in recent years due to its potential applications in intelligent medical and lie detection. However, the shortage of annotated data has been the major obstacle to further improve deep-learning based MER methods. Intuitively, utilizing sufficient macro-expression data to promote MER performance seems to be a feasible solution. However, the facial patterns of macro-expressions and micro-expressions are significantly different, which makes naive transfer learning methods difficult to deploy directly. To tacle this issue, we propose a generalized transfer learning paradigm, called \textbf{MA}cro-expression \textbf{TO} \textbf{MI}cro-expression (MA2MI). Under our paradigm, networks can learns the ability to represent subtle facial movement by reconstructing future frames. In addition, we also propose a two-branch micro-action network (MIACNet) to decouple facial position features and facial action features, which can help the network more accurately locate facial action locations. Extensive experiments on three popular MER benchmarks demonstrate the superiority of our method.
- Abstract(参考訳): マイクロ圧縮認識(MER)は、インテリジェント医療や嘘検出に応用される可能性があるため、近年注目を集めている。
しかし、注釈付きデータの不足は、深層学習に基づくMER法をさらに改善する大きな障害となっている。
直感的には、MER性能を促進するのに十分なマクロ表現データを活用することは、実現可能な解決策であると思われる。
しかし, マクロ表現とマイクロ表現の顔パターンは大きく異なり, 直接展開が困難である。
この問題に対処するため, 一般化された伝達学習パラダイムである \textbf{MA}cro-expression \textbf{TO} \textbf{MI}cro-expression (MA2MI) を提案する。
我々のパラダイムでは、ネットワークは将来のフレームを再構築することで、微妙な顔の動きを表現する能力を学ぶことができる。
さらに、顔位置と顔動作の特徴を分離する2分岐マイクロアクションネットワーク(MIACNet)も提案する。
3つのMERベンチマークの大規模な実験により,本手法の優位性を実証した。
関連論文リスト
- Adaptive Temporal Motion Guided Graph Convolution Network for Micro-expression Recognition [48.21696443824074]
ATM-GCN(Adaptive Temporal Motion Guided Graph Convolution Network)と呼ばれる,マイクロ圧縮認識のための新しいフレームワークを提案する。
本フレームワークは,クリップ全体のフレーム間の時間的依存関係の把握に優れ,クリップレベルでのマイクロ圧縮認識が向上する。
論文 参考訳(メタデータ) (2024-06-13T10:57:24Z) - DualFocus: Integrating Macro and Micro Perspectives in Multi-modal Large
Language Models [85.4852517178828]
マルチモーダル大言語モデル(MLLM)におけるマクロ・マイクロ視点の統合フレームワークであるDualFocusについて述べる。
本研究は,DualFocusが総合的な洞察と詳細な検査のバランスをとる上で優れていることを示し,MLLMの幻覚例を著しく減らした。
論文 参考訳(メタデータ) (2024-02-22T18:26:02Z) - AU-aware graph convolutional network for Macro- and Micro-expression
spotting [44.507747407072685]
我々はAUW-GCN(Action-Unit-aWare Graph Convolutional Network)と呼ばれるグラフ畳み込み型ネットワークを提案する。
先行情報を注入し、小さなデータセットの問題に対処するために、AU関連統計データをネットワークにエンコードする。
その結果, 2つのベンチマークデータセットにおいて, ベースライン手法を一貫して向上させ, 新たなSOTA性能を実現することができた。
論文 参考訳(メタデータ) (2023-03-16T07:00:36Z) - Micro-Expression Recognition Based on Attribute Information Embedding
and Cross-modal Contrastive Learning [22.525295392858293]
本稿では,属性情報埋め込みとクロスモーダルコントラスト学習に基づくマイクロ圧縮認識手法を提案する。
我々はCASME II と MMEW データベースで広範な実験を行い、精度はそれぞれ77.82% と 71.04% である。
論文 参考訳(メタデータ) (2022-05-29T12:28:10Z) - Transferring Dual Stochastic Graph Convolutional Network for Facial
Micro-expression Recognition [7.62031665958404]
本稿では,2つのグラフ畳み込みネットワーク(GCN)モデルについて述べる。
マイクロ圧縮画像からより識別性の高い特徴を抽出するグラフ構築法と二重グラフ畳み込みネットワークを提案する。
提案手法は,最近リリースされたMMEWベンチマークの最先端性能を実現する。
論文 参考訳(メタデータ) (2022-03-10T07:41:18Z) - Video-based Facial Micro-Expression Analysis: A Survey of Datasets,
Features and Algorithms [52.58031087639394]
マイクロ表現は不随意かつ過渡的な表情である。
嘘検出や犯罪検出など、幅広い応用において重要な情報を提供することができる。
マイクロ表現は過渡的で低強度であるため、検出と認識は困難であり、専門家の経験に大きく依存する。
論文 参考訳(メタデータ) (2022-01-30T05:14:13Z) - MMNet: Muscle motion-guided network for micro-expression recognition [2.032432845751978]
筋運動誘導ネットワーク(MMNet)という,ロバストなマイクロ圧縮認識フレームワークを提案する。
具体的には,局所的な微妙な筋運動パターンを識別情報が少なくモデル化することに焦点を当てた連続的注意ブロック(CA)を導入する。
我々の手法は最先端の手法よりも大きなマージンで優れている。
論文 参考訳(メタデータ) (2022-01-14T04:05:49Z) - Short and Long Range Relation Based Spatio-Temporal Transformer for
Micro-Expression Recognition [61.374467942519374]
我々は,マイクロ圧縮認識のための最初の純粋トランスフォーマーベースアプローチである,新しいアテンポ的トランスフォーマーアーキテクチャを提案する。
空間パターンを学習する空間エンコーダと、時間的分析のための時間的次元分類と、ヘッドとを備える。
広範に使用されている3つの自発的マイクロ圧縮データセットに対する総合的な評価は,提案手法が一貫して芸術の状態を上回っていることを示している。
論文 参考訳(メタデータ) (2021-12-10T22:10:31Z) - Shallow Optical Flow Three-Stream CNN for Macro- and Micro-Expression
Spotting from Long Videos [15.322908569777551]
本稿では,表現区間にあるフレームの確率を推定するモデルを提案する。
本稿では,最新のMEGC 2020ベンチマークにおいて提案手法の有効性と有効性を示す。
論文 参考訳(メタデータ) (2021-06-11T16:19:48Z) - An Overview of Facial Micro-Expression Analysis: Data, Methodology and
Challenge [24.495792982803124]
顔のマイクロ表現は感情的なコミュニケーションの間に現れる短く、微妙な顔の動きを示します。
近年、マイクロ表現認識(MER)は、幅広いアプリケーションに恩恵をもたらす可能性があるため、多くの注目を集めています。
MERは、3つの新しい側面からアプローチする:マクロからマイクロへの適応、キー頂点フレームに基づく認識、顔アクション単位に基づく認識。
論文 参考訳(メタデータ) (2020-12-21T13:20:17Z) - Micro-expression spotting: A new benchmark [74.69928316848866]
マイクロ表現(ME)は、人々が本当の感情を隠そうとしたり、感情を隠そうとするときに起こる、簡潔で不随意の表情である。
コンピュータビジョンの分野では、MEの研究はスポッティングと認識という2つの主要なタスクに分けられる。
本稿ではSMIC-Eデータベースの拡張,すなわちSMIC-E-Longデータベースを紹介する。
論文 参考訳(メタデータ) (2020-07-24T09:18:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。