論文の概要: Micro-Expression Recognition by Motion Feature Extraction based on Pre-training
- arxiv url: http://arxiv.org/abs/2407.07345v1
- Date: Wed, 10 Jul 2024 03:51:34 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-11 18:01:18.545592
- Title: Micro-Expression Recognition by Motion Feature Extraction based on Pre-training
- Title（参考訳）: 事前学習に基づく運動特徴抽出による微小表現認識
- Authors: Ruolin Li, Lu Wang, Tingting Yang, Lisheng Xu, Bingyang Ma, Yongchun Li, Hongchao Wei,
- Abstract要約: マイクロ圧縮認識タスクのための新しい動き抽出戦略(MoExt)を提案する。
MoExtでは、まず、開始フレームと頂点フレームから形状特徴とテクスチャ特徴を分離して抽出し、その後、両方のフレームの形状特徴に基づいてMEに関連する運動特徴を抽出する。
提案手法の有効性を3つの一般的なデータセットで検証した。
- 参考スコア（独自算出の注目度）: 6.015288149235598
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Micro-expressions (MEs) are spontaneous, unconscious facial expressions that have promising applications in various fields such as psychotherapy and national security. Thus, micro-expression recognition (MER) has attracted more and more attention from researchers. Although various MER methods have emerged especially with the development of deep learning techniques, the task still faces several challenges, e.g. subtle motion and limited training data. To address these problems, we propose a novel motion extraction strategy (MoExt) for the MER task and use additional macro-expression data in the pre-training process. We primarily pretrain the feature separator and motion extractor using the contrastive loss, thus enabling them to extract representative motion features. In MoExt, shape features and texture features are first extracted separately from onset and apex frames, and then motion features related to MEs are extracted based on the shape features of both frames. To enable the model to more effectively separate features, we utilize the extracted motion features and the texture features from the onset frame to reconstruct the apex frame. Through pre-training, the module is enabled to extract inter-frame motion features of facial expressions while excluding irrelevant information. The feature separator and motion extractor are ultimately integrated into the MER network, which is then fine-tuned using the target ME data. The effectiveness of proposed method is validated on three commonly used datasets, i.e., CASME II, SMIC, SAMM, and CAS(ME)3 dataset. The results show that our method performs favorably against state-of-the-art methods.
- Abstract（参考訳）: マイクロ・エクスプレッション(ME)は、精神療法や国家安全保障など様々な分野で有望な、自発的で無意識な表情である。
このように、マイクロ圧縮認識(MER)は研究者からますます注目を集めている。
特に深層学習技術の発展に伴って様々なMER手法が登場したが、微妙な動きや限られた訓練データなど、いくつかの課題に直面している。
これらの問題に対処するために、MERタスクのための新しい動き抽出戦略(MoExt)を提案し、事前学習プロセスで追加のマクロ表現データを使用する。
主に、コントラスト損失を用いて特徴分離器と運動抽出器を事前訓練することにより、代表的動作特徴を抽出することができる。
MoExtでは、まず、開始フレームと頂点フレームから形状特徴とテクスチャ特徴を分離して抽出し、その後、両方のフレームの形状特徴に基づいてMEに関連する運動特徴を抽出する。
モデルがより効果的に特徴を分離できるようにするために,抽出した動き特徴とテクスチャ特徴をオンセットフレームから利用して頂点フレームを再構築する。
事前学習により、無関係情報を除外しつつ、表情のフレーム間動作特徴を抽出することができる。
特徴分離器と運動抽出器は最終的にMERネットワークに統合され、ターゲットのMEデータを用いて微調整される。
提案手法の有効性を,CASME II,SMIC,SAMM,CAS(ME)3データセットの3つの一般的なデータセットで検証した。
その結果,本手法は最先端の手法に対して良好に動作することがわかった。
関連論文リスト
- An Information Compensation Framework for Zero-Shot Skeleton-based Action Recognition [49.45660055499103]
ゼロショットの人間の骨格に基づく行動認識は、トレーニング中に見られるカテゴリ外の行動を認識するモデルを構築することを目的としている。
従来の研究では、シーケンスの視覚的空間分布と意味的空間分布の整合性に焦点が当てられていた。
強固で頑健な表現を得るために,新たな損失関数サンプリング手法を提案する。
論文 参考訳（メタデータ） (2024-06-02T06:53:01Z) - Self-Supervised Neuron Segmentation with Multi-Agent Reinforcement
Learning [53.00683059396803]
マスク画像モデル(MIM)は,マスク画像から元の情報を復元する簡便さと有効性から広く利用されている。
本稿では、強化学習(RL)を利用して最適な画像マスキング比とマスキング戦略を自動検索する決定に基づくMIMを提案する。
本手法は,ニューロン分節の課題において,代替自己監督法に対して有意な優位性を有する。
論文 参考訳（メタデータ） (2023-10-06T10:40:46Z) - Exploiting Modality-Specific Features For Multi-Modal Manipulation
Detection And Grounding [54.49214267905562]
マルチモーダルな操作検出とグラウンド処理のためのトランスフォーマーベースのフレームワークを構築する。
本フレームワークは,マルチモーダルアライメントの能力を維持しながら,モダリティ特有の特徴を同時に探求する。
本稿では,グローバルな文脈的キューを各モーダル内に適応的に集約する暗黙的操作クエリ(IMQ)を提案する。
論文 参考訳（メタデータ） (2023-09-22T06:55:41Z) - Feature Representation Learning with Adaptive Displacement Generation
and Transformer Fusion for Micro-Expression Recognition [18.6490971645882]
マイクロ表現は自然に、素早く、微妙な顔の動きであり、偽造も抑制もできない。
適応的変位生成と変圧器融合(FRL-DGT)を用いた特徴表現学習フレームワークを提案する。
ソリッド・エンド・ワン・オブジェクト・アウト (LOSO) 評価実験により, 提案したFRL-DGTの最先端手法に対する優位性を実証した。
論文 参考訳（メタデータ） (2023-04-10T07:03:36Z) - Prior Information based Decomposition and Reconstruction Learning for
Micro-Expression Recognition [45.46357824529522]
事前情報は、モデルを誘導し、差別的なME特徴を効果的に学習する。
本稿では,ME運動の特徴を学習するための分解と再構成に基づくグラフ表現学習モデルを提案する。
論文 参考訳（メタデータ） (2023-03-03T08:34:28Z) - Multi-Stage Spatio-Temporal Aggregation Transformer for Video Person
Re-identification [78.08536797239893]
本稿では,2つの新しいプロキシ埋め込みモジュールを設計したMSTAT(Multi-Stage Space-Temporal Aggregation Transformer)を提案する。
MSTATは、属性関連、アイデンティティ関連、および属性関連情報をビデオクリップからエンコードする3つのステージから構成される。
MSTATは様々な標準ベンチマークで最先端の精度を達成できることを示す。
論文 参考訳（メタデータ） (2023-01-02T05:17:31Z) - MMNet: Muscle motion-guided network for micro-expression recognition [2.032432845751978]
筋運動誘導ネットワーク(MMNet)という,ロバストなマイクロ圧縮認識フレームワークを提案する。
具体的には,局所的な微妙な筋運動パターンを識別情報が少なくモデル化することに焦点を当てた連続的注意ブロック(CA)を導入する。
我々の手法は最先端の手法よりも大きなマージンで優れている。
論文 参考訳（メタデータ） (2022-01-14T04:05:49Z) - Exploring Motion and Appearance Information for Temporal Sentence
Grounding [52.01687915910648]
本研究では、時間的文のグラウンド化を解決するために、MARN(Motion-Appearance Reasoning Network)を提案する。
動作誘導と外見誘導のオブジェクト関係を学習するために,動作分岐と外見分岐を別々に開発する。
提案するMARNは,従来の最先端手法よりも大きなマージンで優れていた。
論文 参考訳（メタデータ） (2022-01-03T02:44:18Z) - Multi-modal Fusion for Single-Stage Continuous Gesture Recognition [45.19890687786009]
テンポラル・マルチモーダル・フュージョン(TMMF)と呼ばれる単一段階連続ジェスチャー認識フレームワークを導入する。
TMMFは、単一のモデルでビデオ内の複数のジェスチャーを検出し、分類することができる。
このアプローチは、前処理のセグメンテーションステップを必要とせずに、ジェスチャーと非ジェスチャーの自然な遷移を学習する。
論文 参考訳（メタデータ） (2020-11-10T07:09:35Z) - Optimizing Speech Emotion Recognition using Manta-Ray Based Feature
Selection [1.4502611532302039]
既存の特徴抽出手法を用いて抽出した特徴の連結により,分類精度が向上することを示す。
また,音声感情認識タスクにおけるマンタレイ最適化の新たな応用を行い,その結果を得た。
論文 参考訳（メタデータ） (2020-09-18T16:09:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。