論文の概要: MMME: A Spontaneous Multi-Modal Micro-Expression Dataset Enabling Visual-Physiological Fusion

• arxiv url: http://arxiv.org/abs/2506.09834v1
• Date: Wed, 11 Jun 2025 15:13:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-13 06:35:03.083487
• Title: MMME: A Spontaneous Multi-Modal Micro-Expression Dataset Enabling Visual-Physiological Fusion
• Title（参考訳）: MMME:視覚物理融合を駆動する自発マルチモーダルマイクロ圧縮データセット
• Authors: Chuang Maa, Yu Peia, Jianhang Zhanga, Shaokai Zhaoa, Bowen Jib, Liang Xiea, Ye Yana, Erwei Yin,
• Abstract要約: マイクロ・エクスプレッション(ME)は微妙で、個人の真の感情状態を明らかにする非言語的な手がかりを流している。 既存のME研究は単一の視覚的モダリティに限られており、他の生理的モダリティによって伝達される豊かな感情情報を見渡せる。 本研究は,顔行動信号の同期収集を可能にする新しいME,MMMEを紹介する。
• 参考スコア（独自算出の注目度）: 0.49042554927787174
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Micro-expressions (MEs) are subtle, fleeting nonverbal cues that reveal an individual's genuine emotional state. Their analysis has attracted considerable interest due to its promising applications in fields such as healthcare, criminal investigation, and human-computer interaction. However, existing ME research is limited to single visual modality, overlooking the rich emotional information conveyed by other physiological modalities, resulting in ME recognition and spotting performance far below practical application needs. Therefore, exploring the cross-modal association mechanism between ME visual features and physiological signals (PS), and developing a multimodal fusion framework, represents a pivotal step toward advancing ME analysis. This study introduces a novel ME dataset, MMME, which, for the first time, enables synchronized collection of facial action signals (MEs), central nervous system signals (EEG), and peripheral PS (PPG, RSP, SKT, EDA, and ECG). By overcoming the constraints of existing ME corpora, MMME comprises 634 MEs, 2,841 macro-expressions (MaEs), and 2,890 trials of synchronized multimodal PS, establishing a robust foundation for investigating ME neural mechanisms and conducting multimodal fusion-based analyses. Extensive experiments validate the dataset's reliability and provide benchmarks for ME analysis, demonstrating that integrating MEs with PS significantly enhances recognition and spotting performance. To the best of our knowledge, MMME is the most comprehensive ME dataset to date in terms of modality diversity. It provides critical data support for exploring the neural mechanisms of MEs and uncovering the visual-physiological synergistic effects, driving a paradigm shift in ME research from single-modality visual analysis to multimodal fusion. The dataset will be publicly available upon acceptance of this paper.
• Abstract（参考訳）: マイクロ・エクスプレッション(ME)は微妙で、個人の真の感情状態を明らかにする非言語的な手がかりを流している。 彼らの分析は、医療、刑事捜査、人間とコンピュータの相互作用といった分野における将来性のある応用によって、かなりの関心を集めている。 しかし、既存のME研究は単一の視覚的モダリティに限られており、他の生理的モダリティによって伝達される豊かな感情情報を見渡すことができ、その結果、MEの認識と性能は実用的ニーズよりもはるかに低い。 したがって、ME視覚特徴と生理信号(PS)の相互関連機構を探求し、マルチモーダル融合フレームワークを開発することは、ME分析を進めるための重要なステップである。 本研究では,顔行動信号(ME),中枢神経系信号(EEG),周辺PS(PPG,RSP,SKT,EDA,ECG)の同期収集を可能にする新しいMEデータセットMMMEを紹介する。 既存のMEコーパスの制約を克服することにより、MMMEは634のMEと2,841のマクロ表現(MaE)、および2,890の同期多モードPSの試行を含む。 大規模な実験によりデータセットの信頼性が検証され、ME分析のためのベンチマークが提供され、MEとPSを統合することで認識とスポッティングのパフォーマンスが大幅に向上することを示した。 私たちの知る限りでは、MMMEはモダリティの多様性の観点から、今までで最も包括的なMEデータセットです。 これは、MEの神経機構を探索し、視覚生理学的相乗効果を明らかにするために重要なデータサポートを提供し、単一のモダリティの視覚分析からマルチモーダル融合へのME研究のパラダイムシフトを駆動する。 データセットは、この記事の受理時に公開されます。

関連論文リスト

• Milmer: a Framework for Multiple Instance Learning based Multimodal Emotion Recognition [16.616341358877243]
  本研究は,表情解析と脳波信号の統合による感情認識の課題に対処する。 提案するフレームワークは、視覚的および生理的モダリティを効果的に統合するために、トランスフォーマーベースの融合アプローチを採用している。 この研究の重要な革新は、複数の表情画像から意味のある情報を抽出する多重インスタンス学習(MIL)アプローチの採用である。
  論文  参考訳（メタデータ） (2025-02-01T20:32:57Z)
• Joint Multimodal Transformer for Emotion Recognition in the Wild [49.735299182004404]
  マルチモーダル感情認識(MMER)システムは、通常、単調なシステムよりも優れている。 本稿では,キーベースのクロスアテンションと融合するために,ジョイントマルチモーダルトランス (JMT) を利用するMMER法を提案する。
  論文  参考訳（メタデータ） (2024-03-15T17:23:38Z)
• DFME: A New Benchmark for Dynamic Facial Micro-expression Recognition [51.26943074578153]
  マイクロ・エクスプレッション(ME)は、人間の真の感情を明らかにする、自然に、微妙で、過渡的な表情である。 MEデータ不足は、先進的なデータ駆動型MERモデルの開発を著しく妨げている。 本稿では,動的自発的なMEデータベースを収集・注釈することで,MEデータ不足を克服する。
  論文  参考訳（メタデータ） (2023-01-03T07:33:33Z)
• SEMPAI: a Self-Enhancing Multi-Photon Artificial Intelligence for prior-informed assessment of muscle function and pathology [48.54269377408277]
  本稿では,仮説駆動型先行処理をデータ駆動型ディープラーニングアプローチに統合した,SEMPAI(Self-Enhancing Multi-Photon Artificial Intelligence)を紹介する。 SEMPAIは、小さなデータセットの予測を可能にするために、いくつかのタスクを共同で学習する。 SEMPAIは、少ないデータを含む7つの予測タスクのうち6つにおいて、最先端のバイオマーカーよりも優れています。
  論文  参考訳（メタデータ） (2022-10-28T17:03:04Z)
• Video-based Facial Micro-Expression Analysis: A Survey of Datasets, Features and Algorithms [52.58031087639394]
  マイクロ表現は不随意かつ過渡的な表情である。 嘘検出や犯罪検出など、幅広い応用において重要な情報を提供することができる。 マイクロ表現は過渡的で低強度であるため、検出と認識は困難であり、専門家の経験に大きく依存する。
  論文  参考訳（メタデータ） (2022-01-30T05:14:13Z)
• iMiGUE: An Identity-free Video Dataset for Micro-Gesture Understanding and Emotion Analysis [23.261770969903065]
  iMiGUE(iMiGUE)は、マイクロジェスチャ理解・感情分析のためのアイデンティティフリービデオデータセットである。 iMiGUEは、内的感情によって引き起こされる意図しない行動(micro-gesture)に焦点を当てている。
  論文  参考訳（メタデータ） (2021-07-01T08:15:14Z)
• Micro-expression spotting: A new benchmark [74.69928316848866]
  マイクロ表現(ME)は、人々が本当の感情を隠そうとしたり、感情を隠そうとするときに起こる、簡潔で不随意の表情である。 コンピュータビジョンの分野では、MEの研究はスポッティングと認識という2つの主要なタスクに分けられる。 本稿ではSMIC-Eデータベースの拡張,すなわちSMIC-E-Longデータベースを紹介する。
  論文  参考訳（メタデータ） (2020-07-24T09:18:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。