論文の概要: Micron-BERT: BERT-based Facial Micro-Expression Recognition

• arxiv url: http://arxiv.org/abs/2304.03195v1
• Date: Thu, 6 Apr 2023 16:19:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-07 13:34:16.699584
• Title: Micron-BERT: BERT-based Facial Micro-Expression Recognition
• Title（参考訳）: Micron-BERT:BERTに基づく顔マイクロ圧縮認識
• Authors: Xuan-Bac Nguyen, Chi Nhan Duong, Xin Li, Susan Gauch, Han-Seok Seo, Khoa Luu
• Abstract要約: Micron-BERT (mu$-BERT) は、顔のマイクロ圧縮認識のための新しいアプローチである。 提案手法は,これらの動きを自動的に教師なしで捉えることができる。 $mu$-BERTは、4つのマイクロ圧縮ベンチマークで最先端のパフォーマンスを一貫して上回る。
• 参考スコア（独自算出の注目度）: 15.367299107839418
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Micro-expression recognition is one of the most challenging topics in affective computing. It aims to recognize tiny facial movements difficult for humans to perceive in a brief period, i.e., 0.25 to 0.5 seconds. Recent advances in pre-training deep Bidirectional Transformers (BERT) have significantly improved self-supervised learning tasks in computer vision. However, the standard BERT in vision problems is designed to learn only from full images or videos, and the architecture cannot accurately detect details of facial micro-expressions. This paper presents Micron-BERT ($\mu$-BERT), a novel approach to facial micro-expression recognition. The proposed method can automatically capture these movements in an unsupervised manner based on two key ideas. First, we employ Diagonal Micro-Attention (DMA) to detect tiny differences between two frames. Second, we introduce a new Patch of Interest (PoI) module to localize and highlight micro-expression interest regions and simultaneously reduce noisy backgrounds and distractions. By incorporating these components into an end-to-end deep network, the proposed $\mu$-BERT significantly outperforms all previous work in various micro-expression tasks. $\mu$-BERT can be trained on a large-scale unlabeled dataset, i.e., up to 8 million images, and achieves high accuracy on new unseen facial micro-expression datasets. Empirical experiments show $\mu$-BERT consistently outperforms state-of-the-art performance on four micro-expression benchmarks, including SAMM, CASME II, SMIC, and CASME3, by significant margins. Code will be available at \url{https://github.com/uark-cviu/Micron-BERT}
• Abstract（参考訳）: マイクロ圧縮認識は、感情コンピューティングにおいて最も難しいトピックの1つである。 人間が短時間で知覚しにくい小さな顔の動き、すなわち0.25秒から0.5秒で認識することを目指している。 近年の深層指向性変換器(BERT)の進歩は,コンピュータビジョンにおける自己指導型学習タスクを大幅に改善している。 しかし、視覚問題における標準的なBERTは、フルイメージやビデオからのみ学習するように設計されており、このアーキテクチャは顔の微小表現の詳細を正確に検出することはできない。 本稿では,顔のマイクロ圧縮認識の新しいアプローチであるMicron-BERT(\mu$-BERT)を提案する。 提案手法は,2つの鍵となるアイデアに基づいて,これらの動きを自動的に教師なしで捉えることができる。 まず,2つのフレーム間の小さな違いを検出するために,DMA(Diagonal Micro-Attention)を用いる。 第2に,新しいPatch of Interest (PoI)モジュールを導入し,マイクロ圧縮関心領域のローカライズとハイライトを行い,ノイズの背景や気晴らしを同時に低減する。 これらのコンポーネントをエンドツーエンドのディープネットワークに組み込むことで、提案されている$\mu$-bertは、様々なマイクロ表現タスクにおいて、以前のすべての作業を大きく上回っている。 $\mu$-bertは、最大800万のイメージを含む大規模なラベルなしデータセットでトレーニングでき、新しい顔のマイクロ表現データセットで高い精度を達成している。 実証実験では、SAMM、CASME II、SMIC、CASME3を含む4つのマイクロ圧縮ベンチマークにおいて、$\mu$-BERTは一貫して最先端のパフォーマンスを上回っている。 コードは \url{https://github.com/uark-cviu/Micron-BERT} で入手できる。

関連論文リスト

• Adaptive Temporal Motion Guided Graph Convolution Network for Micro-expression Recognition [48.21696443824074]
  ATM-GCN(Adaptive Temporal Motion Guided Graph Convolution Network)と呼ばれる,マイクロ圧縮認識のための新しいフレームワークを提案する。 本フレームワークは,クリップ全体のフレーム間の時間的依存関係の把握に優れ,クリップレベルでのマイクロ圧縮認識が向上する。
  論文  参考訳（メタデータ） (2024-06-13T10:57:24Z)
• From Macro to Micro: Boosting micro-expression recognition via pre-training on macro-expression videos [9.472210792839023]
  マイクロ圧縮認識(MER)は、インテリジェント医療や嘘検出に応用される可能性があるため、近年注目を集めている。 我々は、textbfMAcro-expression textbfTO textbfMIcro-expression (MA2MI) と呼ばれる一般化トランスファー学習パラダイムを提案する。 我々のパラダイムでは、ネットワークは将来のフレームを再構築することで、微妙な顔の動きを表現する能力を学ぶことができる。
  論文  参考訳（メタデータ） (2024-05-26T06:42:06Z)
• Edge-MoE: Memory-Efficient Multi-Task Vision Transformer Architecture with Task-level Sparsity via Mixture-of-Experts [60.1586169973792]
  M$3$ViTは、Mix-of-experts (MoE)を導入した最新のマルチタスクViTモデルである。 MoEは精度の向上と80%以上の削減計算を実現しているが、FPGAに効率的なデプロイを行う上での課題は残されている。 Edge-MoEと呼ばれる私たちの研究は、アーキテクチャの革新の集合を伴って、マルチタスクのViTのための最初のエンドツーエンドFPGAアクセラレータを導入するという課題を解決します。
  論文  参考訳（メタデータ） (2023-05-30T02:24:03Z)
• Micro-Expression Recognition Based on Attribute Information Embedding and Cross-modal Contrastive Learning [22.525295392858293]
  本稿では,属性情報埋め込みとクロスモーダルコントラスト学習に基づくマイクロ圧縮認識手法を提案する。 我々はCASME II と MMEW データベースで広範な実験を行い、精度はそれぞれ77.82% と 71.04% である。
  論文  参考訳（メタデータ） (2022-05-29T12:28:10Z)
• Video-based Facial Micro-Expression Analysis: A Survey of Datasets, Features and Algorithms [52.58031087639394]
  マイクロ表現は不随意かつ過渡的な表情である。 嘘検出や犯罪検出など、幅広い応用において重要な情報を提供することができる。 マイクロ表現は過渡的で低強度であるため、検出と認識は困難であり、専門家の経験に大きく依存する。
  論文  参考訳（メタデータ） (2022-01-30T05:14:13Z)
• Short and Long Range Relation Based Spatio-Temporal Transformer for Micro-Expression Recognition [61.374467942519374]
  我々は,マイクロ圧縮認識のための最初の純粋トランスフォーマーベースアプローチである,新しいアテンポ的トランスフォーマーアーキテクチャを提案する。 空間パターンを学習する空間エンコーダと、時間的分析のための時間的次元分類と、ヘッドとを備える。 広範に使用されている3つの自発的マイクロ圧縮データセットに対する総合的な評価は,提案手法が一貫して芸術の状態を上回っていることを示している。
  論文  参考訳（メタデータ） (2021-12-10T22:10:31Z)
• Action Units That Constitute Trainable Micro-expressions (and A Large-scale Synthetic Dataset) [20.866448615388876]
  本研究では,マイクロ圧縮トレーニングデータを大規模に自動合成するプロトコルを開発することを目的とする。 具体的には、トレーニング可能なマイクロ表現を適切に構成できる3種類のアクションユニット(AU)を発見する。 これらのAUでは、様々なアイデンティティを持つ多数の顔画像と、既存の顔生成方式を用いてマイクロ圧縮合成を行う。 マイクロ圧縮認識モデルは、生成されたマイクロ圧縮データセットに基づいてトレーニングされ、実世界のテストセットで評価される。
  論文  参考訳（メタデータ） (2021-12-03T06:09:06Z)
• Micro-expression spotting: A new benchmark [74.69928316848866]
  マイクロ表現(ME)は、人々が本当の感情を隠そうとしたり、感情を隠そうとするときに起こる、簡潔で不随意の表情である。 コンピュータビジョンの分野では、MEの研究はスポッティングと認識という2つの主要なタスクに分けられる。 本稿ではSMIC-Eデータベースの拡張,すなわちSMIC-E-Longデータベースを紹介する。
  論文  参考訳（メタデータ） (2020-07-24T09:18:41Z)
• Predicting the Popularity of Micro-videos with Multimodal Variational Encoder-Decoder Framework [54.194340961353944]
  マイクロビデオ人気タスクのためのマルチモーダル変分エンコーダ・デコーダフレームワークを提案する。 MMVEDは、その人気レベルに情報を与えるマイクロビデオの埋め込みを学習する。 Xiguaから収集した公開データセットとデータセットで実施された実験は、提案したMMVEDフレームワークの有効性を実証する。
  論文  参考訳（メタデータ） (2020-03-28T06:08:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。