論文の概要: Shallow Optical Flow Three-Stream CNN for Macro- and Micro-Expression
Spotting from Long Videos
- arxiv url: http://arxiv.org/abs/2106.06489v1
- Date: Fri, 11 Jun 2021 16:19:48 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-14 14:06:24.203596
- Title: Shallow Optical Flow Three-Stream CNN for Macro- and Micro-Expression
Spotting from Long Videos
- Title(参考訳): 長編映像からのマクロ・マイクロ表現スポッティングのための浅層光フロー3ストリームcnn
- Authors: Gen-Bing Liong, John See, Lai-Kuan Wong
- Abstract要約: 本稿では,表現区間にあるフレームの確率を推定するモデルを提案する。
本稿では,最新のMEGC 2020ベンチマークにおいて提案手法の有効性と有効性を示す。
- 参考スコア(独自算出の注目度): 15.322908569777551
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Facial expressions vary from the visible to the subtle. In recent years, the
analysis of micro-expressions $-$ a natural occurrence resulting from the
suppression of one's true emotions, has drawn the attention of researchers with
a broad range of potential applications. However, spotting microexpressions in
long videos becomes increasingly challenging when intertwined with normal or
macro-expressions. In this paper, we propose a shallow optical flow
three-stream CNN (SOFTNet) model to predict a score that captures the
likelihood of a frame being in an expression interval. By fashioning the
spotting task as a regression problem, we introduce pseudo-labeling to
facilitate the learning process. We demonstrate the efficacy and efficiency of
the proposed approach on the recent MEGC 2020 benchmark, where state-of-the-art
performance is achieved on CAS(ME)$^{2}$ with equally promising results on SAMM
Long Videos.
- Abstract(参考訳): 表情は目に見えるものから微妙なものまで様々である。
近年、マイクロ表現の分析は、人間の真の感情の抑制に起因する自然発生であり、幅広い応用の可能性を持つ研究者の注目を集めている。
しかし, ビデオ中のマイクロ表現の発見は, 正規表現やマクロ表現に絡み合うとますます困難になる。
本稿では,表現区間内に存在するフレームの確率を推定するスコアを推定するために,浅い光流3ストリームCNN(SOFTNet)モデルを提案する。
本研究では,スポッティングタスクを回帰問題とすることで,学習プロセスを容易にするために擬似ラベルを導入する。
本稿では,CAS(ME)$^{2}$で最先端の性能を達成し,SAMM Long Videosでも同様に有望な結果が得られるMEGC 2020ベンチマークにおいて,提案手法の有効性と有効性を示す。
関連論文リスト
- SpotFormer: Multi-Scale Spatio-Temporal Transformer for Facial Expression Spotting [11.978551396144532]
本稿では,表情スポッティングのための効率的なフレームワークを提案する。
まず,スライディングウィンドウを用いたマルチリゾリューション・オプティカルフロー(SW-MRO)機能を提案する。
第2に,SW-MRO特徴の顔時間関係を同時に符号化し,フレームレベルの精度推定を行うマルチスケール時間変換器であるSpotFormerを提案する。
第3に,異なる種類の表現の識別性を高めるために,教師付きコントラスト学習をSpotFormerに導入する。
論文 参考訳(メタデータ) (2024-07-30T13:02:08Z) - Adaptive Temporal Motion Guided Graph Convolution Network for Micro-expression Recognition [48.21696443824074]
ATM-GCN(Adaptive Temporal Motion Guided Graph Convolution Network)と呼ばれる,マイクロ圧縮認識のための新しいフレームワークを提案する。
本フレームワークは,クリップ全体のフレーム間の時間的依存関係の把握に優れ,クリップレベルでのマイクロ圧縮認識が向上する。
論文 参考訳(メタデータ) (2024-06-13T10:57:24Z) - From Macro to Micro: Boosting micro-expression recognition via pre-training on macro-expression videos [9.472210792839023]
マイクロ圧縮認識(MER)は、インテリジェント医療や嘘検出に応用される可能性があるため、近年注目を集めている。
我々は、textbfMAcro-expression textbfTO textbfMIcro-expression (MA2MI) と呼ばれる一般化トランスファー学習パラダイムを提案する。
我々のパラダイムでは、ネットワークは将来のフレームを再構築することで、微妙な顔の動きを表現する能力を学ぶことができる。
論文 参考訳(メタデータ) (2024-05-26T06:42:06Z) - RMES: Real-Time Micro-Expression Spotting Using Phase From Riesz Pyramid [4.449835214520728]
マイクロ表現(ME)は、人々が隠そうとしている感情を明らかにすると考えられる不随意で微妙な表情である。
最近の研究は、光学フローのような詳細な顔の動きの表現を活用し、高い計算複雑性をもたらす。
本稿では,リアルタイムMEスポッティングフレームワークであるRMESを提案し,計算複雑性を低減し,リアルタイム操作を実現する。
論文 参考訳(メタデータ) (2023-05-09T15:22:18Z) - Recurrence without Recurrence: Stable Video Landmark Detection with Deep
Equilibrium Models [96.76758318732308]
本稿では,最近提案されたDeep Equilibrium Model (DEQ) が,この計算形式に自然に適応可能であることを示す。
我々のLandmark DEQ(LDEQ)は、WFLW顔ランドマークデータセット上で最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2023-04-02T19:08:02Z) - Video-based Facial Micro-Expression Analysis: A Survey of Datasets,
Features and Algorithms [52.58031087639394]
マイクロ表現は不随意かつ過渡的な表情である。
嘘検出や犯罪検出など、幅広い応用において重要な情報を提供することができる。
マイクロ表現は過渡的で低強度であるため、検出と認識は困難であり、専門家の経験に大きく依存する。
論文 参考訳(メタデータ) (2022-01-30T05:14:13Z) - Short and Long Range Relation Based Spatio-Temporal Transformer for
Micro-Expression Recognition [61.374467942519374]
我々は,マイクロ圧縮認識のための最初の純粋トランスフォーマーベースアプローチである,新しいアテンポ的トランスフォーマーアーキテクチャを提案する。
空間パターンを学習する空間エンコーダと、時間的分析のための時間的次元分類と、ヘッドとを備える。
広範に使用されている3つの自発的マイクロ圧縮データセットに対する総合的な評価は,提案手法が一貫して芸術の状態を上回っていることを示している。
論文 参考訳(メタデータ) (2021-12-10T22:10:31Z) - Efficient Lightweight 3D-CNN using Frame Skipping and Contrast
Enhancement for Facial Macro- and Micro-expression Spotting [8.249165772349127]
フレームスキップとコントラストエンハンスメント(EL-FACE)をマイクロ表現スポッティングタスクに用いて,効率的な軽量な3次元畳み込みネットワークを構築した。
我々のモデルはSAMM Long Videosの最先端性能を達成し,CAS(ME)2データセットの競争力を維持した。
論文 参考訳(メタデータ) (2021-05-13T14:55:06Z) - An Overview of Facial Micro-Expression Analysis: Data, Methodology and
Challenge [24.495792982803124]
顔のマイクロ表現は感情的なコミュニケーションの間に現れる短く、微妙な顔の動きを示します。
近年、マイクロ表現認識(MER)は、幅広いアプリケーションに恩恵をもたらす可能性があるため、多くの注目を集めています。
MERは、3つの新しい側面からアプローチする:マクロからマイクロへの適応、キー頂点フレームに基づく認識、顔アクション単位に基づく認識。
論文 参考訳(メタデータ) (2020-12-21T13:20:17Z) - Video-based Facial Expression Recognition using Graph Convolutional
Networks [57.980827038988735]
我々は、ビデオベースの表情認識のための共通のCNN-RNNモデルに、GCN(Graph Convolutional Network)層を導入する。
我々は、CK+、Oulu-CASIA、MMIの3つの広く使われているデータセットと、AFEW8.0の挑戦的なワイルドデータセットについて、本手法の評価を行った。
論文 参考訳(メタデータ) (2020-10-26T07:31:51Z) - Depth Guided Adaptive Meta-Fusion Network for Few-shot Video Recognition [86.31412529187243]
わずかにラベル付きサンプルで新しいアクションを学習することを目的としたビデオ認識はほとんどない。
本稿では,AMeFu-Netと呼ばれる映像認識のための深度誘導型適応メタフュージョンネットワークを提案する。
論文 参考訳(メタデータ) (2020-10-20T03:06:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。