論文の概要: MSSTNet: A Multi-Scale Spatio-Temporal CNN-Transformer Network for Dynamic Facial Expression Recognition

• arxiv url: http://arxiv.org/abs/2404.08433v1
• Date: Fri, 12 Apr 2024 12:30:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-15 15:06:48.528912
• Title: MSSTNet: A Multi-Scale Spatio-Temporal CNN-Transformer Network for Dynamic Facial Expression Recognition
• Title（参考訳）: MSSTNet:動的顔表情認識のためのマルチスケール時空間CNN変換器ネットワーク
• Authors: Linhuang Wang, Xin Kang, Fei Ding, Satoshi Nakagawa, Fuji Ren,
• Abstract要約: マルチスケール時間CNN-Transformer Network (MSSTNet) を提案する。 提案手法はCNNが抽出した空間的異なるスケールを多スケール埋め込み層(MELayer)に供給する。 MELayerは、マルチスケール空間情報を抽出し、これらの特徴を符号化し、トランスフォーマー(T-Former)に送信する。
• 参考スコア（独自算出の注目度）: 4.512502015606517
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unlike typical video action recognition, Dynamic Facial Expression Recognition (DFER) does not involve distinct moving targets but relies on localized changes in facial muscles. Addressing this distinctive attribute, we propose a Multi-Scale Spatio-temporal CNN-Transformer network (MSSTNet). Our approach takes spatial features of different scales extracted by CNN and feeds them into a Multi-scale Embedding Layer (MELayer). The MELayer extracts multi-scale spatial information and encodes these features before sending them into a Temporal Transformer (T-Former). The T-Former simultaneously extracts temporal information while continually integrating multi-scale spatial information. This process culminates in the generation of multi-scale spatio-temporal features that are utilized for the final classification. Our method achieves state-of-the-art results on two in-the-wild datasets. Furthermore, a series of ablation experiments and visualizations provide further validation of our approach's proficiency in leveraging spatio-temporal information within DFER.
• Abstract（参考訳）: 典型的なビデオ行動認識とは異なり、動的顔表情認識(DFER)は特定の移動目標を含まないが、顔面筋肉の局所的な変化に依存している。 この特徴に対処し,マルチスケール時空間CNN-Transformer Network (MSSTNet)を提案する。 提案手法は,CNN が抽出した異なるスケールの空間的特徴を多スケール埋め込み層 (MELayer) に供給する。 MELayerは、T-Former(T-Former)に送信する前に、マルチスケールの空間情報を抽出し、これらの特徴を符号化する。 T-Formerは、マルチスケール空間情報を連続的に統合しつつ、同時に時間情報を抽出する。 このプロセスは、最終分類に使用されるマルチスケールの時空間的特徴の生成を決定づける。 提案手法は,2つのアプリ内データセットの最先端結果を実現する。 さらに、一連のアブレーション実験と可視化により、DFER内の時空間情報を活用するためのアプローチの習熟度をさらに検証することができる。

関連論文リスト

• Spatial-Temporal Knowledge-Embedded Transformer for Video Scene Graph Generation [64.85974098314344]
  映像シーングラフ生成(VidSGG)は、映像シーン内の物体を特定し、その映像との関係を推測することを目的としている。 因みに、オブジェクトペアとその関係は、各画像内の空間的共起相関と、異なる画像間の時間的一貫性/遷移相関を享受する。 本稿では,従来の空間的時間的知識をマルチヘッド・クロスアテンション機構に組み込んだ時空間的知識埋め込み型トランス (STKET) を提案する。
  論文  参考訳（メタデータ） (2023-09-23T02:40:28Z)
• LOGO-Former: Local-Global Spatio-Temporal Transformer for Dynamic Facial Expression Recognition [19.5702895176141]
  野生の表情認識(DFER)の従来の方法は、主にCNN(Convolutional Neural Networks)に基づいており、ローカル操作はビデオの長距離依存性を無視している。 DFERのトランスフォーマーを用いた性能向上手法を提案するが,高いFLOPと計算コストが生じる。 DFEW と FERV39K の2つの動的表情データセットの実験結果から,DFER の空間的および時間的依存関係を効果的に活用する方法が示唆された。
  論文  参考訳（メタデータ） (2023-05-05T07:53:13Z)
• Deeply-Coupled Convolution-Transformer with Spatial-temporal Complementary Learning for Video-based Person Re-identification [91.56939957189505]
  本稿では,高性能ビデオベース Re-ID のための新しい時空間補完学習フレームワークである Deeply-Coupled Convolution-Transformer (DCCT) を提案する。 私たちのフレームワークは、ほとんどの最先端のメソッドよりも優れたパフォーマンスを実現できます。
  論文  参考訳（メタデータ） (2023-04-27T12:16:44Z)
• Spatio-Temporal Transformer for Dynamic Facial Expression Recognition in the Wild [19.5702895176141]
  本稿では,各フレームモデル内の異種特徴を抽出する手法を提案する。 我々はCNNを用いて各フレームを視覚的特徴系列に変換する。 実験の結果,本手法は空間的および時間的依存を効果的に活用できることが示された。
  論文  参考訳（メタデータ） (2022-05-10T08:47:15Z)
• Multi-scale temporal network for continuous sign language recognition [10.920363368754721]
  連続手話認識は,手話データの時間的順序に関する正確なアノテーションがないため,困難な研究課題である。 本稿では,より正確な時間的特徴を抽出するマルチスケール時間的ネットワーク(MSTNet)を提案する。 2つの公開データセットによる実験結果から,従来の知識を使わずに手話の特徴をエンドツーエンドで効果的に抽出できることが示されている。
  論文  参考訳（メタデータ） (2022-04-08T06:14:22Z)
• Slow-Fast Visual Tempo Learning for Video-based Action Recognition [78.3820439082979]
  アクション・ビジュアル・テンポ(Action visual tempo)は、アクションのダイナミクスと時間スケールを特徴付ける。 以前の方法は、複数のレートで生のビデオをサンプリングするか、階層的にバックボーンの特徴をサンプリングすることによって、視覚的テンポをキャプチャする。 単一層における低レベルバックボーン特徴からアクション・テンポを抽出するための時間相関モジュール(TCM)を提案する。
  論文  参考訳（メタデータ） (2022-02-24T14:20:04Z)
• Spatial-Temporal Correlation and Topology Learning for Person Re-Identification in Videos [78.45050529204701]
  クロススケール空間時空間相関をモデル化し, 識別的, 堅牢な表現を追求する新しい枠組みを提案する。 CTLはCNNバックボーンとキーポイント推定器を使用して人体から意味的局所的特徴を抽出する。 グローバルな文脈情報と人体の物理的接続の両方を考慮して、多スケールグラフを構築するためのコンテキスト強化トポロジーを探求する。
  論文  参考訳（メタデータ） (2021-04-15T14:32:12Z)
• DS-Net: Dynamic Spatiotemporal Network for Video Salient Object Detection [78.04869214450963]
  時間情報と空間情報のより効果的な融合のための新しい動的時空間ネットワーク(DSNet)を提案する。 提案手法は最先端アルゴリズムよりも優れた性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-12-09T06:42:30Z)
• Video-based Facial Expression Recognition using Graph Convolutional Networks [57.980827038988735]
  我々は、ビデオベースの表情認識のための共通のCNN-RNNモデルに、GCN(Graph Convolutional Network)層を導入する。 我々は、CK+、Oulu-CASIA、MMIの3つの広く使われているデータセットと、AFEW8.0の挑戦的なワイルドデータセットについて、本手法の評価を行った。
  論文  参考訳（メタデータ） (2020-10-26T07:31:51Z)
• Leveraging Tacit Information Embedded in CNN Layers for Visual Tracking [1.7188280334580193]
  そこで本研究では,複数のCNN層を1つのDCFトラッカーにアダプティブに組み合わせて,ターゲットの外観の変動に対処する手法を提案する。 実験では、CNNの暗黙のデータ層を使用することで、トラッカーが大幅に改善されている。
  論文  参考訳（メタデータ） (2020-10-02T21:16:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。