論文の概要: MTCAE-DFER: Multi-Task Cascaded Autoencoder for Dynamic Facial Expression Recognition
- arxiv url: http://arxiv.org/abs/2412.18988v1
- Date: Wed, 25 Dec 2024 21:52:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-30 17:27:29.457018
- Title: MTCAE-DFER: Multi-Task Cascaded Autoencoder for Dynamic Facial Expression Recognition
- Title（参考訳）: MTCAE-DFER:動的表情認識のためのマルチタスクカスケードオートエンコーダ
- Authors: Peihao Xiang, Kaida Wu, Chaohao Lin, Ou Bai,
- Abstract要約: 本稿では、動的表情認識のための自動エンコーダに基づくマルチタスク学習(MTL)フレームワークのカスケードネットワークブランチを拡張した。
オートエンコーダを用いたマルチタスク学習手法を用いて,動的顔検出と動的顔ランドマークが動的表情認識に与える影響を探索する。
- 参考スコア（独自算出の注目度）: 0.19285000127136376
- License:
- Abstract: This paper expands the cascaded network branch of the autoencoder-based multi-task learning (MTL) framework for dynamic facial expression recognition, namely Multi-Task Cascaded Autoencoder for Dynamic Facial Expression Recognition (MTCAE-DFER). MTCAE-DFER builds a plug-and-play cascaded decoder module, which is based on the Vision Transformer (ViT) architecture and employs the decoder concept of Transformer to reconstruct the multi-head attention module. The decoder output from the previous task serves as the query (Q), representing local dynamic features, while the Video Masked Autoencoder (VideoMAE) shared encoder output acts as both the key (K) and value (V), representing global dynamic features. This setup facilitates interaction between global and local dynamic features across related tasks. Additionally, this proposal aims to alleviate overfitting of complex large model. We utilize autoencoder-based multi-task cascaded learning approach to explore the impact of dynamic face detection and dynamic face landmark on dynamic facial expression recognition, which enhances the model's generalization ability. After we conduct extensive ablation experiments and comparison with state-of-the-art (SOTA) methods on various public datasets for dynamic facial expression recognition, the robustness of the MTCAE-DFER model and the effectiveness of global-local dynamic feature interaction among related tasks have been proven.
- Abstract（参考訳）: 本稿では、動的表情認識のための自動エンコーダに基づくマルチタスク学習(MTL)フレームワーク、すなわち動的表情認識のためのマルチタスクカスケードオートエンコーダ(MTCAE-DFER)のカスケードネットワークブランチを拡張する。
MTCAE-DFER は ViT (Vision Transformer) アーキテクチャをベースとして,マルチヘッドアテンションモジュールの再構築に Transformer というデコーダの概念を採用している。
以前のタスクからのデコーダ出力は、ローカルな動的特徴を表すクエリ(Q)として機能し、ビデオマズードオートエンコーダ(Video Masked Autoencoder)共有エンコーダ出力は、グローバルな動的特徴を表すキー(K)と値(V)の両方として機能する。
このセットアップは、グローバルとローカルの動的機能間の相互作用を、関連するタスク間で促進する。
さらに、この提案は、複雑な大規模モデルの過剰適合を軽減することを目的としている。
オートエンコーダを用いたマルチタスク学習手法を用いて、動的顔検出と動的顔ランドマークが動的表情認識に与える影響を探索し、モデルの一般化能力を高める。
動的表情認識のための様々なパブリックデータセット上で,広範囲なアブレーション実験を行い,SOTA法との比較を行った結果,MSCAE-DFERモデルの堅牢性と,関連するタスク間のグローバルな動的特徴相互作用の有効性が証明された。
関連論文リスト
- EraW-Net: Enhance-Refine-Align W-Net for Scene-Associated Driver Attention Estimation [17.0226030258296]
2つの視野にわたる運転シーンにドライバーの注意を関連付けることは、クロスドメインな認識の問題である。
従来の手法は、通常、単一の視点に焦点を当てたり、推定された視線を通してシーンに注意を向ける。
エンド・ツー・エンドのシーン関連運転注意度推定手法であるEraWNetを提案する。
論文 参考訳（メタデータ） (2024-08-16T07:12:47Z) - Dynamic Appearance: A Video Representation for Action Recognition with
Joint Training [11.746833714322154]
本稿では,映像中の動きに関連する外観情報を要約した新しい概念である動的外観(DA)を紹介する。
生のビデオデータからダイナミックな外観を抽出する手法を,効率的な映像理解の手段として検討する。
4つの行動認識ベンチマークにおいて、広範囲な実験結果を提供する。
論文 参考訳（メタデータ） (2022-11-23T07:16:16Z) - Dynamic MDETR: A Dynamic Multimodal Transformer Decoder for Visual
Grounding [27.568879624013576]
マルチモーダルトランスは、視覚的な接地のために画像とテキストを整列させる高い能力と柔軟性を示す。
既存のエンコーダのみの接地フレームワークは、2次時間複雑性を持つ自己注意操作のために重い計算に悩まされている。
本稿では,動的MDETR(Dynamic Mutilmodal DETR)について述べる。
論文 参考訳（メタデータ） (2022-09-28T09:43:02Z) - Masked World Models for Visual Control [90.13638482124567]
視覚表現学習と動的学習を分離する視覚モデルに基づくRLフレームワークを提案する。
提案手法は,様々な視覚ロボット作業における最先端性能を実現する。
論文 参考訳（メタデータ） (2022-06-28T18:42:27Z) - Deeply Interleaved Two-Stream Encoder for Referring Video Segmentation [87.49579477873196]
まず,CNNに基づく視覚特徴とトランスフォーマーに基づく言語特徴を階層的に抽出する2ストリームエンコーダを設計する。
視覚言語相互誘導(VLMG)モジュールをエンコーダに複数回挿入し,多モード特徴の階層的および進行的融合を促進する。
フレーム間の時間的アライメントを促進するために,言語誘導型マルチスケール動的フィルタリング(LMDF)モジュールを提案する。
論文 参考訳（メタデータ） (2022-03-30T01:06:13Z) - Video Coding for Machine: Compact Visual Representation Compression for
Intelligent Collaborative Analytics [101.35754364753409]
Video Coding for Machines (VCM) は、ビデオ/画像圧縮と特徴圧縮をある程度別々の研究トラックにブリッジすることを約束している。
本稿では,既存の学術・産業活動に基づくVCM方法論と哲学を要約する。
論文 参考訳（メタデータ） (2021-10-18T12:42:13Z) - Multi-modal Visual Place Recognition in Dynamics-Invariant Perception
Space [23.43468556831308]
このレターは、動的環境における位置認識を改善するために、意味的および視覚的モダリティのマルチモーダル融合の使用を探求する。
これを実現するには、まず静的セマンティックセグメンテーションを生成するための新しいディープラーニングアーキテクチャを設計します。
次に,空間的ピラミドマッチングモデルを用いて,静的意味セグメンテーションを特徴ベクトルに符号化する。
並行して、静的なイメージは人気のあるbag-of-wordsモデルを使ってエンコードされる。
論文 参考訳（メタデータ） (2021-05-17T13:14:52Z) - Dynamic Graph Representation Learning for Video Dialog via Multi-Modal
Shuffled Transformers [89.00926092864368]
音声・視覚シーン認識ダイアログタスクのためのセマンティクス制御型マルチモーダルシャッフルトランスフォーマー推論フレームワークを提案する。
また,フレーム内推論層を用いた動的シーングラフ表現学習パイプラインを提案する。
その結果,全ての評価指標について最先端の性能を示すことができた。
論文 参考訳（メタデータ） (2020-07-08T02:00:22Z) - Motion-Attentive Transition for Zero-Shot Video Object Segmentation [99.44383412488703]
ゼロショットオブジェクトセグメンテーションのためのモーション・アテンタティブ・トランジション・ネットワーク(MATNet)を提案する。
モーション・アテンティブ・トランジション (MAT) と呼ばれる非対称のアテンションブロックは、2ストリームエンコーダ内に設計されている。
このように、エンコーダは深く相互に作用し、物体の動きと外観の間の密な階層的な相互作用を可能にする。
論文 参考訳（メタデータ） (2020-03-09T16:58:42Z) - An Emerging Coding Paradigm VCM: A Scalable Coding Approach Beyond
Feature and Signal [99.49099501559652]
Video Coding for Machine (VCM)は、視覚的特徴圧縮と古典的なビデオ符号化のギャップを埋めることを目的としている。
我々は,学習した動きパターンのガイダンスを用いて,映像フレームを再構成するために条件付き深層生成ネットワークを用いる。
予測モデルを介してスパース動作パターンを抽出することを学ぶことにより、特徴表現をエレガントに活用し、符号化されたフレームの外観を生成する。
論文 参考訳（メタデータ） (2020-01-09T14:18:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。