Fugu-MT 論文翻訳(概要): A Joint Cross-Attention Model for Audio-Visual Fusion in Dimensional Emotion Recognition

論文の概要: A Joint Cross-Attention Model for Audio-Visual Fusion in Dimensional Emotion Recognition

arxiv url: http://arxiv.org/abs/2203.14779v4
Date: Sat, 6 Jul 2024 14:49:19 GMT
ステータス: 処理完了
システム内更新日: 2024-07-10 06:02:09.152476
Title: A Joint Cross-Attention Model for Audio-Visual Fusion in Dimensional Emotion Recognition
Title（参考訳）: 三次元感情認識における音声・視覚融合の連関型クロスアテンションモデル
Authors: R. Gnana Praveen, Wheidima Carneiro de Melo, Nasib Ullah, Haseeb Aslam, Osama Zeeshan, Théo Denorme, Marco Pedersoli, Alessandro Koerich, Simon Bacon, Patrick Cardinal, Eric Granger,
Abstract要約: ビデオから抽出した顔と声の融合に基づく次元的感情認識に焦点を当てた。本稿では, 相補的関係に依拠し, 有意な特徴を抽出する連係関係モデルを提案する。提案したA-V融合モデルにより,最先端の手法より優れたコスト効率のソリューションが提供される。
参考スコア（独自算出の注目度）: 46.443866373546726
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Multimodal emotion recognition has recently gained much attention since it can leverage diverse and complementary relationships over multiple modalities (e.g., audio, visual, biosignals, etc.), and can provide some robustness to noisy modalities. Most state-of-the-art methods for audio-visual (A-V) fusion rely on recurrent networks or conventional attention mechanisms that do not effectively leverage the complementary nature of A-V modalities. In this paper, we focus on dimensional emotion recognition based on the fusion of facial and vocal modalities extracted from videos. Specifically, we propose a joint cross-attention model that relies on the complementary relationships to extract the salient features across A-V modalities, allowing for accurate prediction of continuous values of valence and arousal. The proposed fusion model efficiently leverages the inter-modal relationships, while reducing the heterogeneity between the features. In particular, it computes the cross-attention weights based on correlation between the combined feature representation and individual modalities. By deploying the combined A-V feature representation into the cross-attention module, the performance of our fusion module improves significantly over the vanilla cross-attention module. Experimental results on validation-set videos from the AffWild2 dataset indicate that our proposed A-V fusion model provides a cost-effective solution that can outperform state-of-the-art approaches. The code is available on GitHub: https://github.com/praveena2j/JointCrossAttentional-AV-Fusion.
Abstract（参考訳）: マルチモーダル感情認識は、複数のモーダル(例えば、音声、視覚、生体信号など)に対する多様で相補的な関係を活用でき、ノイズの多いモーダルに対してある程度の堅牢性を提供できるため、近年注目を集めている。オーディオ・ヴィジュアル・フュージョン(A-V)のほとんどの最先端手法は、A-Vの相補的な性質を効果的に活用しないリカレント・ネットワークや従来の注意機構に依存している。本稿では,映像から抽出した顔と声の融合に基づく次元的感情認識に焦点を当てた。具体的には,A-Vモダリティ間で有意な特徴を抽出するために,相補的関係に依存した連係関係モデルを提案する。提案した融合モデルは,特徴間の不均一性を低減しつつ,モーダル間関係を効率的に活用する。特に、合成特徴表現と個々のモダリティの相関関係に基づいて、クロスアテンション重みを計算する。結合したA-V特徴表現をクロスアテンションモジュールにデプロイすることで、当社の融合モジュールの性能はバニラクロスアテンションモジュールよりも大幅に向上する。 AffWild2データセットによる検証セットビデオの実験結果から,提案したA-V融合モデルが,最先端のアプローチよりも優れたコスト効率のソリューションを提供することが示された。コードはGitHubで入手できる。 https://github.com/praveena2j/JointCrossAttentional-AV-Fusion。

関連論文リスト

Dynamic Cross Attention for Audio-Visual Person Verification [3.5803801804085347]
本研究では,動的クロスアテンション(DCA)モデルを提案する。特に、コンディショナルゲーティング層は、クロスアテンション機構の寄与を評価するように設計されている。 Voxceleb1データセットで大規模な実験を行い、提案モデルの堅牢性を実証した。
論文参考訳（メタデータ） (2024-03-07T17:07:51Z)
Audio-Visual Person Verification based on Recursive Fusion of Joint Cross-Attention [3.5803801804085347]
本稿では,クロスアテンショナル・フレームワークにおいて,共同音声・視覚的特徴表現が使用されるような,共同のクロスアテンショナル・モデルを提案する。また,音声・視覚的特徴表現の時間的モデリングを改善するため,BLSTMについても検討する。その結果,本モデルでは,モーダル内関係とモーダル間関係を良好に捉えることにより,融合性能が向上することが示唆された。
論文参考訳（メタデータ） (2024-03-07T16:57:45Z)
Recursive Joint Attention for Audio-Visual Fusion in Regression based Emotion Recognition [15.643176705932396]
映像に基づく感情認識では、音声(A)と視覚(V)の相補的関係を活用することが重要である。本稿では,AとVの相補的な性質を利用する可能性について,共同配置モデルを用いて検討する。我々のモデルは、AとVの融合において、モーダル内関係とモーダル間関係の両方を効率的に利用することができる。
論文参考訳（メタデータ） (2023-04-17T02:57:39Z)
Audio-Visual Fusion for Emotion Recognition in the Valence-Arousal Space Using Joint Cross-Attention [15.643176705932396]
本稿では, A-V 融合のための連成連成連成連接モデルを提案し, A-V のモダリティ間で有意な特徴を抽出する。ジョイント特徴表現と個々のモダリティの相関に基づいて、クロスアテンション重みを計算する。以上の結果から,我々の連立アテンショナルA-V融合モデルが,最先端のアプローチより優れたコスト効率のソリューションとなることが示唆された。
論文参考訳（メタデータ） (2022-09-19T15:01:55Z)
MMLatch: Bottom-up Top-down Fusion for Multimodal Sentiment Analysis [84.7287684402508]
マルチモーダル融合に対する最近のディープラーニングアプローチは、ハイレベルおよびミドルレベルの潜在モダリティ表現のボトムアップ融合に依存している。人間の知覚モデルでは、高レベルの表現が感覚入力の知覚に影響を及ぼすトップダウン融合の重要性を強調している。本稿では,ネットワークトレーニング中のフォワードパスにおけるフィードバック機構を用いて,トップダウンのクロスモーダルインタラクションをキャプチャするニューラルネットワークを提案する。
論文参考訳（メタデータ） (2022-01-24T17:48:04Z)
Cross Attentional Audio-Visual Fusion for Dimensional Emotion Recognition [13.994609732846344]
最も効果的な感情認識技術は、多種多様な情報ソースを効果的に活用する。本稿では,音声視覚(A-V)モダリティ間で有意な特徴を抽出するための相互注意型融合手法を提案する。その結果、我々のA-V融合モデルは、最先端の融合アプローチよりも優れたコスト効率のアプローチであることが示唆された。
論文参考訳（メタデータ） (2021-11-09T16:01:56Z)
Bi-Bimodal Modality Fusion for Correlation-Controlled Multimodal Sentiment Analysis [96.46952672172021]
Bi-Bimodal Fusion Network (BBFN) は、2対のモダリティ表現で融合を行う新しいエンドツーエンドネットワークである。モデルは、モダリティ間の既知の情報不均衡により、2つのバイモーダルペアを入力として取る。
論文参考訳（メタデータ） (2021-07-28T23:33:42Z)
Attention Bottlenecks for Multimodal Fusion [90.75885715478054]
機械知覚モデルは典型的にはモダリティに特化しており、単調なベンチマークのために最適化されている。複数の層でのモジュラリティ融合に「融合」を用いる新しいトランスフォーマーアーキテクチャを導入する。我々は、徹底的なアブレーション研究を行い、複数のオーディオ視覚分類ベンチマークで最先端の結果を得る。
論文参考訳（メタデータ） (2021-06-30T22:44:12Z)
Learning Multimodal VAEs through Mutual Supervision [72.77685889312889]
MEMEは、相互監督を通じて暗黙的にモダリティ間の情報を結合する。我々は、MEMEが、部分的および完全観察スキームの双方で標準メトリクスのベースラインを上回ることを実証する。
論文参考訳（メタデータ） (2021-06-23T17:54:35Z)
Dynamic Dual-Attentive Aggregation Learning for Visible-Infrared Person Re-Identification [208.1227090864602]
Visible-infrared person re-identification (VI-ReID) は、歩行者検索の課題である。既存のVI-ReID法は、識別可能性に制限があり、ノイズの多い画像に対して弱いロバスト性を持つグローバル表現を学習する傾向にある。そこで我々は,VI-ReIDのための動的二段階集合(DDAG)学習法を提案する。
論文参考訳（メタデータ） (2020-07-18T03:08:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。