論文の概要: Leveraging Retrieval Augment Approach for Multimodal Emotion Recognition Under Missing Modalities

• arxiv url: http://arxiv.org/abs/2410.02804v1
• Date: Thu, 19 Sep 2024 02:31:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-03 05:44:23.558343
• Title: Leveraging Retrieval Augment Approach for Multimodal Emotion Recognition Under Missing Modalities
• Title（参考訳）: モダリティの欠如によるマルチモーダル感情認識のための検索強化手法の活用
• Authors: Qi Fan, Hongyu Yuan, Haolin Zuo, Rui Liu, Guanglai Gao,
• Abstract要約: 我々は,Multimodal Emotion Recognition(RAMER)の欠如に対する検索機能強化の新たな枠組みを提案する。 我々のフレームワークは、欠落したモダリティMERタスクにおける最先端のアプローチよりも優れている。
• 参考スコア（独自算出の注目度）: 16.77191718894291
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal emotion recognition utilizes complete multimodal information and robust multimodal joint representation to gain high performance. However, the ideal condition of full modality integrity is often not applicable in reality and there always appears the situation that some modalities are missing. For example, video, audio, or text data is missing due to sensor failure or network bandwidth problems, which presents a great challenge to MER research. Traditional methods extract useful information from the complete modalities and reconstruct the missing modalities to learn robust multimodal joint representation. These methods have laid a solid foundation for research in this field, and to a certain extent, alleviated the difficulty of multimodal emotion recognition under missing modalities. However, relying solely on internal reconstruction and multimodal joint learning has its limitations, especially when the missing information is critical for emotion recognition. To address this challenge, we propose a novel framework of Retrieval Augment for Missing Modality Multimodal Emotion Recognition (RAMER), which introduces similar multimodal emotion data to enhance the performance of emotion recognition under missing modalities. By leveraging databases, that contain related multimodal emotion data, we can retrieve similar multimodal emotion information to fill in the gaps left by missing modalities. Various experimental results demonstrate that our framework is superior to existing state-of-the-art approaches in missing modality MER tasks. Our whole project is publicly available on https://github.com/WooyoohL/Retrieval_Augment_MER.
• Abstract（参考訳）: マルチモーダル感情認識は、完全なマルチモーダル情報とロバストなマルチモーダル関節表現を利用して高い性能を得る。 しかし、完全なモダリティ整合性の理想的な条件は現実には適用されないことが多く、いくつかのモダリティが欠落している状況が常に現れる。 例えば、センサーの故障やネットワーク帯域幅の問題により、ビデオ、オーディオ、テキストデータが欠落しているため、MERの研究には大きな課題がある。 従来の手法では、完全なモダリティから有用な情報を抽出し、欠落したモダリティを再構築し、堅牢なマルチモーダルな関節表現を学習する。 これらの手法は、この分野の研究の確固たる基盤を築き、ある程度は、欠落したモダリティの下でのマルチモーダル感情認識の難しさを和らげている。 しかし、内部再構成とマルチモーダル・ジョイント・ラーニングにのみ依存することは、特に、欠落した情報が感情認識に不可欠である場合に、その限界がある。 この課題に対処するため,Multimodal Emotion Recognition (RAMER) の新たなフレームワークを提案する。 関連するマルチモーダル感情データを含むデータベースを活用することで、類似したマルチモーダル感情情報を検索して、欠落したモーダルによって残されたギャップを埋めることができる。 種々の実験結果から,本フレームワークは,MERタスクの欠落において,既存の最先端手法よりも優れていることが示された。 私たちのプロジェクトは、https://github.com/WooyoohL/Retrieval_Augment_MERで公開されています。

関連論文リスト

• WavFusion: Towards wav2vec 2.0 Multimodal Speech Emotion Recognition [2.3367170233149324]
  We propose WavFusion, a multimodal speech emotion recognition framework。 WavFusionは、効果的なマルチモーダル融合、モダリティ、差別的表現学習における重要な研究課題に対処する。 本研究は, 精度の高いマルチモーダルSERにおいて, ニュアンスな相互モーダル相互作用を捉え, 識別表現を学習することの重要性を強調した。
  論文  参考訳（メタデータ） (2024-12-07T06:43:39Z)
• Chameleon: Images Are What You Need For Multimodal Learning Robust To Missing Modalities [17.723207830420996]
  マルチモーダル学習法は、1つ以上のモダリティが欠如している場合、劣化した性能を示すことが多い。 本稿では,従来のマルチブランチ設計から完全に逸脱した,頑健なテキスト-視覚的マルチモーダル学習手法Chameleonを提案する。 実験は、Hateful Memes, UPMC Food-101, MM-IMDb, Ferramentaの4つの一般的なデータセットで行われている。
  論文  参考訳（メタデータ） (2024-07-23T07:29:57Z)
• Multimodal Prompt Learning with Missing Modalities for Sentiment Analysis and Emotion Recognition [52.522244807811894]
  本稿では,欠落したモダリティの問題に対処するために,即時学習を用いた新しいマルチモーダルトランスフォーマーフレームワークを提案する。 提案手法では,生成的プロンプト,欠信号プロンプト,欠信号プロンプトの3種類のプロンプトを導入している。 迅速な学習を通じて、トレーニング可能なパラメータの数を大幅に削減する。
  論文  参考訳（メタデータ） (2024-07-07T13:55:56Z)
• All in One Framework for Multimodal Re-identification in the Wild [58.380708329455466]
  オールインワン(AIO)という,ReID導入のためのマルチモーダル学習パラダイム AIOは、凍結したトレーニング済みのビッグデータをエンコーダとして利用し、追加の微調整なしに効果的なマルチモーダル検索を可能にする。 クロスモーダルおよびマルチモーダルReIDの実験により、AIOは様々なモーダルデータを扱うだけでなく、困難な状況でも優れていることが明らかになった。
  論文  参考訳（メタデータ） (2024-05-08T01:04:36Z)
• Exploring Missing Modality in Multimodal Egocentric Datasets [89.76463983679058]
  モダリティが欠如している場合でも,MMT(Missing Modality Token)という新しい概念を導入してパフォーマンスを維持する。 テストセットの半分がモダル不完全である場合、元の$sim 30%$ dropから$sim 10%$に減らします。
  論文  参考訳（メタデータ） (2024-01-21T11:55:42Z)
• Cross-Attention is Not Enough: Incongruity-Aware Dynamic Hierarchical Fusion for Multimodal Affect Recognition [69.32305810128994]
  モダリティ間の同調性は、特に認知に影響を及ぼすマルチモーダル融合の課題となる。 本稿では,動的モダリティゲーティング(HCT-DMG)を用いた階層型クロスモーダルトランスを提案する。 HCT-DMG: 1) 従来のマルチモーダルモデルを約0.8Mパラメータで上回り、2) 不整合が認識に影響を及ぼすハードサンプルを認識し、3) 潜在レベルの非整合性をクロスモーダルアテンションで緩和する。
  論文  参考訳（メタデータ） (2023-05-23T01:24:15Z)
• Versatile audio-visual learning for emotion recognition [28.26077129002198]
  本研究では,非モーダル・マルチモーダルシステムを扱うための多目的音声視覚学習フレームワークを提案する。 我々は,この効果的な表現学習を,音声-視覚的共有層,共有層上の残差接続,および非モーダル再構成タスクで実現した。 特に、VAVLは、MSP-IMPROVコーパスの感情予測タスクにおいて、新しい最先端のパフォーマンスを得る。
  論文  参考訳（メタデータ） (2023-05-12T03:13:37Z)
• Multimodal Emotion Recognition with Modality-Pairwise Unsupervised Contrastive Loss [80.79641247882012]
  マルチモーダル感情認識(MER)のための教師なし特徴学習に着目した。 個別の感情を考慮し、モダリティテキスト、音声、視覚が使用される。 本手法は, 対のモダリティ間のコントラスト損失に基づくもので, MER文学における最初の試みである。
  論文  参考訳（メタデータ） (2022-07-23T10:11:24Z)
• Deep Auto-Encoders with Sequential Learning for Multimodal Dimensional Emotion Recognition [38.350188118975616]
  本稿では、2ストリームのオートエンコーダと、感情認識のための長期記憶からなる新しいディープニューラルネットワークアーキテクチャを提案する。 野生データセットRECOLAにおけるマルチモーダル感情に関する広範な実験を行った。 実験の結果,提案手法は最先端の認識性能を達成し,既存のスキームをはるかに上回っていることがわかった。
  論文  参考訳（メタデータ） (2020-04-28T01:25:00Z)
• Robust Multimodal Brain Tumor Segmentation via Feature Disentanglement and Gated Fusion [71.87627318863612]
  画像モダリティの欠如に頑健な新しいマルチモーダルセグメンテーションフレームワークを提案する。 我々のネットワークは、入力モードをモダリティ固有の外観コードに分解するために、特徴不整合を用いる。 我々は,BRATSチャレンジデータセットを用いて,重要なマルチモーダル脳腫瘍セグメンテーション課題に対する本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2020-02-22T14:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。