論文の概要: A Two-Stage Multimodal Emotion Recognition Model Based on Graph Contrastive Learning

• arxiv url: http://arxiv.org/abs/2401.01495v1
• Date: Wed, 3 Jan 2024 01:58:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-04 15:36:10.654280
• Title: A Two-Stage Multimodal Emotion Recognition Model Based on Graph Contrastive Learning
• Title（参考訳）: グラフコントラスト学習に基づく2段階多モーダル感情認識モデル
• Authors: Wei Ai, FuChen Zhang, Tao Meng, YunTao Shou, HongEn Shao, Keqin Li
• Abstract要約: グラフコントラスト学習(TS-GCL)に基づく2段階感情認識モデルを提案する。 TS-GCL は IEMOCAP と MELD のデータセットに対して,従来の手法に比べて優れた性能を示した。
• 参考スコア（独自算出の注目度）: 13.197551708300345
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In terms of human-computer interaction, it is becoming more and more important to correctly understand the user's emotional state in a conversation, so the task of multimodal emotion recognition (MER) started to receive more attention. However, existing emotion classification methods usually perform classification only once. Sentences are likely to be misclassified in a single round of classification. Previous work usually ignores the similarities and differences between different morphological features in the fusion process. To address the above issues, we propose a two-stage emotion recognition model based on graph contrastive learning (TS-GCL). First, we encode the original dataset with different preprocessing modalities. Second, a graph contrastive learning (GCL) strategy is introduced for these three modal data with other structures to learn similarities and differences within and between modalities. Finally, we use MLP twice to achieve the final emotion classification. This staged classification method can help the model to better focus on different levels of emotional information, thereby improving the performance of the model. Extensive experiments show that TS-GCL has superior performance on IEMOCAP and MELD datasets compared with previous methods.
• Abstract（参考訳）: 人とコンピュータのインタラクションに関しては,会話中のユーザの感情状態を正確に理解することがますます重要になってきており,マルチモーダル感情認識(MER)の課題が注目されるようになった。 しかし、既存の感情分類法は、通常1回だけ分類を行う。 文は単一の分類で誤分類される可能性が高い。 以前の研究は通常、核融合過程における異なる形態的特徴の類似性と相違を無視している。 そこで本稿では,グラフコントラスト学習(TS-GCL)に基づく2段階感情認識モデルを提案する。 まず、元のデータセットを異なるプリプロセッシングモードでエンコードします。 第2に,これら3つのモーダルデータに対して,モーダル内の類似性と差異を学習するためのグラフコントラスト学習(gcl)戦略を導入する。 最後に、最後の感情分類を達成するために2回MLPを使用する。 この段階分類法は、モデルが様々なレベルの感情情報により焦点を合わせるのに役立つため、モデルの性能が向上する。 大規模な実験により、TS-GCLはIEMOCAPおよびMELDデータセットよりも優れた性能を示した。

関連論文リスト

• Queryable Prototype Multiple Instance Learning with Vision-Language Models for Incremental Whole Slide Image Classification [10.667645628712542]
  本稿では, 逐次WSI分類に特化して設計された, Queryable Prototype Multiple Instance Learning (QPMIL-VL) を用いた視覚言語ベースのフレームワークを提案する。 TCGAデータセットの4つの実験により、我々のQPMIL-VLフレームワークが漸進的なWSI分類に有効であることが示された。
  論文  参考訳（メタデータ） (2024-10-14T14:49:34Z)
• Curriculum Learning Meets Directed Acyclic Graph for Multimodal Emotion Recognition [2.4660652494309936]
  MultiDAG+CLは会話におけるマルチモーダル感情認識の新しいアプローチ このモデルはCurriculum Learning (CL)によって強化され、感情の変化やデータの不均衡に関連する課題に対処する。 IEMOCAPとMELDデータセットの実験結果は、MultiDAG+CLモデルがベースラインモデルより優れていることを示している。
  論文  参考訳（メタデータ） (2024-02-27T07:28:05Z)
• Deep Imbalanced Learning for Multimodal Emotion Recognition in Conversations [15.705757672984662]
  会話におけるマルチモーダル感情認識(MERC)は、マシンインテリジェンスにとって重要な開発方向である。 MERCのデータの多くは自然に感情カテゴリーの不均衡な分布を示しており、研究者は感情認識に対する不均衡なデータの負の影響を無視している。 生データにおける感情カテゴリーの不均衡分布に対処するクラス境界拡張表現学習(CBERL)モデルを提案する。 我々は,IEMOCAPおよびMELDベンチマークデータセットの広範な実験を行い,CBERLが感情認識の有効性において一定の性能向上を達成したことを示す。
  論文  参考訳（メタデータ） (2023-12-11T12:35:17Z)
• Convolutional autoencoder-based multimodal one-class classification [80.52334952912808]
  1クラス分類は、単一のクラスからのデータを用いた学習のアプローチを指す。 マルチモーダルデータに適した深層学習一クラス分類法を提案する。
  論文  参考訳（メタデータ） (2023-09-25T12:31:18Z)
• Multimodal Emotion Recognition with Modality-Pairwise Unsupervised Contrastive Loss [80.79641247882012]
  マルチモーダル感情認識(MER)のための教師なし特徴学習に着目した。 個別の感情を考慮し、モダリティテキスト、音声、視覚が使用される。 本手法は, 対のモダリティ間のコントラスト損失に基づくもので, MER文学における最初の試みである。
  論文  参考訳（メタデータ） (2022-07-23T10:11:24Z)
• Is Cross-Attention Preferable to Self-Attention for Multi-Modal Emotion Recognition? [36.67937514793215]
  クロスモーダル・アテンションはマルチモーダル核融合の有効なメカニズムであると考えられている。 クロスアテンションモデルと自己アテンションモデルを実装し,比較する。 7クラス感情分類タスクにおいて,異なるモードの組み合わせを用いたモデルの比較を行った。
  論文  参考訳（メタデータ） (2022-02-18T15:44:14Z)
• MEmoBERT: Pre-training Model with Prompt-based Learning for Multimodal Emotion Recognition [118.73025093045652]
  マルチモーダル感情認識のための事前学習モデル textbfMEmoBERT を提案する。 従来の「訓練前、微妙な」パラダイムとは異なり、下流の感情分類タスクをマスク付きテキスト予測として再構成するプロンプトベースの手法を提案する。 提案するMEMOBERTは感情認識性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2021-10-27T09:57:00Z)
• No Fear of Heterogeneity: Classifier Calibration for Federated Learning with Non-IID Data [78.69828864672978]
  実世界のフェデレーションシステムにおける分類モデルのトレーニングにおける中心的な課題は、非IIDデータによる学習である。 このアルゴリズムは, 近似されたssian混合モデルからサンプリングした仮想表現を用いて分類器を調整する。 実験の結果,CIFAR-10,CIFAR-100,CINIC-10など,一般的なフェデレーション学習ベンチマークにおけるCCVRの現状が示された。
  論文  参考訳（メタデータ） (2021-06-09T12:02:29Z)
• PK-GCN: Prior Knowledge Assisted Image Classification using Graph Convolution Networks [3.4129083593356433]
  クラス間の類似性は、分類のパフォーマンスに影響を与える可能性がある。 本稿では,クラス類似性の知識を畳み込みニューラルネットワークモデルに組み込む手法を提案する。 実験結果から, 利用可能なデータの量が少ない場合には, 分類精度が向上することが示唆された。
  論文  参考訳（メタデータ） (2020-09-24T18:31:35Z)
• Symbiotic Adversarial Learning for Attribute-based Person Search [86.7506832053208]
  本稿では,共生学習の枠組みとして,共生学習の基盤に2つのGANを配置する。 具体的には、2種類の生成的敵ネットワークがトレーニングプロセスを通して協調的に学習する。
  論文  参考訳（メタデータ） (2020-07-19T07:24:45Z)
• Learning Attentive Pairwise Interaction for Fine-Grained Classification [53.66543841939087]
  本稿では,細粒度分類のための簡易かつ効果的な監視ペアワイド・インタラクション・ネットワーク(API-Net)を提案する。 API-Netはまず相互機能ベクトルを学習し、入力ペアのセマンティックな違いをキャプチャする。 そして、この相互ベクトルと個々のベクトルを比較して、各入力画像のゲートを生成する。 詳細な分類において,5つの人気のあるベンチマークについて広範な実験を行った。
  論文  参考訳（メタデータ） (2020-02-24T12:17:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。