論文の概要: Hybrid Multimodal Feature Extraction, Mining and Fusion for Sentiment Analysis

• arxiv url: http://arxiv.org/abs/2208.03051v1
• Date: Fri, 5 Aug 2022 09:07:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-08 12:16:25.698628
• Title: Hybrid Multimodal Feature Extraction, Mining and Fusion for Sentiment Analysis
• Title（参考訳）: 感性分析のためのハイブリッドマルチモーダル特徴抽出, マイニング, 融合
• Authors: Jia Li, Ziyang Zhang, Junjie Lang, Yueqi Jiang, Liuwei An, Peng Zou, Yangyang Xu, Sheng Gao, Jie Lin, Chunxiao Fan, Xiao Sun, Meng Wang
• Abstract要約: 我々は,MuSe-Humor, MuSe-Reaction, MuSe-Stress Sub-challengesを含む2022年度のMultimodal Sentiment Analysis Challengeのソリューションを提案する。 MuSe 2022はユーモアの検出、感情反応、さまざまなモダリティとデータセットを活用するマルチモーダルな感情ストレスに焦点を当てている。
• 参考スコア（独自算出の注目度）: 31.097398034974436
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we present our solutions for the Multimodal Sentiment Analysis Challenge (MuSe) 2022, which includes MuSe-Humor, MuSe-Reaction and MuSe-Stress Sub-challenges. The MuSe 2022 focuses on humor detection, emotional reactions and multimodal emotional stress utilising different modalities and data sets. In our work, different kinds of multimodal features are extracted, including acoustic, visual, text and biological features. These features are fused by TEMMA and GRU with self-attention mechanism frameworks. In this paper, 1) several new audio features, facial expression features and paragraph-level text embeddings are extracted for accuracy improvement. 2) we substantially improve the accuracy and reliability for multimodal sentiment prediction by mining and blending the multimodal features. 3) effective data augmentation strategies are applied in model training to alleviate the problem of sample imbalance and prevent the model form learning biased subject characters. For the MuSe-Humor sub-challenge, our model obtains the AUC score of 0.8932. For the MuSe-Reaction sub-challenge, the Pearson's Correlations Coefficient of our approach on the test set is 0.3879, which outperforms all other participants. For the MuSe-Stress sub-challenge, our approach outperforms the baseline in both arousal and valence on the test dataset, reaching a final combined result of 0.5151.
• Abstract（参考訳）: 本稿では、MuSe-Humor, MuSe-Reaction, MuSe-Stress Sub-challengesを含むマルチモーダル感性分析チャレンジ(MuSe)2022のソリューションを提案する。 MuSe 2022はユーモアの検出、感情反応、さまざまなモダリティとデータセットを活用するマルチモーダルな感情ストレスに焦点を当てている。 本研究では,音響,視覚,テキスト,生物学的特徴を含む多様なマルチモーダル特徴を抽出した。 これらの機能はTEMMAとGRUによって自己保持機構フレームワークで融合されている。 この論文では 1) 新しい音声特徴,表情特徴,段落レベルのテキスト埋め込みを抽出し,精度の向上を図る。 2)マルチモーダル特徴をマイニングし混合することにより,マルチモーダル感情予測の精度と信頼性を大幅に向上させる。 3) 効果的なデータ拡張戦略をモデル学習に適用し, サンプル不均衡の問題を軽減し, モデルフォーム学習対象文字の偏りを防止する。 MuSe-Humorサブチャレンジでは、AUCスコアが0.8932である。 MuSe-Reactionサブチャレンジでは、テストセットに対する我々のアプローチの相関係数は0.3879であり、他のすべての参加者より優れている。 muse-stress sub-challengeでは、テストデータセットのベースラインをarousalとvalenceの両方で上回り、0.5151という最終結果に達した。

関連論文リスト

• The MuSe 2024 Multimodal Sentiment Analysis Challenge: Social Perception and Humor Recognition [64.5207572897806]
  マルチモーダル・センティメント・アナリティクス・チャレンジ (MuSe) 2024は、現代の2つのマルチモーダル・インフルエンスと感情分析の問題に対処する。 Social Perception Sub-Challenge (MuSe-Perception)では、参加者は16種類の個人の社会的属性を予測する。 クロスカルカルカルチャー・ヒューモー検出サブチャレンジ(MuSe-Humor)データセットは、Passau Spontaneous Football Coach Humorデータセット上に拡張される。
  論文  参考訳（メタデータ） (2024-06-11T22:26:20Z)
• Exploiting Diverse Feature for Multimodal Sentiment Analysis [40.39627083212711]
  我々は, MuSe 2023 Multimodal Sentiment Analysis Challenge において, MuSe-Personalization sub-challenge に対するソリューションを提案する。 異なる人物が個性を持っていることを考えると、このタスクの主な課題は、感情予測のための堅牢性機能プレゼンテーションを構築する方法である。
  論文  参考訳（メタデータ） (2023-08-25T15:06:14Z)
• Provable Dynamic Fusion for Low-Quality Multimodal Data [94.39538027450948]
  動的マルチモーダル融合は、有望な学習パラダイムとして現れる。 広く使われているにもかかわらず、この分野の理論的正当化は依然として顕著に欠落している。 本稿では、一般化の観点から最もポピュラーなマルチモーダル融合フレームワークの下で、この問題に答える理論的理解を提供する。 QMF(Quality-Aware Multimodal Fusion)と呼ばれる新しいマルチモーダル融合フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-03T08:32:35Z)
• Cross-Attention is Not Enough: Incongruity-Aware Dynamic Hierarchical Fusion for Multimodal Affect Recognition [69.32305810128994]
  モダリティ間の同調性は、特に認知に影響を及ぼすマルチモーダル融合の課題となる。 本稿では,動的モダリティゲーティング(HCT-DMG)を用いた階層型クロスモーダルトランスを提案する。 HCT-DMG: 1) 従来のマルチモーダルモデルを約0.8Mパラメータで上回り、2) 不整合が認識に影響を及ぼすハードサンプルを認識し、3) 潜在レベルの非整合性をクロスモーダルアテンションで緩和する。
  論文  参考訳（メタデータ） (2023-05-23T01:24:15Z)
• The MuSe 2023 Multimodal Sentiment Analysis Challenge: Mimicked Emotions, Cross-Cultural Humour, and Personalisation [69.13075715686622]
  MuSe 2023は、現代の3つの異なるマルチモーダル感情と感情分析の問題に対処する共有タスクの集合である。 MuSe 2023は、さまざまな研究コミュニティから幅広いオーディエンスを集めようとしている。
  論文  参考訳（メタデータ） (2023-05-05T08:53:57Z)
• Hybrid Multimodal Fusion for Humor Detection [16.178078156094067]
  我々は,2022年のMultimodal Emotional Challenge (MuSe) の MuSe-Humor sub-challenge に対するソリューションを提案する。 MuSe-Humor sub-challengeの目標は、ドイツのサッカー・ブンデスリーガ・プレス・カンファレンスの音声映像記録からユーモアを検出し、AUCを計算することである。
  論文  参考訳（メタデータ） (2022-09-24T07:45:04Z)
• The MuSe 2022 Multimodal Sentiment Analysis Challenge: Humor, Emotional Reactions, and Stress [71.06453250061489]
  マルチモーダル・センチメント・アナリティクス・チャレンジ(MuSe 2022)は、マルチモーダル・センチメントと感情認識に重点を置いている。 今年の課題では、(i)ドイツサッカーコーチの音声-視覚的記録を含むPassau Spontaneous Football Coach Humorデータセット、(ii)ドイツサッカーコーチのユーモアの存在をラベル付けしたHum-Reactionデータセット、(ii)感情的表情強度に対して個人の反応が注釈付けされたHum-Reactionデータセット、(iii)ストレス的態度における人々の継続的な感情的価値観をラベル付けした音声-視覚的データからなるUlm-Trier Social Stress Testデータセットの3つのデータセットを特徴としている。
  論文  参考訳（メタデータ） (2022-06-23T13:34:33Z)
• MISA: Modality-Invariant and -Specific Representations for Multimodal Sentiment Analysis [48.776247141839875]
  本稿では,2つの異なる部分空間に各モダリティを投影する新しいフレームワーク MISA を提案する。 最初の部分空間はモダリティ不変(modality-invariant)であり、モダリティにまたがる表現はその共通点を学び、モダリティギャップを減少させる。 一般的な感情分析ベンチマークであるMOSIとMOSEIの実験は、最先端モデルよりも大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2020-05-07T15:13:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。