論文の概要: TCAN: Text-oriented Cross Attention Network for Multimodal Sentiment Analysis

• arxiv url: http://arxiv.org/abs/2404.04545v1
• Date: Sat, 6 Apr 2024 07:56:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-09 20:39:11.559581
• Title: TCAN: Text-oriented Cross Attention Network for Multimodal Sentiment Analysis
• Title（参考訳）: TCAN:マルチモーダル感性分析のためのテキスト指向クロスアテンションネットワーク
• Authors: Ming Zhou, Weize Quan, Ziqi Zhou, Kai Wang, Tong Wang, Dong-Ming Yan,
• Abstract要約: 言語・視覚・音響モダリティを活用したマルチモーダル感性分析(MSA)の試み 過去の研究は、主に表現学習技術と特徴融合戦略の改善に焦点を当てた。 テキスト指向のクロスアテンションネットワーク(TCAN)を導入し,MSAにおけるテキストモダリティの主要な役割を強調した。
• 参考スコア（独自算出の注目度）: 34.28164104577455
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal Sentiment Analysis (MSA) endeavors to understand human sentiment by leveraging language, visual, and acoustic modalities. Despite the remarkable performance exhibited by previous MSA approaches, the presence of inherent multimodal heterogeneities poses a challenge, with the contribution of different modalities varying considerably. Past research predominantly focused on improving representation learning techniques and feature fusion strategies. However, many of these efforts overlooked the variation in semantic richness among different modalities, treating each modality uniformly. This approach may lead to underestimating the significance of strong modalities while overemphasizing the importance of weak ones. Motivated by these insights, we introduce a Text-oriented Cross-Attention Network (TCAN), emphasizing the predominant role of the text modality in MSA. Specifically, for each multimodal sample, by taking unaligned sequences of the three modalities as inputs, we initially allocate the extracted unimodal features into a visual-text and an acoustic-text pair. Subsequently, we implement self-attention on the text modality and apply text-queried cross-attention to the visual and acoustic modalities. To mitigate the influence of noise signals and redundant features, we incorporate a gated control mechanism into the framework. Additionally, we introduce unimodal joint learning to gain a deeper understanding of homogeneous emotional tendencies across diverse modalities through backpropagation. Experimental results demonstrate that TCAN consistently outperforms state-of-the-art MSA methods on two datasets (CMU-MOSI and CMU-MOSEI).
• Abstract（参考訳）: 言語・視覚・音響モダリティを活用したマルチモーダル感性分析(MSA)の試み 以前のMSAアプローチによる顕著な性能にもかかわらず、固有の多モード不均一性の存在は、異なるモダリティの寄与が著しく変化するという課題を生じさせる。 過去の研究は、主に表現学習技術と特徴融合戦略の改善に焦点を当てた。 しかし、これらの取り組みの多くは、異なるモダリティ間の意味的豊かさの変化を見落とし、各モダリティを均一に扱った。 このアプローチは、弱いものの重要性を過度に強調しながら、強いモダリティの重要性を過小評価する可能性がある。 これらの知見に触発され,テキスト指向のクロスアテンションネットワーク(TCAN)を導入し,MSAにおけるテキストモダリティの主要な役割を強調した。 具体的には、各マルチモーダルサンプルに対して、3つのモーダルのアンアライメント配列を入力として、抽出したアンモダル特徴を視覚テキストと音響テキストのペアに割り当てる。 その後、テキストモダリティに自己注意を実装し、視覚的・音響的モダリティにテキストクエリによる相互意識を適用した。 ノイズ信号と冗長な特徴の影響を軽減するため,我々はゲート制御機構をフレームワークに組み込む。 さらに, バックプロパゲーションを通じて, 多様なモダリティにまたがる同種感情傾向の深い理解を得るために, 一助的共同学習を導入する。 実験の結果,TCANは2つのデータセット(CMU-MOSIとCMU-MOSEI)上で,最先端のMSA法より一貫して優れていた。

関連論文リスト

• Asynchronous Multimodal Video Sequence Fusion via Learning Modality-Exclusive and -Agnostic Representations [19.731611716111566]
  本稿では,モダリティ学習のためのマルチモーダル融合手法を提案する。 我々は、モーダル内の信頼性のあるコンテキストダイナミクスをキャプチャする予測的自己アテンションモジュールを導入する。 階層的クロスモーダルアテンションモジュールは、モダリティ間の価値ある要素相関を探索するために設計されている。 両識別器戦略が提示され、異なる表現を敵対的に生成することを保証する。
  論文  参考訳（メタデータ） (2024-07-06T04:36:48Z)
• WisdoM: Improving Multimodal Sentiment Analysis by Fusing Contextual World Knowledge [73.76722241704488]
  大規模視覚言語モデル(LVLM)から引き起こされる文脈的世界知識を利用してマルチモーダル感情分析を行うプラグインフレームワークWisdoMを提案する。 我々の手法は、いくつかの最先端手法よりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2024-01-12T16:08:07Z)
• Multimodal Sentiment Analysis with Missing Modality: A Knowledge-Transfer Approach [15.54426275761234]
  マルチモーダル感情分析は、視覚的、言語的、音響的手がかりを通じて、個人が表現する感情を特定することを目的としている。 既存の研究努力の多くは、すべてのモダリティがトレーニングとテストの両方で利用可能であり、そのアルゴリズムが欠落したモダリティシナリオに影響を受けやすいと仮定している。 本稿では,欠落した音声のモダリティを再構築するために,異なるモダリティ間の翻訳を行う新しいナレッジ・トランスファーネットワークを提案する。
  論文  参考訳（メタデータ） (2023-12-28T06:47:18Z)
• A Novel Energy based Model Mechanism for Multi-modal Aspect-Based Sentiment Analysis [85.77557381023617]
  マルチモーダル感情分析のための新しいフレームワークDQPSAを提案する。 PDQモジュールは、プロンプトをビジュアルクエリと言語クエリの両方として使用し、プロンプト対応の視覚情報を抽出する。 EPEモジュールはエネルギーベースモデルの観点から解析対象の境界ペアリングをモデル化する。
  論文  参考訳（メタデータ） (2023-12-13T12:00:46Z)
• Learning Language-guided Adaptive Hyper-modality Representation for Multimodal Sentiment Analysis [22.012103941836838]
  適応型言語誘導型マルチモーダルトランス(ALMT)を提案する。 ALMTにはAdaptive Hyper-modality Learning (AHL)モジュールが組み込まれており、無関係/複雑圧縮表現を学習する。 ALMTは、いくつかの一般的なデータセットで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-10-09T15:43:07Z)
• MIR-GAN: Refining Frame-Level Modality-Invariant Representations with Adversarial Network for Audio-Visual Speech Recognition [23.042478625584653]
  フレームレベルのモダリティ不変表現(MIR-GAN)を洗練するための逆ネットワークを提案する。 特に,フレームレベルのモダリティ不変表現(MIR-GAN)を洗練するための逆ネットワークを提案する。
  論文  参考訳（メタデータ） (2023-06-18T14:02:20Z)
• Cross-Attention is Not Enough: Incongruity-Aware Dynamic Hierarchical Fusion for Multimodal Affect Recognition [69.32305810128994]
  モダリティ間の同調性は、特に認知に影響を及ぼすマルチモーダル融合の課題となる。 本稿では,動的モダリティゲーティング(HCT-DMG)を用いた階層型クロスモーダルトランスを提案する。 HCT-DMG: 1) 従来のマルチモーダルモデルを約0.8Mパラメータで上回り、2) 不整合が認識に影響を及ぼすハードサンプルを認識し、3) 潜在レベルの非整合性をクロスモーダルアテンションで緩和する。
  論文  参考訳（メタデータ） (2023-05-23T01:24:15Z)
• Group Gated Fusion on Attention-based Bidirectional Alignment for Multimodal Emotion Recognition [63.07844685982738]
  本稿では、LSTM隠蔽状態上の注目に基づく双方向アライメントネットワークで構成されるGBAN(Gated Bidirectional Alignment Network)と呼ばれる新しいモデルを提案する。 LSTMの最後の隠れ状態よりもアテンション整列表現の方が有意に優れていたことを実証的に示す。 提案したGBANモデルは、IEMOCAPデータセットにおける既存の最先端マルチモーダルアプローチよりも優れている。
  論文  参考訳（メタデータ） (2022-01-17T09:46:59Z)
• Learning Relation Alignment for Calibrated Cross-modal Retrieval [52.760541762871505]
  言語的・視覚的関係のセマンティックな距離を計測し,関係の一貫性を定量化するための新しい指標ISD(Intra-modal Self-attention Distance)を提案する。 ISDを最適化し、モダル間アライメントを介してモダル内アライメントを相互に調整するための正規化訓練法である、モダル内アライメント(IAIS)について述べる。
  論文  参考訳（メタデータ） (2021-05-28T14:25:49Z)
• Dynamic Dual-Attentive Aggregation Learning for Visible-Infrared Person Re-Identification [208.1227090864602]
  Visible-infrared person re-identification (VI-ReID) は、歩行者検索の課題である。 既存のVI-ReID法は、識別可能性に制限があり、ノイズの多い画像に対して弱いロバスト性を持つグローバル表現を学習する傾向にある。 そこで我々は,VI-ReIDのための動的二段階集合(DDAG)学習法を提案する。
  論文  参考訳（メタデータ） (2020-07-18T03:08:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。