論文の概要: Gated Mechanism for Attention Based Multimodal Sentiment Analysis

• arxiv url: http://arxiv.org/abs/2003.01043v1
• Date: Fri, 21 Feb 2020 06:58:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-30 00:06:43.894117
• Title: Gated Mechanism for Attention Based Multimodal Sentiment Analysis
• Title（参考訳）: 注意に基づくマルチモーダル感性分析のためのゲート機構
• Authors: Ayush Kumar, Jithendra Vepa
• Abstract要約: マルチモーダル感情分析は、ソーシャルメディア投稿、カスタマーサービスコール、ビデオブログとの関係から、最近人気が高まっている。 本稿では, マルチモーダルな感情分析の3つの側面, 1. クロスモーダルな相互作用学習, すなわち, 複数のモーダルが感情にどの程度寄与するかを考察する。 CMUマルチモーダル・オピニオン・インテンシティ(CMU-MOSI)とCMUマルチモーダル・オピニオン・インテンシティ(CMU-MOSEI)コーパス(CMU-MOSEI)の2つのベンチマーク・データセットで実験を行った。
• 参考スコア（独自算出の注目度）: 7.07652817535224
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal sentiment analysis has recently gained popularity because of its relevance to social media posts, customer service calls and video blogs. In this paper, we address three aspects of multimodal sentiment analysis; 1. Cross modal interaction learning, i.e. how multiple modalities contribute to the sentiment, 2. Learning long-term dependencies in multimodal interactions and 3. Fusion of unimodal and cross modal cues. Out of these three, we find that learning cross modal interactions is beneficial for this problem. We perform experiments on two benchmark datasets, CMU Multimodal Opinion level Sentiment Intensity (CMU-MOSI) and CMU Multimodal Opinion Sentiment and Emotion Intensity (CMU-MOSEI) corpus. Our approach on both these tasks yields accuracies of 83.9% and 81.1% respectively, which is 1.6% and 1.34% absolute improvement over current state-of-the-art.
• Abstract（参考訳）: マルチモーダル感情分析は、ソーシャルメディア投稿、カスタマーサービスコール、ビデオブログとの関係から、最近人気が高まっている。 本稿では,マルチモーダル感情分析の3つの側面について述べる。 1. クロスモーダルインタラクション学習、すなわち、複数のモーダルが感情にどのように寄与するか、 2.マルチモーダルインタラクションと長期依存関係の学習 3. ユニモダルとクロスモダルキューの融合 これら3つのうち, クロスモーダル相互作用の学習は, この問題に有益であることがわかった。 cmu multimodal opinion level sentiment intensity (cmu-mosi) とcmu multimodal opinion sentiment and emotion intensity (cmu-mosei) の2つのベンチマークデータセットで実験を行った。 この2つのタスクに対するアプローチは、それぞれ83.9%と81.1%のアキュラシーをもたらし、これは現在の状態よりも1.6%と1.34%の絶対的な改善です。

関連論文リスト

• MMMU-Pro: A More Robust Multi-discipline Multimodal Understanding Benchmark [77.93283927871758]
  本稿では,Multi-discipline Multi-modal Understanding and Reasoningベンチマークの頑健なバージョンであるMMMU-Proを紹介する。 MMMU-Proは、マルチモーダルモデルの真の理解と推論能力を厳格に評価する。
  論文  参考訳（メタデータ） (2024-09-04T15:31:26Z)
• CorMulT: A Semi-supervised Modality Correlation-aware Multimodal Transformer for Sentiment Analysis [2.3522423517057143]
  相関対応マルチモーダルトランス(CorMulT)と呼ばれる2段階半教師付きモデルを提案する。 事前学習段階では、モーダリティ相関比較学習モジュールは、異なるモーダリティ間のモーダリティ相関係数を効率的に学習するように設計されている。 予測段階では、学習された相関係数にモダリティ表現を融合させて感情予測を行う。
  論文  参考訳（メタデータ） (2024-07-09T17:07:29Z)
• Stock Movement Prediction with Multimodal Stable Fusion via Gated Cross-Attention Mechanism [41.16574023720132]
  本研究は,MSGCA (Multimodal Stable Fusion with Gated Cross-Attention) という新しいアーキテクチャを導入する。 MSGCAフレームワークは、(1)インジケータシーケンス、動的文書、および関係グラフを処理し、それらの特徴表現を標準化する三次符号化モジュール、(2)プライマリおよび一貫性のある特徴が一対のゲート型クロスアテンションネットワークを介して3つのモダリティのマルチモーダル融合を導くクロスフュージョンモジュール、(3)時間的および次元的縮小により融合した特徴を洗練して正確に実行する予測モジュールからなる。
  論文  参考訳（メタデータ） (2024-06-06T03:13:34Z)
• Deep Equilibrium Multimodal Fusion [88.04713412107947]
  多重モーダル融合は、複数のモーダルに存在する相補的な情報を統合し、近年多くの注目を集めている。 本稿では,動的多モード核融合プロセスの固定点を求めることにより,多モード核融合に対する新しいDeep equilibrium (DEQ)法を提案する。 BRCA,MM-IMDB,CMU-MOSI,SUN RGB-D,VQA-v2の実験により,DEC融合の優位性が示された。
  論文  参考訳（メタデータ） (2023-06-29T03:02:20Z)
• Multimodal Learning Without Labeled Multimodal Data: Guarantees and Applications [90.6849884683226]
  ラベル付き単調データのみを用いた半教師付き環境における相互作用定量化の課題について検討する。 相互作用の正確な情報理論的定義を用いて、我々の重要な貢献は下界と上界の導出である。 本稿では、これらの理論結果を用いてマルチモーダルモデルの性能を推定し、データ収集をガイドし、様々なタスクに対して適切なマルチモーダルモデルを選択する方法について述べる。
  論文  参考訳（メタデータ） (2023-06-07T15:44:53Z)
• Cross-Attention is Not Enough: Incongruity-Aware Dynamic Hierarchical Fusion for Multimodal Affect Recognition [69.32305810128994]
  モダリティ間の同調性は、特に認知に影響を及ぼすマルチモーダル融合の課題となる。 本稿では,動的モダリティゲーティング(HCT-DMG)を用いた階層型クロスモーダルトランスを提案する。 HCT-DMG: 1) 従来のマルチモーダルモデルを約0.8Mパラメータで上回り、2) 不整合が認識に影響を及ぼすハードサンプルを認識し、3) 潜在レベルの非整合性をクロスモーダルアテンションで緩和する。
  論文  参考訳（メタデータ） (2023-05-23T01:24:15Z)
• Multi-channel Attentive Graph Convolutional Network With Sentiment Fusion For Multimodal Sentiment Analysis [10.625579004828733]
  本稿では,Multi- Channel Attentive Graph Convolutional Network (MAGCN)を提案する。 クロスモーダルな対話型学習と感傷的特徴融合の2つの主要コンポーネントで構成されている。 実験は、広く使われている3つのデータセットで実施される。
  論文  参考訳（メタデータ） (2022-01-25T12:38:33Z)
• Channel Exchanging Networks for Multimodal and Multitask Dense Image Prediction [125.18248926508045]
  本稿では,マルチモーダル融合とマルチタスク学習の両方に適用可能な,自己適応的でパラメータフリーなチャネル交換ネットワーク(CEN)を提案する。 CENは異なるモダリティのワーク間でチャネルを動的に交換する。 濃密な画像予測を応用するために、CENの有効性は4つの異なるシナリオで検証される。
  論文  参考訳（メタデータ） (2021-12-04T05:47:54Z)
• Bi-Bimodal Modality Fusion for Correlation-Controlled Multimodal Sentiment Analysis [96.46952672172021]
  Bi-Bimodal Fusion Network (BBFN) は、2対のモダリティ表現で融合を行う新しいエンドツーエンドネットワークである。 モデルは、モダリティ間の既知の情報不均衡により、2つのバイモーダルペアを入力として取る。
  論文  参考訳（メタデータ） (2021-07-28T23:33:42Z)
• Video Sentiment Analysis with Bimodal Information-augmented Multi-Head Attention [7.997124140597719]
  本研究では,複数のモダリティの時系列データを含むビデオの感情分析に注目する。 重要な問題は、これらの異種データをどのように融合するかです。 バイモーダル相互作用に基づいて、より重要なバイモーダル特徴はより大きな重みが割り当てられる。
  論文  参考訳（メタデータ） (2021-03-03T12:30:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。