論文の概要: Gated Mechanism for Attention Based Multimodal Sentiment Analysis
- arxiv url: http://arxiv.org/abs/2003.01043v1
- Date: Fri, 21 Feb 2020 06:58:03 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-30 00:06:43.894117
- Title: Gated Mechanism for Attention Based Multimodal Sentiment Analysis
- Title(参考訳): 注意に基づくマルチモーダル感性分析のためのゲート機構
- Authors: Ayush Kumar, Jithendra Vepa
- Abstract要約: マルチモーダル感情分析は、ソーシャルメディア投稿、カスタマーサービスコール、ビデオブログとの関係から、最近人気が高まっている。
本稿では, マルチモーダルな感情分析の3つの側面, 1. クロスモーダルな相互作用学習, すなわち, 複数のモーダルが感情にどの程度寄与するかを考察する。
CMUマルチモーダル・オピニオン・インテンシティ(CMU-MOSI)とCMUマルチモーダル・オピニオン・インテンシティ(CMU-MOSEI)コーパス(CMU-MOSEI)の2つのベンチマーク・データセットで実験を行った。
- 参考スコア(独自算出の注目度): 7.07652817535224
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal sentiment analysis has recently gained popularity because of its
relevance to social media posts, customer service calls and video blogs. In
this paper, we address three aspects of multimodal sentiment analysis; 1. Cross
modal interaction learning, i.e. how multiple modalities contribute to the
sentiment, 2. Learning long-term dependencies in multimodal interactions and 3.
Fusion of unimodal and cross modal cues. Out of these three, we find that
learning cross modal interactions is beneficial for this problem. We perform
experiments on two benchmark datasets, CMU Multimodal Opinion level Sentiment
Intensity (CMU-MOSI) and CMU Multimodal Opinion Sentiment and Emotion Intensity
(CMU-MOSEI) corpus. Our approach on both these tasks yields accuracies of 83.9%
and 81.1% respectively, which is 1.6% and 1.34% absolute improvement over
current state-of-the-art.
- Abstract(参考訳): マルチモーダル感情分析は、ソーシャルメディア投稿、カスタマーサービスコール、ビデオブログとの関係から、最近人気が高まっている。
本稿では,マルチモーダル感情分析の3つの側面について述べる。
1. クロスモーダルインタラクション学習、すなわち、複数のモーダルが感情にどのように寄与するか、
2.マルチモーダルインタラクションと長期依存関係の学習
3. ユニモダルとクロスモダルキューの融合
これら3つのうち, クロスモーダル相互作用の学習は, この問題に有益であることがわかった。
cmu multimodal opinion level sentiment intensity (cmu-mosi) とcmu multimodal opinion sentiment and emotion intensity (cmu-mosei) の2つのベンチマークデータセットで実験を行った。
この2つのタスクに対するアプローチは、それぞれ83.9%と81.1%のアキュラシーをもたらし、これは現在の状態よりも1.6%と1.34%の絶対的な改善です。
関連論文リスト
- Deep Equilibrium Multimodal Fusion [88.04713412107947]
多重モーダル融合は、複数のモーダルに存在する相補的な情報を統合し、近年多くの注目を集めている。
本稿では,動的多モード核融合プロセスの固定点を求めることにより,多モード核融合に対する新しいDeep equilibrium (DEQ)法を提案する。
BRCA,MM-IMDB,CMU-MOSI,SUN RGB-D,VQA-v2の実験により,DEC融合の優位性が示された。
論文 参考訳(メタデータ) (2023-06-29T03:02:20Z) - Multimodal Learning Without Labeled Multimodal Data: Guarantees and
Applications [97.79283975518047]
複数のモーダルから共同で学習する多くの機械学習システムでは、マルチモーダル相互作用の性質を理解することが中心的な研究課題である。
我々は,この相互作用定量化の課題について,ラベル付き単調データのみを用いた半教師付き環境で検討する。
相互作用の正確な情報理論的定義を用いて、我々の重要な貢献は、マルチモーダル相互作用の量を定量化するための下界と上界の導出である。
論文 参考訳(メタデータ) (2023-06-07T15:44:53Z) - Cross-Attention is Not Enough: Incongruity-Aware Dynamic Hierarchical
Fusion for Multimodal Affect Recognition [69.32305810128994]
モダリティ間の同調性は、特に認知に影響を及ぼすマルチモーダル融合の課題となる。
本稿では,動的モダリティゲーティング(HCT-DMG)を用いた階層型クロスモーダルトランスを提案する。
HCT-DMG: 1) 従来のマルチモーダルモデルを約0.8Mパラメータで上回り、2) 不整合が認識に影響を及ぼすハードサンプルを認識し、3) 潜在レベルの非整合性をクロスモーダルアテンションで緩和する。
論文 参考訳(メタデータ) (2023-05-23T01:24:15Z) - Generalized Product-of-Experts for Learning Multimodal Representations
in Noisy Environments [18.14974353615421]
本稿では,エキスパート手法の一般化による雑音環境下でのマルチモーダル表現学習手法を提案する。
提案手法では,モダリティ毎に異なるネットワークをトレーニングし,そのモダリティから得られる情報の信頼性を評価する。
マルチモーダル3Dハンドプレース推定とマルチモーダル手術ビデオセグメンテーションという,2つの挑戦的なベンチマークで最先端のパフォーマンスを得た。
論文 参考訳(メタデータ) (2022-11-07T14:27:38Z) - Multi-channel Attentive Graph Convolutional Network With Sentiment
Fusion For Multimodal Sentiment Analysis [10.625579004828733]
本稿では,Multi- Channel Attentive Graph Convolutional Network (MAGCN)を提案する。
クロスモーダルな対話型学習と感傷的特徴融合の2つの主要コンポーネントで構成されている。
実験は、広く使われている3つのデータセットで実施される。
論文 参考訳(メタデータ) (2022-01-25T12:38:33Z) - Channel Exchanging Networks for Multimodal and Multitask Dense Image
Prediction [125.18248926508045]
本稿では,マルチモーダル融合とマルチタスク学習の両方に適用可能な,自己適応的でパラメータフリーなチャネル交換ネットワーク(CEN)を提案する。
CENは異なるモダリティのワーク間でチャネルを動的に交換する。
濃密な画像予測を応用するために、CENの有効性は4つの異なるシナリオで検証される。
論文 参考訳(メタデータ) (2021-12-04T05:47:54Z) - Multimodal Learning using Optimal Transport for Sarcasm and Humor
Detection [76.62550719834722]
会話ビデオと画像テキストのペアからマルチモーダルサルカズムとユーモアを検出する。
本稿では,モーダル内対応を利用したマルチモーダル学習システム MuLOT を提案する。
3つのベンチマークデータセット上で,マルチモーダルサルカズムとユーモア検出のためのアプローチを検証した。
論文 参考訳(メタデータ) (2021-10-21T07:51:56Z) - Improving Multimodal fusion via Mutual Dependency Maximisation [5.73995120847626]
マルチモーダル・感情分析は研究のトレンドとなっている分野であり、マルチモーダル・フュージョンは最も活発なトピックの1つである。
本研究では,未探索の罰則を調査し,モダリティ間の依存性を測定するための新たな目的セットを提案する。
我々は、我々の新しい罰則が様々な最先端モデルに対して一貫した改善(正確性で最大4.3ドル)をもたらすことを示した。
論文 参考訳(メタデータ) (2021-08-31T06:26:26Z) - Bi-Bimodal Modality Fusion for Correlation-Controlled Multimodal
Sentiment Analysis [96.46952672172021]
Bi-Bimodal Fusion Network (BBFN) は、2対のモダリティ表現で融合を行う新しいエンドツーエンドネットワークである。
モデルは、モダリティ間の既知の情報不均衡により、2つのバイモーダルペアを入力として取る。
論文 参考訳(メタデータ) (2021-07-28T23:33:42Z) - Video Sentiment Analysis with Bimodal Information-augmented Multi-Head
Attention [7.997124140597719]
本研究では,複数のモダリティの時系列データを含むビデオの感情分析に注目する。
重要な問題は、これらの異種データをどのように融合するかです。
バイモーダル相互作用に基づいて、より重要なバイモーダル特徴はより大きな重みが割り当てられる。
論文 参考訳(メタデータ) (2021-03-03T12:30:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。