論文の概要: Trustworthy Multimodal Fusion for Sentiment Analysis in Ordinal Sentiment Space

• arxiv url: http://arxiv.org/abs/2404.08923v1
• Date: Sat, 13 Apr 2024 08:15:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-16 18:03:29.233694
• Title: Trustworthy Multimodal Fusion for Sentiment Analysis in Ordinal Sentiment Space
• Title（参考訳）: 標準感性空間における高信頼マルチモーダル核融合による感性解析
• Authors: Zhuyang Xie, Yan Yang, Jie Wang, Xiaorong Liu, Xiaofan Li,
• Abstract要約: マルチモーダルビデオ感情分析は、話者の意見や態度を分析するために複数のモーダル情報を統合することを目的としている。 以前のアプローチでは、異なるモダリティを平等に扱うことができ、主に異なる貢献を無視している。 本稿では,TMSON(Multimodal sentiment Ordinal Network)を提案する。
• 参考スコア（独自算出の注目度）: 4.58550667556734
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal video sentiment analysis aims to integrate multiple modal information to analyze the opinions and attitudes of speakers. Most previous work focuses on exploring the semantic interactions of intra- and inter-modality. However, these works ignore the reliability of multimodality, i.e., modalities tend to contain noise, semantic ambiguity, missing modalities, etc. In addition, previous multimodal approaches treat different modalities equally, largely ignoring their different contributions. Furthermore, existing multimodal sentiment analysis methods directly regress sentiment scores without considering ordinal relationships within sentiment categories, with limited performance. To address the aforementioned problems, we propose a trustworthy multimodal sentiment ordinal network (TMSON) to improve performance in sentiment analysis. Specifically, we first devise a unimodal feature extractor for each modality to obtain modality-specific features. Then, an uncertainty distribution estimation network is customized, which estimates the unimodal uncertainty distributions. Next, Bayesian fusion is performed on the learned unimodal distributions to obtain multimodal distributions for sentiment prediction. Finally, an ordinal-aware sentiment space is constructed, where ordinal regression is used to constrain the multimodal distributions. Our proposed TMSON outperforms baselines on multimodal sentiment analysis tasks, and empirical results demonstrate that TMSON is capable of reducing uncertainty to obtain more robust predictions.
• Abstract（参考訳）: マルチモーダルビデオ感情分析は、話者の意見や態度を分析するために複数のモーダル情報を統合することを目的としている。 これまでの研究は、モダリティ内およびモダリティ間のセマンティックな相互作用の探索に重点を置いていた。 しかし、これらの研究はマルチモーダル性の信頼性を無視し、すなわち、モーダルティはノイズ、意味的曖昧さ、モーダルティの欠如などを含む傾向がある。 加えて、以前のマルチモーダルアプローチは異なるモダリティを等しく扱い、主に異なる貢献を無視している。 さらに、既存のマルチモーダル感情分析手法は、感情カテゴリー内での日常的関係を考慮せずに、感情スコアを直接回帰する。 上記の問題に対処するため,感傷分析の性能向上を目的とした信頼性の高いマルチモーダル・センチメント・オーディナル・ネットワーク(TMSON)を提案する。 具体的には、まず、モーダリティごとに一様特徴抽出器を考案し、モーダリティ固有の特徴を得る。 そして、不確実性分布を推定する不確実性分布推定ネットワークをカスタマイズする。 次に、学習した単調分布上でベイズ融合を行い、感情予測のためのマルチモーダル分布を得る。 最後に、順序性を考慮した感情空間を構築し、順序性回帰を用いてマルチモーダル分布を制約する。 提案したTMSONは,マルチモーダル感情分析タスクのベースラインよりも優れており,TMSONは不確実性を低減し,より堅牢な予測が得られることを示した。

関連論文リスト

• Conformal Prediction for Multimodal Regression [0.0]
  コンフォメーション予測は 今や 方法論を通して マルチモーダルな文脈に拡張されています 本研究は,マルチモーダル情報を組み合わせた収束点から抽出した内部ニューラルネットワーク機能の可能性を明らかにする。 この機能は、マルチモーダルデータに富んだ領域にコンフォメーション予測を展開するための新しい経路を舗装する。
  論文  参考訳（メタデータ） (2024-10-25T15:56:39Z)
• Confidence-aware multi-modality learning for eye disease screening [58.861421804458395]
  眼疾患スクリーニングのための新しい多モード顕在核融合パイプラインを提案する。 モダリティごとに信頼度を測り、マルチモダリティ情報をエレガントに統合する。 パブリックデータセットと内部データセットの両方の実験結果は、我々のモデルが堅牢性に優れていることを示している。
  論文  参考訳（メタデータ） (2024-05-28T13:27:30Z)
• Improving Multimodal Sentiment Analysis: Supervised Angular Margin-based Contrastive Learning for Enhanced Fusion Representation [10.44888349041063]
  マルチモーダル・センティメント・アナリティクスのためのコントラシブ・ラーニング・フレームワークであるSupervised Angularを導入する。 この枠組みは,マルチモーダル表現の識別と一般化性を高め,融合ベクトルのモダリティのバイアスを克服することを目的としている。
  論文  参考訳（メタデータ） (2023-12-04T02:58:19Z)
• Provable Dynamic Fusion for Low-Quality Multimodal Data [94.39538027450948]
  動的マルチモーダル融合は、有望な学習パラダイムとして現れる。 広く使われているにもかかわらず、この分野の理論的正当化は依然として顕著に欠落している。 本稿では、一般化の観点から最もポピュラーなマルチモーダル融合フレームワークの下で、この問題に答える理論的理解を提供する。 QMF(Quality-Aware Multimodal Fusion)と呼ばれる新しいマルチモーダル融合フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-03T08:32:35Z)
• Generalizing Multimodal Variational Methods to Sets [35.69942798534849]
  本稿では,マルチモーダル潜在空間を学習するために,Set Multimodal VAE(SMVAE)と呼ばれる新しい変分法を提案する。 共同モダリティ後部分布を直接モデル化することにより、提案したSMVAEは、複数のモダリティ間で情報を交換し、分解による欠点を補うことを学習する。
  論文  参考訳（メタデータ） (2022-12-19T23:50:19Z)
• Few-shot Multimodal Sentiment Analysis based on Multimodal Probabilistic Fusion Prompts [30.15646658460899]
  ソーシャルメディア上でのマルチモーダルコンテンツの普及により,マルチモーダル感情分析が注目されている。 この地域の既存の研究は、大規模に監督されたデータに大きく依存している。 マルチモーダルな感情検出のために,様々なモーダルから多様な手がかりを生かしたマルチモーダル確率核融合法(MultiPoint)を提案する。
  論文  参考訳（メタデータ） (2022-11-12T08:10:35Z)
• Counterfactual Reasoning for Out-of-distribution Multimodal Sentiment Analysis [56.84237932819403]
  本稿では,OODの高次一般化に対するテキストモダリティの悪影響を推定・緩和することを目的とする。 そこで本研究では,マルチモーダル感情分析のためのモデルに依存しない反現実的フレームワークを考案した。
  論文  参考訳（メタデータ） (2022-07-24T03:57:40Z)
• Trustworthy Multimodal Regression with Mixture of Normal-inverse Gamma Distributions [91.63716984911278]
  このアルゴリズムは、異なるモードの適応的統合の原理における不確かさを効率的に推定し、信頼できる回帰結果を生成する。 実世界のデータと実世界のデータの両方に対する実験結果から,多モード回帰タスクにおける本手法の有効性と信頼性が示された。
  論文  参考訳（メタデータ） (2021-11-11T14:28:12Z)
• Bi-Bimodal Modality Fusion for Correlation-Controlled Multimodal Sentiment Analysis [96.46952672172021]
  Bi-Bimodal Fusion Network (BBFN) は、2対のモダリティ表現で融合を行う新しいエンドツーエンドネットワークである。 モデルは、モダリティ間の既知の情報不均衡により、2つのバイモーダルペアを入力として取る。
  論文  参考訳（メタデータ） (2021-07-28T23:33:42Z)
• MISA: Modality-Invariant and -Specific Representations for Multimodal Sentiment Analysis [48.776247141839875]
  本稿では,2つの異なる部分空間に各モダリティを投影する新しいフレームワーク MISA を提案する。 最初の部分空間はモダリティ不変(modality-invariant)であり、モダリティにまたがる表現はその共通点を学び、モダリティギャップを減少させる。 一般的な感情分析ベンチマークであるMOSIとMOSEIの実験は、最先端モデルよりも大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2020-05-07T15:13:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。