論文の概要: Improving Multimodal fusion via Mutual Dependency Maximisation

• arxiv url: http://arxiv.org/abs/2109.00922v1
• Date: Tue, 31 Aug 2021 06:26:26 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-03 14:12:07.399823
• Title: Improving Multimodal fusion via Mutual Dependency Maximisation
• Title（参考訳）: 相互依存の最大化によるマルチモーダル融合の改善
• Authors: Pierre Colombo, Emile Chapuis, Matthieu Labeau, Chloe Clavel
• Abstract要約: マルチモーダル・感情分析は研究のトレンドとなっている分野であり、マルチモーダル・フュージョンは最も活発なトピックの1つである。 本研究では,未探索の罰則を調査し,モダリティ間の依存性を測定するための新たな目的セットを提案する。 我々は、我々の新しい罰則が様々な最先端モデルに対して一貫した改善(正確性で最大4.3ドル)をもたらすことを示した。
• 参考スコア（独自算出の注目度）: 5.73995120847626
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal sentiment analysis is a trending area of research, and the multimodal fusion is one of its most active topic. Acknowledging humans communicate through a variety of channels (i.e visual, acoustic, linguistic), multimodal systems aim at integrating different unimodal representations into a synthetic one. So far, a consequent effort has been made on developing complex architectures allowing the fusion of these modalities. However, such systems are mainly trained by minimising simple losses such as $L_1$ or cross-entropy. In this work, we investigate unexplored penalties and propose a set of new objectives that measure the dependency between modalities. We demonstrate that our new penalties lead to a consistent improvement (up to $4.3$ on accuracy) across a large variety of state-of-the-art models on two well-known sentiment analysis datasets: \texttt{CMU-MOSI} and \texttt{CMU-MOSEI}. Our method not only achieves a new SOTA on both datasets but also produces representations that are more robust to modality drops. Finally, a by-product of our methods includes a statistical network which can be used to interpret the high dimensional representations learnt by the model.
• Abstract（参考訳）: マルチモーダル感情分析は研究のトレンドであり、マルチモーダル融合は最も活発なトピックの一つである。 人間が様々なチャネル(視覚、音響、言語)を通してコミュニケーションすることを認めるマルチモーダルシステムは、異なるユニモーダル表現を合成表現に統合することを目指している。 これまでのところ、これらのモダリティの融合を可能にする複雑なアーキテクチャの開発に努力が続けられている。 しかし、そのようなシステムは、主に$l_1$やクロスエントロピーのような単純な損失を最小化することで訓練される。 本研究では,未探索の罰則を調査し,モダリティ間の依存性を測定するための新たな目的セットを提案する。 我々は、我々の新しい罰則が2つのよく知られた感情分析データセットである \texttt{CMU-MOSI} と \texttt{CMU-MOSEI} の様々な最先端モデルに対して一貫した改善(精度4.3ドル)をもたらすことを示した。 提案手法は,両方のデータセット上で新たなSOTAを実現するだけでなく,モダリティドロップに対してより堅牢な表現を生成する。 最後に,本手法の副産物として,モデルで学習した高次元表現の解釈に使用できる統計ネットワークを含む。

関連論文リスト

• U3M: Unbiased Multiscale Modal Fusion Model for Multimodal Semantic Segmentation [63.31007867379312]
  U3M: An Unbiased Multiscale Modal Fusion Model for Multimodal Semanticsを紹介する。 我々は,グローバルな特徴とローカルな特徴の効果的な抽出と統合を保証するために,複数のスケールで機能融合を採用している。 実験により,本手法は複数のデータセットにまたがって優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-05-24T08:58:48Z)
• Unified Multi-modal Unsupervised Representation Learning for Skeleton-based Action Understanding [62.70450216120704]
  教師なしの事前訓練は骨格に基づく行動理解において大きな成功を収めた。 我々はUmURLと呼ばれる統一マルチモーダル非教師なし表現学習フレームワークを提案する。 UmURLは効率的な早期融合戦略を利用して、マルチモーダル機能を単一ストリームで共同でエンコードする。
  論文  参考訳（メタデータ） (2023-11-06T13:56:57Z)
• IMF: Interactive Multimodal Fusion Model for Link Prediction [13.766345726697404]
  異なるモダリティからの知識を統合するために,インタラクティブ・マルチモーダル・フュージョン(IMF)モデルを導入する。 提案手法は,実世界の複数のデータセットに対する経験的評価によって有効であることが実証された。
  論文  参考訳（メタデータ） (2023-03-20T01:20:02Z)
• Efficient Multimodal Transformer with Dual-Level Feature Restoration for Robust Multimodal Sentiment Analysis [47.29528724322795]
  マルチモーダルセンシング分析(MSA)が近年注目を集めている。 著しい進歩にもかかわらず、堅牢なMSAへの道にはまだ2つの大きな課題がある。 デュアルレベル特徴回復 (EMT-DLFR) を用いた高効率マルチモーダル変圧器 (Efficient Multimodal Transformer) を提案する。
  論文  参考訳（メタデータ） (2022-08-16T08:02:30Z)
• A Study of Syntactic Multi-Modality in Non-Autoregressive Machine Translation [144.55713938260828]
  非自己回帰的翻訳モデルでは、ターゲット翻訳のマルチモーダル分布を捉えることは困難である。 我々はこれを短距離および長距離の構文的マルチモーダルに分解し、高度な損失関数を持つ最近のNATアルゴリズムを評価した。 我々は,実世界のデータセットにおいて,複雑な構文的多モード性を扱うために,新たな損失関数を設計する。
  論文  参考訳（メタデータ） (2022-07-09T06:48:10Z)
• Multi-scale Cooperative Multimodal Transformers for Multimodal Sentiment Analysis in Videos [58.93586436289648]
  マルチモーダル感情分析のためのマルチスケール協調型マルチモーダルトランス (MCMulT) アーキテクチャを提案する。 本モデルは,非整合型マルチモーダル列に対する既存手法よりも優れ,整合型マルチモーダル列に対する強い性能を有する。
  論文  参考訳（メタデータ） (2022-06-16T07:47:57Z)
• Multimodal Representations Learning Based on Mutual Information Maximization and Minimization and Identity Embedding for Multimodal Sentiment Analysis [33.73730195500633]
  相互情報の最大化とアイデンティティの埋め込みに基づくマルチモーダル表現モデルを提案する。 2つの公開データセットの実験結果から,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2022-01-10T01:41:39Z)
• Bi-Bimodal Modality Fusion for Correlation-Controlled Multimodal Sentiment Analysis [96.46952672172021]
  Bi-Bimodal Fusion Network (BBFN) は、2対のモダリティ表現で融合を行う新しいエンドツーエンドネットワークである。 モデルは、モダリティ間の既知の情報不均衡により、2つのバイモーダルペアを入力として取る。
  論文  参考訳（メタデータ） (2021-07-28T23:33:42Z)
• MISA: Modality-Invariant and -Specific Representations for Multimodal Sentiment Analysis [48.776247141839875]
  本稿では,2つの異なる部分空間に各モダリティを投影する新しいフレームワーク MISA を提案する。 最初の部分空間はモダリティ不変(modality-invariant)であり、モダリティにまたがる表現はその共通点を学び、モダリティギャップを減少させる。 一般的な感情分析ベンチマークであるMOSIとMOSEIの実験は、最先端モデルよりも大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2020-05-07T15:13:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。