論文の概要: Modality-based Factorization for Multimodal Fusion

• arxiv url: http://arxiv.org/abs/1811.12624v3
• Date: Sat, 15 Apr 2023 02:48:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-19 02:11:51.258636
• Title: Modality-based Factorization for Multimodal Fusion
• Title（参考訳）: マルチモーダル融合のためのモダリティに基づく因子分解
• Authors: Elham J. Barezi, Peyman Momeni, Pascale Fung
• Abstract要約: マルチモーダル推論タスクにおける各モーダルの相対的寄与を理解し,調整するための新しい手法であるMRRF(Modality-based Redundancy Reduction Fusion)を提案する。 本手法を感情分析,性格特性認識,感情認識の3つの異なるマルチモーダルデータセットに適用した。 これらのタスクの関連性や異なるモダリティの相対的重要性を認識し,3つのタスクの最先端と比較して,いくつかの評価尺度において1%から4%の改善が達成されている。
• 参考スコア（独自算出の注目度）: 43.5556371763323
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a novel method, Modality-based Redundancy Reduction Fusion (MRRF), for understanding and modulating the relative contribution of each modality in multimodal inference tasks. This is achieved by obtaining an $(M+1)$-way tensor to consider the high-order relationships between $M$ modalities and the output layer of a neural network model. Applying a modality-based tensor factorization method, which adopts different factors for different modalities, results in removing information present in a modality that can be compensated by other modalities, with respect to model outputs. This helps to understand the relative utility of information in each modality. In addition it leads to a less complicated model with less parameters and therefore could be applied as a regularizer avoiding overfitting. We have applied this method to three different multimodal datasets in sentiment analysis, personality trait recognition, and emotion recognition. We are able to recognize relationships and relative importance of different modalities in these tasks and achieves a 1\% to 4\% improvement on several evaluation measures compared to the state-of-the-art for all three tasks.
• Abstract（参考訳）: マルチモーダル推論タスクにおける各モーダルの相対的寄与を理解し,調整するための新しい手法であるMRRF(Modality-based Redundancy Reduction Fusion)を提案する。 これは、$(m+1)$-wayテンソルを得て、$m$モダリティとニューラルネットワークモデルの出力層の間の高次関係を考えることによって達成される。 モダリティに基づくテンソル因子分解法を適用すると、モダリティに存在する他のモダリティによって補うことができる情報をモデル出力に対して取り除くことができる。 これは各モダリティにおける情報の相対的有用性を理解するのに役立つ。 さらに、パラメータの少ないより複雑なモデルにつながり、オーバーフィッティングを避けるためのレギュレータとして適用することができる。 本手法は感情分析,パーソナリティ特性認識,感情認識の3つの異なるマルチモーダルデータセットに適用した。 これらのタスクにおける異なるモダリティの関係と相対的重要性を認識でき、3つのタスクの最先端と比較して、いくつかの評価尺度において1〜4\%改善できる。

関連論文リスト

• Enhancing Unimodal Latent Representations in Multimodal VAEs through Iterative Amortized Inference [20.761803725098005]
  マルチモーダル変分オートエンコーダ(VAE)は、異なるデータモダリティからの情報を統合することで、共有潜在表現をキャプチャすることを目的としている。 重要な課題は、あらゆる可能なモダリティの組み合わせに対して、非現実的な数の推論ネットワークを訓練することなく、任意のモダリティのサブセットから正確に表現を推論することである。 本稿では,マルチモーダルVAEフレームワーク内での反復的改善機構であるマルチモーダル反復補正推論を導入する。
  論文  参考訳（メタデータ） (2024-10-15T08:49:38Z)
• MMP: Towards Robust Multi-Modal Learning with Masked Modality Projection [10.909746391230206]
  マルチモーダル学習は、下流タスクの性能を高めるために、複数の入力源からのデータを組み合わせることを目指している。 欠落したモダリティを処理できる既存の方法は、各入力モダリティの組み合わせに対するカスタムトレーニングまたは適応ステップを含む。 そこで我々は,MMP (Masked Modality Projection) を提案する。
  論文  参考訳（メタデータ） (2024-10-03T21:41:12Z)
• Unified Multi-modal Unsupervised Representation Learning for Skeleton-based Action Understanding [62.70450216120704]
  教師なしの事前訓練は骨格に基づく行動理解において大きな成功を収めた。 我々はUmURLと呼ばれる統一マルチモーダル非教師なし表現学習フレームワークを提案する。 UmURLは効率的な早期融合戦略を利用して、マルチモーダル機能を単一ストリームで共同でエンコードする。
  論文  参考訳（メタデータ） (2023-11-06T13:56:57Z)
• Learning Unseen Modality Interaction [54.23533023883659]
  マルチモーダル学習は、すべてのモダリティの組み合わせが訓練中に利用でき、クロスモーダル対応を学ぶことを前提としている。 我々は、目に見えないモダリティ相互作用の問題を提起し、第1の解を導入する。 異なるモジュラリティの多次元的特徴を、豊富な情報を保存した共通空間に投影するモジュールを利用する。
  論文  参考訳（メタデータ） (2023-06-22T10:53:10Z)
• Generalizing Multimodal Variational Methods to Sets [35.69942798534849]
  本稿では,マルチモーダル潜在空間を学習するために,Set Multimodal VAE(SMVAE)と呼ばれる新しい変分法を提案する。 共同モダリティ後部分布を直接モデル化することにより、提案したSMVAEは、複数のモダリティ間で情報を交換し、分解による欠点を補うことを学習する。
  論文  参考訳（メタデータ） (2022-12-19T23:50:19Z)
• On Modality Bias Recognition and Reduction [70.69194431713825]
  マルチモーダル分類の文脈におけるモダリティバイアス問題について検討する。 本稿では,各ラベルの特徴空間を適応的に学習するプラグアンドプレイ損失関数法を提案する。 本手法は, ベースラインに比べ, 顕著な性能向上を実現している。
  論文  参考訳（メタデータ） (2022-02-25T13:47:09Z)
• Multi-Modal Mutual Information Maximization: A Novel Approach for Unsupervised Deep Cross-Modal Hashing [73.29587731448345]
  我々はCross-Modal Info-Max Hashing (CMIMH)と呼ばれる新しい手法を提案する。 モーダル内およびモーダル間の類似性を両立できる情報表現を学習する。 提案手法は、他の最先端のクロスモーダル検索手法よりも一貫して優れている。
  論文  参考訳（メタデータ） (2021-12-13T08:58:03Z)
• Improving Multimodal fusion via Mutual Dependency Maximisation [5.73995120847626]
  マルチモーダル・感情分析は研究のトレンドとなっている分野であり、マルチモーダル・フュージョンは最も活発なトピックの1つである。 本研究では,未探索の罰則を調査し,モダリティ間の依存性を測定するための新たな目的セットを提案する。 我々は、我々の新しい罰則が様々な最先端モデルに対して一貫した改善(正確性で最大4.3ドル)をもたらすことを示した。
  論文  参考訳（メタデータ） (2021-08-31T06:26:26Z)
• Bi-Bimodal Modality Fusion for Correlation-Controlled Multimodal Sentiment Analysis [96.46952672172021]
  Bi-Bimodal Fusion Network (BBFN) は、2対のモダリティ表現で融合を行う新しいエンドツーエンドネットワークである。 モデルは、モダリティ間の既知の情報不均衡により、2つのバイモーダルペアを入力として取る。
  論文  参考訳（メタデータ） (2021-07-28T23:33:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。