論文の概要: Improving the Modality Representation with Multi-View Contrastive
Learning for Multimodal Sentiment Analysis
- arxiv url: http://arxiv.org/abs/2210.15824v1
- Date: Fri, 28 Oct 2022 01:25:16 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-31 16:52:18.894295
- Title: Improving the Modality Representation with Multi-View Contrastive
Learning for Multimodal Sentiment Analysis
- Title（参考訳）: マルチモーダル感性分析のためのマルチビューコントラスト学習によるモダリティ表現の改善
- Authors: Peipei Liu, Xin Zheng, Hong Li, Jie Liu, Yimo Ren, Hongsong Zhu, Limin
Sun
- Abstract要約: コントラスト学習によるモダリティ表現の改良手法について検討した。
我々は,多視点コントラスト学習を用いた3段階のフレームワークを考案し,特定の目的の表現を洗練させる。
3つのオープンデータセットで実験を行い、その結果、我々のモデルの進歩を示す。
- 参考スコア（独自算出の注目度）: 15.623293264871181
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Modality representation learning is an important problem for multimodal
sentiment analysis (MSA), since the highly distinguishable representations can
contribute to improving the analysis effect. Previous works of MSA have usually
focused on multimodal fusion strategies, and the deep study of modal
representation learning was given less attention. Recently, contrastive
learning has been confirmed effective at endowing the learned representation
with stronger discriminate ability. Inspired by this, we explore the
improvement approaches of modality representation with contrastive learning in
this study. To this end, we devise a three-stages framework with multi-view
contrastive learning to refine representations for the specific objectives. At
the first stage, for the improvement of unimodal representations, we employ the
supervised contrastive learning to pull samples within the same class together
while the other samples are pushed apart. At the second stage, a
self-supervised contrastive learning is designed for the improvement of the
distilled unimodal representations after cross-modal interaction. At last, we
leverage again the supervised contrastive learning to enhance the fused
multimodal representation. After all the contrast trainings, we next achieve
the classification task based on frozen representations. We conduct experiments
on three open datasets, and results show the advance of our model.
- Abstract（参考訳）: モダリティ表現学習はマルチモーダル感情分析(MSA)において重要な問題である。
MSAのこれまでの研究は、通常マルチモーダル融合戦略に重点を置いており、モーダル表現学習の深い研究は、あまり注目されなかった。
近年, コントラスト学習は, 識別能力の強い学習表現の実現に有効であることが確認されている。
そこで本研究では, コントラスト学習によるモダリティ表現の改善手法について検討する。
この目的のために,多視点のコントラスト学習を用いた3段階フレームワークを考案し,特定の目的に対する表現を洗練する。
最初の段階では、ユニモーダル表現の改善のために、教師付きコントラスト学習を使用して、同じクラス内でサンプルをプルし、他のサンプルをプッシュする。
第2段階では, クロスモーダル相互作用後の蒸留片側表現の改善のために, 自己指導型コントラスト学習を設計する。
最終的に、教師付きコントラスト学習を再び活用して、融合マルチモーダル表現を強化する。
すべてのコントラストトレーニングの後、次に凍結表現に基づく分類タスクを達成する。
3つのオープンデータセットについて実験を行い,モデルの進歩を示す。
関連論文リスト
- On the Comparison between Multi-modal and Single-modal Contrastive Learning [50.74988548106031]
マルチモーダルとシングルモーダルのコントラスト学習の違いを理解するための理論的基盤を導入する。
マルチモーダル・シングルモーダル・コントラッシブ・ラーニングの下流タスクにおける一般化に影響を及ぼす臨界因子,すなわち信号対雑音比(SNR)を同定する。
我々の分析は、単一モードと多モードのコントラスト学習の最適化と一般化を特徴付ける統一的なフレームワークを提供する。
論文 参考訳（メタデータ） (2024-11-05T06:21:17Z) - Revealing Multimodal Contrastive Representation Learning through Latent
Partial Causal Models [85.67870425656368]
マルチモーダルデータに特化して設計された統一因果モデルを提案する。
マルチモーダル・コントラスト表現学習は潜在結合変数の同定に優れていることを示す。
実験では、仮定が破られたとしても、我々の発見の堅牢性を示す。
論文 参考訳（メタデータ） (2024-02-09T07:18:06Z) - Constrained Multiview Representation for Self-supervised Contrastive
Learning [4.817827522417457]
本稿では、異なる視点の重要度を測定するために、表現距離に基づく相互情報(MI)に基づく新しいアプローチを提案する。
周波数領域から抽出した多視点表現を利用して、相互情報に基づいてそれらの意義を再評価する。
論文 参考訳（メタデータ） (2024-02-05T19:09:33Z) - Improving Multimodal Sentiment Analysis: Supervised Angular Margin-based
Contrastive Learning for Enhanced Fusion Representation [10.44888349041063]
マルチモーダル・センティメント・アナリティクスのためのコントラシブ・ラーニング・フレームワークであるSupervised Angularを導入する。
この枠組みは,マルチモーダル表現の識別と一般化性を高め,融合ベクトルのモダリティのバイアスを克服することを目的としている。
論文 参考訳（メタデータ） (2023-12-04T02:58:19Z) - I$^2$MD: 3D Action Representation Learning with Inter- and Intra-modal
Mutual Distillation [147.2183428328396]
一般のモード内相互蒸留(I$2$MD)フレームワークを紹介する。
In 2$MD, we first-formulate the cross-modal interaction as a cross-modal Mutual Distillation (CMD) process。
類似したサンプルの干渉を緩和し,その基盤となるコンテキストを活用するため,モーダル・ミューチュアル蒸留(IMD)戦略をさらに設計する。
論文 参考訳（メタデータ） (2023-10-24T07:22:17Z) - Identifiability Results for Multimodal Contrastive Learning [72.15237484019174]
本研究では,以前研究したマルチビュー設定よりも,より一般的な設定で共有要因を復元可能であることを示す。
本研究は,マルチモーダル表現学習の理論的基盤を提供し,マルチモーダルコントラスト学習を実践的に効果的に設定する方法を説明する。
論文 参考訳（メタデータ） (2023-03-16T09:14:26Z) - Multimodal Contrastive Learning via Uni-Modal Coding and Cross-Modal
Prediction for Multimodal Sentiment Analysis [19.07020276666615]
本稿では,マルチモーダル表現のためのMMCL(MultiModal Contrastive Learning)というフレームワークを提案する。
また、予測のプロセスを促進し、感情に関連するよりインタラクティブな情報を学ぶために、事例ベースと感情ベースのコントラスト学習という2つのコントラスト学習タスクを設計する。
論文 参考訳（メタデータ） (2022-10-26T08:24:15Z) - Task Formulation Matters When Learning Continually: A Case Study in
Visual Question Answering [58.82325933356066]
継続的な学習は、以前の知識を忘れずに、一連のタスクでモデルを漸進的にトレーニングすることを目的としている。
本稿では,視覚的質問応答において,異なる設定がパフォーマンスに与える影響について詳細に検討する。
論文 参考訳（メタデータ） (2022-09-30T19:12:58Z) - A Broad Study on the Transferability of Visual Representations with
Contrastive Learning [15.667240680328922]
線形評価, 全ネットワーク転送, 数ショット認識のための造影的アプローチの学習表現の伝達性について検討する。
その結果、コントラスト的アプローチは、異なる下流タスクに簡単に移行できる表現を学習できることが示される。
分析の結果, コントラスト的アプローチから得られた表現は, クロスエントロピーモデルよりも低レベル・中レベルセマンティクスを含んでいることがわかった。
論文 参考訳（メタデータ） (2021-03-24T22:55:04Z) - Dynamic Dual-Attentive Aggregation Learning for Visible-Infrared Person
Re-Identification [208.1227090864602]
Visible-infrared person re-identification (VI-ReID) は、歩行者検索の課題である。
既存のVI-ReID法は、識別可能性に制限があり、ノイズの多い画像に対して弱いロバスト性を持つグローバル表現を学習する傾向にある。
そこで我々は,VI-ReIDのための動的二段階集合(DDAG)学習法を提案する。
論文 参考訳（メタデータ） (2020-07-18T03:08:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。