論文の概要: ConKI: Contrastive Knowledge Injection for Multimodal Sentiment Analysis
- arxiv url: http://arxiv.org/abs/2306.15796v1
- Date: Tue, 27 Jun 2023 20:51:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-29 16:35:04.754027
- Title: ConKI: Contrastive Knowledge Injection for Multimodal Sentiment Analysis
- Title(参考訳): ConKI:マルチモーダル感性分析のための対照的な知識注入
- Authors: Yakun Yu, Mingjun Zhao, Shi-ang Qi, Feiran Sun, Baoxun Wang, Weidong
Guo, Xiaoli Wang, Lei Yang, Di Niu
- Abstract要約: マルチモーダル感情分析のためのコントラシブ・ナレッジ・インジェクション(Contrastive Knowledge Injection, ConKI)を提案する。
ConKIは、知識注入による一般的な知識表現とともに、各モダリティの特定の知識表現を学習する。
一般的な3つのマルチモーダル感情分析ベンチマークの実験により、ConKIは、様々なパフォーマンス指標において、すべての先行したメソッドを上回ります。
- 参考スコア(独自算出の注目度): 19.53507553138143
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal Sentiment Analysis leverages multimodal signals to detect the
sentiment of a speaker. Previous approaches concentrate on performing
multimodal fusion and representation learning based on general knowledge
obtained from pretrained models, which neglects the effect of domain-specific
knowledge. In this paper, we propose Contrastive Knowledge Injection (ConKI)
for multimodal sentiment analysis, where specific-knowledge representations for
each modality can be learned together with general knowledge representations
via knowledge injection based on an adapter architecture. In addition, ConKI
uses a hierarchical contrastive learning procedure performed between knowledge
types within every single modality, across modalities within each sample, and
across samples to facilitate the effective learning of the proposed
representations, hence improving multimodal sentiment predictions. The
experiments on three popular multimodal sentiment analysis benchmarks show that
ConKI outperforms all prior methods on a variety of performance metrics.
- Abstract(参考訳): マルチモーダル感性分析は、マルチモーダル信号を利用して話者の感情を検出する。
従来のアプローチでは、事前訓練されたモデルから得られた一般的な知識に基づいてマルチモーダル融合と表現学習を行うことに集中しており、ドメイン固有の知識の影響を無視している。
本稿では,マルチモーダル感情分析のためのコントラスト・ナレッジ・インジェクション(conki)を提案し,各モダリティに対する特定知識表現と,アダプタ・アーキテクチャに基づくナレッジインジェクションによる一般的なナレッジ表現を学習する。
さらにconkiでは、各モダリティ内の知識タイプ、各サンプル内のモダリティ、およびサンプル間の階層的な対比学習手順を使用して、提案する表現の効果的な学習を促進し、マルチモーダル感情予測を改善する。
3つの人気のあるマルチモーダル感情分析ベンチマークの実験は、conkiが様々なパフォーマンスメトリクスですべての以前のメソッドを上回っていることを示している。
関連論文リスト
- Understanding Multimodal Contrastive Learning Through Pointwise Mutual Information [44.95433989446052]
事前学習において最適な類似性を実現するエンコーダは、軽度の仮定の下で下流の分類タスクに良い表現を提供することを示す。
また,非線形カーネルを用いたマルチモーダルコントラスト学習のための新しい類似度指標を提案する。
論文 参考訳(メタデータ) (2024-04-30T03:15:04Z) - Revealing Multimodal Contrastive Representation Learning through Latent
Partial Causal Models [85.67870425656368]
マルチモーダルデータに特化して設計された統一因果モデルを提案する。
マルチモーダル・コントラスト表現学習は潜在結合変数の同定に優れていることを示す。
実験では、仮定が破られたとしても、我々の発見の堅牢性を示す。
論文 参考訳(メタデータ) (2024-02-09T07:18:06Z) - Multimodal Sentiment Analysis with Missing Modality: A
Knowledge-Transfer Approach [16.980990370468838]
マルチモーダル感情分析は、視覚的、言語的、音響的手がかりを通じて、個人が表現する感情を特定することを目的としている。
既存の研究努力の多くは、すべてのモダリティがトレーニングとテストの両方で利用可能であり、そのアルゴリズムが欠落したモダリティシナリオに影響を受けやすいと仮定している。
本稿では,欠落した音声のモダリティを再構築するために,異なるモダリティ間の翻訳を行う新しいナレッジ・トランスファーネットワークを提案する。
論文 参考訳(メタデータ) (2023-12-28T06:47:18Z) - Improving Multimodal Sentiment Analysis: Supervised Angular Margin-based
Contrastive Learning for Enhanced Fusion Representation [10.44888349041063]
マルチモーダル・センティメント・アナリティクスのためのコントラシブ・ラーニング・フレームワークであるSupervised Angularを導入する。
この枠組みは,マルチモーダル表現の識別と一般化性を高め,融合ベクトルのモダリティのバイアスを克服することを目的としている。
論文 参考訳(メタデータ) (2023-12-04T02:58:19Z) - Exploiting Modality-Specific Features For Multi-Modal Manipulation
Detection And Grounding [54.49214267905562]
マルチモーダルな操作検出とグラウンド処理のためのトランスフォーマーベースのフレームワークを構築する。
本フレームワークは,マルチモーダルアライメントの能力を維持しながら,モダリティ特有の特徴を同時に探求する。
本稿では,グローバルな文脈的キューを各モーダル内に適応的に集約する暗黙的操作クエリ(IMQ)を提案する。
論文 参考訳(メタデータ) (2023-09-22T06:55:41Z) - Domain Generalization for Mammographic Image Analysis with Contrastive
Learning [62.25104935889111]
効果的なディープラーニングモデルのトレーニングには、さまざまなスタイルと品質を備えた大規模なデータが必要である。
より優れたスタイルの一般化能力を備えた深層学習モデルを実現するために,新しいコントラスト学習法が開発された。
提案手法は,様々なベンダスタイルドメインのマンモグラムや,いくつかのパブリックデータセットを用いて,広範囲かつ厳密に評価されている。
論文 参考訳(メタデータ) (2023-04-20T11:40:21Z) - Variational Distillation for Multi-View Learning [104.17551354374821]
我々は,多視点表現学習における2つの重要な特徴を利用するために,様々な情報ボトルネックを設計する。
厳密な理論的保証の下で,本手法は,観察とセマンティックラベルの内在的相関の把握を可能にする。
論文 参考訳(メタデータ) (2022-06-20T03:09:46Z) - Knowledge Graph Augmented Network Towards Multiview Representation
Learning for Aspect-based Sentiment Analysis [96.53859361560505]
本稿では,知識グラフ拡張ネットワーク(KGAN)を提案する。
KGANは感情の特徴表現を、文脈、構文、知識に基づく複数の視点から捉えている。
3つの人気のあるABSAベンチマークの実験は、我々のKGANの有効性と堅牢性を示している。
論文 参考訳(メタデータ) (2022-01-13T08:25:53Z) - A Discriminative Vectorial Framework for Multi-modal Feature
Representation [19.158947368297557]
知識発見におけるマルチモーダル特徴表現のための識別フレームワークを提案する。
マルチモーダルハッシュ(MH)と識別相関(DCM)分析を採用しています。
このフレームワークは最先端統計機械学習(s.m.)よりも優れている。
そしてディープネットワークニューラルネットワーク(DNN)アルゴリズム。
論文 参考訳(メタデータ) (2021-03-09T18:18:06Z) - The Labeled Multiple Canonical Correlation Analysis for Information
Fusion [25.23035811685684]
Labeled Multiple Canonical Correlation Analysis (LMCCA) に基づくマルチモーダル情報融合と表現の新しい方法を紹介します。
LMCCAのプロトタイプを実装し,手書き文字認識,顔認識,物体認識において有効性を示す。
論文 参考訳(メタデータ) (2021-02-28T00:13:36Z) - Unpaired Multi-modal Segmentation via Knowledge Distillation [77.39798870702174]
本稿では,不対向画像分割のための新しい学習手法を提案する。
提案手法では,CTおよびMRI間での畳み込みカーネルの共有により,ネットワークパラメータを多用する。
我々は2つの多クラスセグメンテーション問題に対するアプローチを広範囲に検証した。
論文 参考訳(メタデータ) (2020-01-06T20:03:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。