論文の概要: ConKI: Contrastive Knowledge Injection for Multimodal Sentiment Analysis

• arxiv url: http://arxiv.org/abs/2306.15796v1
• Date: Tue, 27 Jun 2023 20:51:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-29 16:35:04.754027
• Title: ConKI: Contrastive Knowledge Injection for Multimodal Sentiment Analysis
• Title（参考訳）: ConKI:マルチモーダル感性分析のための対照的な知識注入
• Authors: Yakun Yu, Mingjun Zhao, Shi-ang Qi, Feiran Sun, Baoxun Wang, Weidong Guo, Xiaoli Wang, Lei Yang, Di Niu
• Abstract要約: マルチモーダル感情分析のためのコントラシブ・ナレッジ・インジェクション(Contrastive Knowledge Injection, ConKI)を提案する。 ConKIは、知識注入による一般的な知識表現とともに、各モダリティの特定の知識表現を学習する。 一般的な3つのマルチモーダル感情分析ベンチマークの実験により、ConKIは、様々なパフォーマンス指標において、すべての先行したメソッドを上回ります。
• 参考スコア（独自算出の注目度）: 19.53507553138143
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal Sentiment Analysis leverages multimodal signals to detect the sentiment of a speaker. Previous approaches concentrate on performing multimodal fusion and representation learning based on general knowledge obtained from pretrained models, which neglects the effect of domain-specific knowledge. In this paper, we propose Contrastive Knowledge Injection (ConKI) for multimodal sentiment analysis, where specific-knowledge representations for each modality can be learned together with general knowledge representations via knowledge injection based on an adapter architecture. In addition, ConKI uses a hierarchical contrastive learning procedure performed between knowledge types within every single modality, across modalities within each sample, and across samples to facilitate the effective learning of the proposed representations, hence improving multimodal sentiment predictions. The experiments on three popular multimodal sentiment analysis benchmarks show that ConKI outperforms all prior methods on a variety of performance metrics.
• Abstract（参考訳）: マルチモーダル感性分析は、マルチモーダル信号を利用して話者の感情を検出する。 従来のアプローチでは、事前訓練されたモデルから得られた一般的な知識に基づいてマルチモーダル融合と表現学習を行うことに集中しており、ドメイン固有の知識の影響を無視している。 本稿では,マルチモーダル感情分析のためのコントラスト・ナレッジ・インジェクション(conki)を提案し,各モダリティに対する特定知識表現と,アダプタ・アーキテクチャに基づくナレッジインジェクションによる一般的なナレッジ表現を学習する。 さらにconkiでは、各モダリティ内の知識タイプ、各サンプル内のモダリティ、およびサンプル間の階層的な対比学習手順を使用して、提案する表現の効果的な学習を促進し、マルチモーダル感情予測を改善する。 3つの人気のあるマルチモーダル感情分析ベンチマークの実験は、conkiが様々なパフォーマンスメトリクスですべての以前のメソッドを上回っていることを示している。

関連論文リスト

• On the Comparison between Multi-modal and Single-modal Contrastive Learning [50.74988548106031]
  マルチモーダルとシングルモーダルのコントラスト学習の違いを理解するための理論的基盤を導入する。 マルチモーダル・シングルモーダル・コントラッシブ・ラーニングの下流タスクにおける一般化に影響を及ぼす臨界因子,すなわち信号対雑音比(SNR)を同定する。 我々の分析は、単一モードと多モードのコントラスト学習の最適化と一般化を特徴付ける統一的なフレームワークを提供する。
  論文  参考訳（メタデータ） (2024-11-05T06:21:17Z)
• Knowledge-Guided Dynamic Modality Attention Fusion Framework for Multimodal Sentiment Analysis [4.344546814121446]
  マルチモーダル感情分析のための知識誘導動的モダリティ注意融合フレームワーク(KuDA)を提案する。 Kudaは感情知識を使用して、支配的なモダリティを動的に選択し、各モダリティの貢献を調整するモデルを導く。 4つのMSAベンチマークデータセットの実験は、KuDAが最先端のパフォーマンスを達成し、支配的なモダリティの異なるシナリオに適応できることを示している。
  論文  参考訳（メタデータ） (2024-10-06T14:10:28Z)
• Unity in Diversity: Multi-expert Knowledge Confrontation and Collaboration for Generalizable Vehicle Re-identification [32.80872775195836]
  一般化可能な車両再識別(ReID)は、様々なソースドメインでよく訓練されたモデルが、未知のターゲットドメインに広く適応できるようにすることを目的としている。 依然としてドメインシフトの問題に直面しており、未知のターゲットドメインに正確に一般化することは困難である。 本稿では,2段階のMulti-expert Knowledge Confrontation and Collaboration (MiKeCoCo)法を提案する。
  論文  参考訳（メタデータ） (2024-07-10T04:06:39Z)
• Multiple Heads are Better than One: Mixture of Modality Knowledge Experts for Entity Representation Learning [51.80447197290866]
  高品質なマルチモーダル実体表現を学習することは、マルチモーダル知識グラフ(MMKG)表現学習の重要な目標である。 既存の手法は、エレガントなエンティティワイドマルチモーダル融合戦略の構築に重点を置いている。 適応型マルチモーダルな実体表現を学習するために,Mixture of Modality Knowledge Expert (MoMoK) を用いた新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-27T06:36:17Z)
• Revealing Multimodal Contrastive Representation Learning through Latent Partial Causal Models [85.67870425656368]
  マルチモーダルデータに特化して設計された統一因果モデルを提案する。 マルチモーダル・コントラスト表現学習は潜在結合変数の同定に優れていることを示す。 実験では、仮定が破られたとしても、我々の発見の堅牢性を示す。
  論文  参考訳（メタデータ） (2024-02-09T07:18:06Z)
• Multimodal Sentiment Analysis with Missing Modality: A Knowledge-Transfer Approach [15.54426275761234]
  マルチモーダル感情分析は、視覚的、言語的、音響的手がかりを通じて、個人が表現する感情を特定することを目的としている。 既存の研究努力の多くは、すべてのモダリティがトレーニングとテストの両方で利用可能であり、そのアルゴリズムが欠落したモダリティシナリオに影響を受けやすいと仮定している。 本稿では,欠落した音声のモダリティを再構築するために,異なるモダリティ間の翻訳を行う新しいナレッジ・トランスファーネットワークを提案する。
  論文  参考訳（メタデータ） (2023-12-28T06:47:18Z)
• Improving Multimodal Sentiment Analysis: Supervised Angular Margin-based Contrastive Learning for Enhanced Fusion Representation [10.44888349041063]
  マルチモーダル・センティメント・アナリティクスのためのコントラシブ・ラーニング・フレームワークであるSupervised Angularを導入する。 この枠組みは,マルチモーダル表現の識別と一般化性を高め,融合ベクトルのモダリティのバイアスを克服することを目的としている。
  論文  参考訳（メタデータ） (2023-12-04T02:58:19Z)
• Exploiting Modality-Specific Features For Multi-Modal Manipulation Detection And Grounding [54.49214267905562]
  マルチモーダルな操作検出とグラウンド処理のためのトランスフォーマーベースのフレームワークを構築する。 本フレームワークは,マルチモーダルアライメントの能力を維持しながら,モダリティ特有の特徴を同時に探求する。 本稿では,グローバルな文脈的キューを各モーダル内に適応的に集約する暗黙的操作クエリ(IMQ)を提案する。
  論文  参考訳（メタデータ） (2023-09-22T06:55:41Z)
• Domain Generalization for Mammographic Image Analysis with Contrastive Learning [62.25104935889111]
  効果的なディープラーニングモデルのトレーニングには、さまざまなスタイルと品質を備えた大規模なデータが必要である。 より優れたスタイルの一般化能力を備えた深層学習モデルを実現するために,新しいコントラスト学習法が開発された。 提案手法は,様々なベンダスタイルドメインのマンモグラムや,いくつかのパブリックデータセットを用いて,広範囲かつ厳密に評価されている。
  論文  参考訳（メタデータ） (2023-04-20T11:40:21Z)
• A Discriminative Vectorial Framework for Multi-modal Feature Representation [19.158947368297557]
  知識発見におけるマルチモーダル特徴表現のための識別フレームワークを提案する。 マルチモーダルハッシュ(MH)と識別相関(DCM)分析を採用しています。 このフレームワークは最先端統計機械学習(s.m.)よりも優れている。 そしてディープネットワークニューラルネットワーク(DNN)アルゴリズム。
  論文  参考訳（メタデータ） (2021-03-09T18:18:06Z)
• Unpaired Multi-modal Segmentation via Knowledge Distillation [77.39798870702174]
  本稿では,不対向画像分割のための新しい学習手法を提案する。 提案手法では,CTおよびMRI間での畳み込みカーネルの共有により,ネットワークパラメータを多用する。 我々は2つの多クラスセグメンテーション問題に対するアプローチを広範囲に検証した。
  論文  参考訳（メタデータ） (2020-01-06T20:03:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。