論文の概要: CLMLF:A Contrastive Learning and Multi-Layer Fusion Method for Multimodal Sentiment Detection

• arxiv url: http://arxiv.org/abs/2204.05515v2
• Date: Thu, 14 Apr 2022 08:40:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-15 11:47:02.925072
• Title: CLMLF:A Contrastive Learning and Multi-Layer Fusion Method for Multimodal Sentiment Detection
• Title（参考訳）: clmlf:マルチモーダル感情検出のためのコントラスト学習と多層融合法
• Authors: Zhen Li, Bing Xu, Conghui Zhu, Tiejun Zhao
• Abstract要約: マルチモーダル感情検出のためのコントラスト学習・多層融合法(CLMLF)を提案する。 具体的には、まずテキストと画像をエンコードして隠れ表現を取得し、次に多層融合モジュールを使用してテキストと画像のトークンレベルの特徴を整列し、融合する。 また、感情分析タスクに加えて、ラベルベースコントラスト学習とデータベースコントラスト学習という2つのコントラスト学習タスクを設計した。
• 参考スコア（独自算出の注目度）: 24.243349217940274
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Compared with unimodal data, multimodal data can provide more features to help the model analyze the sentiment of data. Previous research works rarely consider token-level feature fusion, and few works explore learning the common features related to sentiment in multimodal data to help the model fuse multimodal features. In this paper, we propose a Contrastive Learning and Multi-Layer Fusion (CLMLF) method for multimodal sentiment detection. Specifically, we first encode text and image to obtain hidden representations, and then use a multi-layer fusion module to align and fuse the token-level features of text and image. In addition to the sentiment analysis task, we also designed two contrastive learning tasks, label based contrastive learning and data based contrastive learning tasks, which will help the model learn common features related to sentiment in multimodal data. Extensive experiments conducted on three publicly available multimodal datasets demonstrate the effectiveness of our approach for multimodal sentiment detection compared with existing methods. The codes are available for use at https://github.com/Link-Li/CLMLF
• Abstract（参考訳）: ユニモーダルデータと比較すると、マルチモーダルデータは、モデルがデータの感情を分析するのに役立つより多くの機能を提供する。 従来の研究ではトークンレベルの特徴融合はめったに検討されておらず、モデルがマルチモーダルな特徴を融合させるためにマルチモーダルなデータの感情に関連する共通の特徴を学習する研究はほとんどない。 本稿では,マルチモーダル感情検出のためのコントラスト学習と多層融合(CLMLF)手法を提案する。 具体的には、まずテキストと画像をエンコードして隠れ表現を取得し、次に多層融合モジュールを使用してテキストと画像のトークンレベルの特徴を整合・融合する。 また、感情分析タスクに加えて、ラベルベースのコントラスト学習とデータベースのコントラスト学習タスクという2つのコントラスト学習タスクも設計し、マルチモーダルデータにおける感情に関する共通特徴の学習を支援する。 3つの公開マルチモーダルデータセットで行った広範囲な実験は、既存の手法と比較して、マルチモーダル感情検出に対するアプローチの有効性を示している。 コードはhttps://github.com/Link-Li/CLMLFで利用可能である。

関連論文リスト

• Towards Text-Image Interleaved Retrieval [49.96332254241075]
  テキスト画像検索(TIIR)タスクを導入し、クエリと文書をインターリーブしたテキスト画像シーケンスとする。 我々は、自然にインターリーブされたwikiHowチュートリアルに基づいてTIIRベンチマークを構築し、インターリーブされたクエリを生成するために特定のパイプラインを設計する。 異なる粒度で視覚トークンの数を圧縮する新しいMMEを提案する。
  論文  参考訳（メタデータ） (2025-02-18T12:00:47Z)
• MIFNet: Learning Modality-Invariant Features for Generalizable Multimodal Image Matching [54.740256498985026]
  キーポイントの検出と記述方法は、しばしばマルチモーダルデータと競合する。 マルチモーダル画像マッチングにおけるキーポイント記述に対するモダリティ不変特徴量を計算するためのモダリティ不変特徴量学習ネットワーク(MIFNet)を提案する。
  論文  参考訳（メタデータ） (2025-01-20T06:56:30Z)
• Dynamic Multimodal Fusion via Meta-Learning Towards Micro-Video Recommendation [97.82707398481273]
  メタマルチモーダルフュージョン(MetaMMF)と呼ばれるメタラーニングに基づく新しいマルチモーダルフュージョンフレームワークを開発する。 メタMMFは、入力タスクのマルチモーダル特徴から抽出されたメタ情報に基づいて、メタラーナを介して、アイテム固有の融合関数としてニューラルネットワークをパラメータ化する。 我々は3つのベンチマークデータセットに対して広範な実験を行い、最先端のマルチモーダルレコメンデーションモデルに対する大幅な改善を実証した。
  論文  参考訳（メタデータ） (2025-01-13T07:51:43Z)
• SM3Det: A Unified Model for Multi-Modal Remote Sensing Object Detection [73.49799596304418]
  本稿では,リモートセンシングのためのマルチモーダルデータセットとマルチタスクオブジェクト検出(M2Det)という新しいタスクを提案する。 水平方向または指向方向の物体を、あらゆるセンサーから正確に検出するように設計されている。 この課題は、1)マルチモーダルモデリングの管理に関わるトレードオフ、2)マルチタスク最適化の複雑さに起因する。
  論文  参考訳（メタデータ） (2024-12-30T02:47:51Z)
• Multimodality Helps Few-Shot 3D Point Cloud Semantic Segmentation [61.91492500828508]
  FS-PCS (Few-shot 3D point cloud segmentation) は、最小のサポートサンプルで新しいカテゴリを分割するモデルを一般化することを目的としている。 本稿では,テキストラベルと潜在的に利用可能な2次元画像モダリティを利用して,コストフリーのマルチモーダルFS-PCSセットアップを提案する。 トレーニングバイアスを軽減するため,テスト時間適応型クロスモーダルセグ(TACC)技術を提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:28:41Z)
• U3M: Unbiased Multiscale Modal Fusion Model for Multimodal Semantic Segmentation [63.31007867379312]
  U3M: An Unbiased Multiscale Modal Fusion Model for Multimodal Semanticsを紹介する。 我々は,グローバルな特徴とローカルな特徴の効果的な抽出と統合を保証するために,複数のスケールで機能融合を採用している。 実験により,本手法は複数のデータセットにまたがって優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-05-24T08:58:48Z)
• Multi-modal Semantic Understanding with Contrastive Cross-modal Feature Alignment [11.897888221717245]
  マルチモーダルな特徴アライメントを実現するためのCLIP誘導型コントラスト学習型アーキテクチャを提案する。 我々のモデルはタスク固有の外部知識を使わずに実装が簡単であり、そのため、他のマルチモーダルタスクに容易に移行できる。
  論文  参考訳（メタデータ） (2024-03-11T01:07:36Z)
• Shared and Private Information Learning in Multimodal Sentiment Analysis with Deep Modal Alignment and Self-supervised Multi-Task Learning [8.868945335907867]
  本稿では、モーダル間の共有情報を取得するための深いモーダル共有情報学習モジュールを提案する。 また、自己教師付き学習戦略に基づくラベル生成モジュールを使用して、モダリティのプライベート情報をキャプチャする。 当社のアプローチは,3つの公開データセットの指標のほとんどにおいて,最先端の手法よりも優れています。
  論文  参考訳（メタデータ） (2023-05-15T09:24:48Z)
• Does a Technique for Building Multimodal Representation Matter? -- Comparative Analysis [0.0]
  マルチモーダル表現を構築するためのテクニックの選択は、可能な限り高いモデルの性能を得るために不可欠であることを示す。 Amazon Reviews、MovieLens25M、MovieLens1Mの3つのデータセットで実験が行われる。
  論文  参考訳（メタデータ） (2022-06-09T21:30:10Z)
• Unsupervised Multimodal Language Representations using Convolutional Autoencoders [5.464072883537924]
  本稿では,教師なしマルチモーダル言語表現の抽出について提案する。 単語レベルのアライメントされたマルチモーダルシーケンスを2次元行列にマップし、畳み込みオートエンコーダを用いて複数のデータセットを組み合わせることで埋め込みを学習する。 また,本手法は非常に軽量で,他のタスクに容易に一般化でき,少ない性能低下とほぼ同じ数のパラメータを持つ未確認データが得られることを示した。
  論文  参考訳（メタデータ） (2021-10-06T18:28:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。