論文の概要: Semi-IIN: Semi-supervised Intra-inter modal Interaction Learning Network for Multimodal Sentiment Analysis

• arxiv url: http://arxiv.org/abs/2412.09784v1
• Date: Fri, 13 Dec 2024 01:48:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-16 15:04:16.247180
• Title: Semi-IIN: Semi-supervised Intra-inter modal Interaction Learning Network for Multimodal Sentiment Analysis
• Title（参考訳）: セミイン:マルチモーダル感性分析のためのインターモーダル・インターモーダル・インタラクション学習ネットワーク
• Authors: Jinhao Lin, Yifei Wang, Yanwu Xu, Qi Liu,
• Abstract要約: Semi-IINは、マルチモーダル感情分析のためのセミ教師付きインターモーダル相互作用学習ネットワークである。 Semi-IINはマスクされた注意とゲーティング機構を統合し、効果的な動的選択を可能にする。
• 参考スコア（独自算出の注目度）: 18.21677610441604
• License:
• Abstract: Despite multimodal sentiment analysis being a fertile research ground that merits further investigation, current approaches take up high annotation cost and suffer from label ambiguity, non-amicable to high-quality labeled data acquisition. Furthermore, choosing the right interactions is essential because the significance of intra- or inter-modal interactions can differ among various samples. To this end, we propose Semi-IIN, a Semi-supervised Intra-inter modal Interaction learning Network for multimodal sentiment analysis. Semi-IIN integrates masked attention and gating mechanisms, enabling effective dynamic selection after independently capturing intra- and inter-modal interactive information. Combined with the self-training approach, Semi-IIN fully utilizes the knowledge learned from unlabeled data. Experimental results on two public datasets, MOSI and MOSEI, demonstrate the effectiveness of Semi-IIN, establishing a new state-of-the-art on several metrics. Code is available at https://github.com/flow-ljh/Semi-IIN.
• Abstract（参考訳）: マルチモーダルな感情分析は、さらなる調査に役立つ肥大した研究基盤であるにもかかわらず、現在のアプローチは、高いアノテーションコストを持ち、ラベルの曖昧さに悩まされ、高品質なラベル付きデータ取得には適さない。 さらに、適切な相互作用を選択することが不可欠である。なぜなら、モーダル内またはモーダル間相互作用の重要性は、様々なサンプルによって異なる可能性があるからである。 この目的のために,マルチモーダル感情分析のためのセミ教師付きインターモーダルインタラクション学習ネットワークであるSemi-IINを提案する。 Semi-IINは、マスクされた注意とゲーティング機構を統合し、モーダル内およびモーダル間対話情報を独立にキャプチャした後、効果的な動的選択を可能にする。 自己学習アプローチと組み合わせて、Semi-IINはラベルのないデータから学んだ知識を完全に活用する。 2つの公開データセット(MOSIとMOSEI)の実験結果は、Semi-IINの有効性を実証し、いくつかのメトリクスで新しい最先端技術を確立した。 コードはhttps://github.com/flow-ljh/Semi-IINで入手できる。

関連論文リスト

• Interpretable Tensor Fusion [26.314148163750257]
  InTense(Interpretable tensor fusion)は,マルチモーダルデータ表現を同時に学習するためのニューラルネットワークのトレーニング手法である。 InTenseは、関連スコアをモダリティとその関連に割り当てることで、ボックスから解釈可能性を提供する。 6つの実世界のデータセットの実験により、InTenseは精度と解釈可能性の観点から、既存の最先端のマルチモーダル解釈アプローチより優れていることが示された。
  論文  参考訳（メタデータ） (2024-05-07T21:05:50Z)
• Joint Multimodal Transformer for Emotion Recognition in the Wild [49.735299182004404]
  マルチモーダル感情認識(MMER)システムは、通常、単調なシステムよりも優れている。 本稿では,キーベースのクロスアテンションと融合するために,ジョイントマルチモーダルトランス (JMT) を利用するMMER法を提案する。
  論文  参考訳（メタデータ） (2024-03-15T17:23:38Z)
• Multi-Grained Multimodal Interaction Network for Entity Linking [65.30260033700338]
  マルチモーダルエンティティリンクタスクは、マルチモーダル知識グラフへの曖昧な言及を解決することを目的としている。 MELタスクを解決するための新しいMulti-Grained Multimodal InteraCtion Network $textbf(MIMIC)$ frameworkを提案する。
  論文  参考訳（メタデータ） (2023-07-19T02:11:19Z)
• Multimodal Learning Without Labeled Multimodal Data: Guarantees and Applications [90.6849884683226]
  ラベル付き単調データのみを用いた半教師付き環境における相互作用定量化の課題について検討する。 相互作用の正確な情報理論的定義を用いて、我々の重要な貢献は下界と上界の導出である。 本稿では、これらの理論結果を用いてマルチモーダルモデルの性能を推定し、データ収集をガイドし、様々なタスクに対して適切なマルチモーダルモデルを選択する方法について述べる。
  論文  参考訳（メタデータ） (2023-06-07T15:44:53Z)
• Incomplete Multimodal Learning for Remote Sensing Data Fusion [12.822457129596824]
  遠隔センシングデータ融合タスクにおけるマルチモーダルトランスフォーマーネットワークの成功には,自己注意操作によるマルチモーダル信号の接続機構が鍵となる。 従来のアプローチでは、トレーニングと推論の両方の間、すべてのモダリティへのアクセスを前提としており、下流アプリケーションでモーダル不完全入力を扱う場合、深刻な劣化を引き起こす可能性がある。 提案手法は,リモートセンシングデータ融合の文脈において,不完全なマルチモーダル学習のための新しいモデルを提案する。
  論文  参考訳（メタデータ） (2023-04-22T12:16:52Z)
• Multi-channel Attentive Graph Convolutional Network With Sentiment Fusion For Multimodal Sentiment Analysis [10.625579004828733]
  本稿では,Multi- Channel Attentive Graph Convolutional Network (MAGCN)を提案する。 クロスモーダルな対話型学習と感傷的特徴融合の2つの主要コンポーネントで構成されている。 実験は、広く使われている3つのデータセットで実施される。
  論文  参考訳（メタデータ） (2022-01-25T12:38:33Z)
• Group Gated Fusion on Attention-based Bidirectional Alignment for Multimodal Emotion Recognition [63.07844685982738]
  本稿では、LSTM隠蔽状態上の注目に基づく双方向アライメントネットワークで構成されるGBAN(Gated Bidirectional Alignment Network)と呼ばれる新しいモデルを提案する。 LSTMの最後の隠れ状態よりもアテンション整列表現の方が有意に優れていたことを実証的に示す。 提案したGBANモデルは、IEMOCAPデータセットにおける既存の最先端マルチモーダルアプローチよりも優れている。
  論文  参考訳（メタデータ） (2022-01-17T09:46:59Z)
• Hybrid Contrastive Learning of Tri-Modal Representation for Multimodal Sentiment Analysis [18.4364234071951]
  我々は,三モーダル表現のハイブリッドコントラスト学習のための新しいフレームワークHyConを提案する。 具体的には,モーダル内・モーダル内コントラスト学習と半コントラスト学習を同時に行う。 提案手法は既存の作業より優れている。
  論文  参考訳（メタデータ） (2021-09-04T06:04:21Z)
• Bi-Bimodal Modality Fusion for Correlation-Controlled Multimodal Sentiment Analysis [96.46952672172021]
  Bi-Bimodal Fusion Network (BBFN) は、2対のモダリティ表現で融合を行う新しいエンドツーエンドネットワークである。 モデルは、モダリティ間の既知の情報不均衡により、2つのバイモーダルペアを入力として取る。
  論文  参考訳（メタデータ） (2021-07-28T23:33:42Z)
• Dual-Teacher: Integrating Intra-domain and Inter-domain Teachers for Annotation-efficient Cardiac Segmentation [65.81546955181781]
  本稿では,新しい半教師付きドメイン適応手法,すなわちDual-Teacherを提案する。 学生モデルは、2つの教師モデルによってラベル付けされていない対象データとラベル付けされた情報源データの知識を学習する。 提案手法では, ラベルなしデータとモダリティ間データとを並列に利用でき, 性能が向上することを示した。
  論文  参考訳（メタデータ） (2020-07-13T10:00:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。