論文の概要: Learning Modality-Specific Representations with Self-Supervised
Multi-Task Learning for Multimodal Sentiment Analysis
- arxiv url: http://arxiv.org/abs/2102.04830v1
- Date: Tue, 9 Feb 2021 14:05:02 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-10 15:05:38.586191
- Title: Learning Modality-Specific Representations with Self-Supervised
Multi-Task Learning for Multimodal Sentiment Analysis
- Title（参考訳）: マルチモーダル感情分析のための自己監督型マルチタスク学習による学習モダリティ特異的表現
- Authors: Wenmeng Yu, Hua Xu, Ziqi Yuan, Jiele Wu
- Abstract要約: 我々は,独立した一助的指導を受けるための自己指導型学習戦略を開発する。
我々は3つの公開マルチモーダルベースラインデータセットについて広範な実験を行った。
提案手法は,人間の注釈付きアンモダルラベルと同等の性能を達成している。
- 参考スコア（独自算出の注目度）: 11.368438990334397
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Representation Learning is a significant and challenging task in multimodal
learning. Effective modality representations should contain two parts of
characteristics: the consistency and the difference. Due to the unified
multimodal annotation, existing methods are restricted in capturing
differentiated information. However, additional uni-modal annotations are high
time- and labor-cost. In this paper, we design a label generation module based
on the self-supervised learning strategy to acquire independent unimodal
supervisions. Then, joint training the multi-modal and uni-modal tasks to learn
the consistency and difference, respectively. Moreover, during the training
stage, we design a weight-adjustment strategy to balance the learning progress
among different subtasks. That is to guide the subtasks to focus on samples
with a larger difference between modality supervisions. Last, we conduct
extensive experiments on three public multimodal baseline datasets. The
experimental results validate the reliability and stability of auto-generated
unimodal supervisions. On MOSI and MOSEI datasets, our method surpasses the
current state-of-the-art methods. On the SIMS dataset, our method achieves
comparable performance than human-annotated unimodal labels. The full codes are
available at https://github.com/thuiar/Self-MM.
- Abstract（参考訳）: 表現学習はマルチモーダル学習において重要かつ困難な課題である。
効果的なモダリティ表現は特性の2つの部分を含むべきである。
統一されたマルチモーダルアノテーションにより、既存の手法は識別された情報の取得に制限される。
しかし、追加のユニモーダルアノテーションは時間と労働コストが高い。
本稿では,自己教師付き学習戦略に基づくラベル生成モジュールを設計し,独立したユニモーダル監督を得る。
次に,マルチモーダルタスクとユニモーダルタスクを共同でトレーニングし,一貫性と差分をそれぞれ学習する。
さらに、トレーニング段階では、異なるサブタスク間の学習進捗のバランスをとるための重量調整戦略を設計します。
つまり、サブタスクをガイドして、モダリティの監督との大きな違いを持つサンプルに集中することです。
最後に,3つの公開マルチモーダルベースラインデータセットについて広範な実験を行った。
実験結果は, 自動生成単潮監視装置の信頼性と安定性を検証した。
MOSIおよびMOSEIデータセットでは、このメソッドは現在の最先端のメソッドを上回ります。
SIMSデータセットにおいて,本手法は人間の注釈付きアンモダルラベルに匹敵する性能を達成している。
完全なコードはhttps://github.com/thuiar/Self-MMで入手できる。
関連論文リスト
- Cross-Modal Few-Shot Learning: a Generative Transfer Learning Framework [58.362064122489166]
本稿では,複数モーダルからインスタンスを識別するクロスモーダルなFew-Shot Learningタスクを提案する。
本稿では,1つの段階からなる生成的転帰学習フレームワークを提案する。1つは豊富な一助データに対する学習を伴い,もう1つは新しいデータに適応するための転帰学習に焦点を当てる。
以上の結果から,GTLは4つの異なるマルチモーダルデータセット間の最先端手法よりも優れた性能を示す。
論文 参考訳（メタデータ） (2024-10-14T16:09:38Z) - Beyond Unimodal Learning: The Importance of Integrating Multiple Modalities for Lifelong Learning [23.035725779568587]
ディープニューラルネットワーク(DNN)におけるマルチモーダル性の役割と相互作用について検討する。
以上の結果から,複数のビューと相補的な情報を複数のモーダルから活用することで,より正確かつ堅牢な表現を学習できることが示唆された。
本稿では,各モーダルにおけるデータ点間の関係構造的類似性を利用して,異なるモーダルからの情報の統合と整合化を行う手法を提案する。
論文 参考訳（メタデータ） (2024-05-04T22:02:58Z) - Multi-modal Semantic Understanding with Contrastive Cross-modal Feature
Alignment [11.897888221717245]
マルチモーダルな特徴アライメントを実現するためのCLIP誘導型コントラスト学習型アーキテクチャを提案する。
我々のモデルはタスク固有の外部知識を使わずに実装が簡単であり、そのため、他のマルチモーダルタスクに容易に移行できる。
論文 参考訳（メタデータ） (2024-03-11T01:07:36Z) - Multimodal Representation Learning by Alternating Unimodal Adaptation [73.15829571740866]
MLA(Multimodal Learning with Alternating Unimodal Adaptation)を提案する。
MLAは、それを交互に一助学習プロセスに変換することで、従来の共同マルチモーダル学習プロセスを再構築する。
共有ヘッドを通じてモーダル間相互作用をキャプチャし、異なるモーダル間で連続的な最適化を行う。
実験は5つの多様なデータセットで行われ、完全なモダリティを持つシナリオと、欠落したモダリティを持つシナリオを含む。
論文 参考訳（メタデータ） (2023-11-17T18:57:40Z) - Unified Multi-modal Unsupervised Representation Learning for
Skeleton-based Action Understanding [62.70450216120704]
教師なしの事前訓練は骨格に基づく行動理解において大きな成功を収めた。
我々はUmURLと呼ばれる統一マルチモーダル非教師なし表現学習フレームワークを提案する。
UmURLは効率的な早期融合戦略を利用して、マルチモーダル機能を単一ストリームで共同でエンコードする。
論文 参考訳（メタデータ） (2023-11-06T13:56:57Z) - Multimodal Learning Without Labeled Multimodal Data: Guarantees and Applications [90.6849884683226]
ラベル付き単調データのみを用いた半教師付き環境における相互作用定量化の課題について検討する。
相互作用の正確な情報理論的定義を用いて、我々の重要な貢献は下界と上界の導出である。
本稿では、これらの理論結果を用いてマルチモーダルモデルの性能を推定し、データ収集をガイドし、様々なタスクに対して適切なマルチモーダルモデルを選択する方法について述べる。
論文 参考訳（メタデータ） (2023-06-07T15:44:53Z) - Shared and Private Information Learning in Multimodal Sentiment Analysis with Deep Modal Alignment and Self-supervised Multi-Task Learning [8.868945335907867]
本稿では、モーダル間の共有情報を取得するための深いモーダル共有情報学習モジュールを提案する。
また、自己教師付き学習戦略に基づくラベル生成モジュールを使用して、モダリティのプライベート情報をキャプチャする。
当社のアプローチは,3つの公開データセットの指標のほとんどにおいて,最先端の手法よりも優れています。
論文 参考訳（メタデータ） (2023-05-15T09:24:48Z) - On Uni-Modal Feature Learning in Supervised Multi-Modal Learning [21.822251958013737]
マルチモーダルデータの特徴(つまり学習された表現)を,1)ユニモーダルな特徴と2)相互モーダルな相互作用からしか学べないペア化された特徴にまとめる。
簡単な誘導戦略により、様々なマルチモーダルデータセット上の他の複雑なレイトフュージョン法や中間フュージョン法に匹敵する結果が得られることを示す。
論文 参考訳（メタデータ） (2023-05-02T07:15:10Z) - Self-Supervised Multimodal Learning: A Survey [23.526389924804207]
マルチモーダル学習は、複数のモーダルからの情報を理解し分析することを目的としている。
高価なヒューマンアノテーションと組み合わせたデータへの大きな依存は、モデルのスケールアップを妨げる。
大規模無意味なデータが野生で利用可能であることを考えると、自己教師型学習は、アノテーションボトルネックを軽減するための魅力的な戦略となっている。
論文 参考訳（メタデータ） (2023-03-31T16:11:56Z) - Multi-modal Contrastive Representation Learning for Entity Alignment [57.92705405276161]
マルチモーダルなエンティティアライメントは、2つの異なるマルチモーダルな知識グラフ間で等価なエンティティを識別することを目的としている。
マルチモーダルコントラスト学習に基づくエンティティアライメントモデルであるMCLEAを提案する。
特に、MCLEAはまず複数のモダリティから複数の個別表現を学習し、その後、モダリティ内およびモダリティ間相互作用を共同でモデル化するコントラスト学習を行う。
論文 参考訳（メタデータ） (2022-09-02T08:59:57Z) - Channel Exchanging Networks for Multimodal and Multitask Dense Image
Prediction [125.18248926508045]
本稿では,マルチモーダル融合とマルチタスク学習の両方に適用可能な,自己適応的でパラメータフリーなチャネル交換ネットワーク(CEN)を提案する。
CENは異なるモダリティのワーク間でチャネルを動的に交換する。
濃密な画像予測を応用するために、CENの有効性は4つの異なるシナリオで検証される。
論文 参考訳（メタデータ） (2021-12-04T05:47:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。