論文の概要: CARAT: Contrastive Feature Reconstruction and Aggregation for
Multi-Modal Multi-Label Emotion Recognition
- arxiv url: http://arxiv.org/abs/2312.10201v3
- Date: Sat, 13 Jan 2024 06:05:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-18 00:12:32.382377
- Title: CARAT: Contrastive Feature Reconstruction and Aggregation for
Multi-Modal Multi-Label Emotion Recognition
- Title（参考訳）: CARAT:マルチモードマルチラベル感情認識のためのコントラスト特徴再構成と集約
- Authors: Cheng Peng, Ke Chen, Lidan Shou, Gang Chen
- Abstract要約: マルチモーダルマルチラベル感情認識(MMER)は、複数のモーダルから関連する感情を識別することを目的としている。
MMERの課題は、異種データから複数のラベルの識別機能を効果的に取得する方法である。
本稿では,MMERタスクのためのContrAstive Feature Restruction and AggregaTion(CARAT)を提案する。
- 参考スコア（独自算出の注目度）: 18.75994345925282
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-modal multi-label emotion recognition (MMER) aims to identify relevant
emotions from multiple modalities. The challenge of MMER is how to effectively
capture discriminative features for multiple labels from heterogeneous data.
Recent studies are mainly devoted to exploring various fusion strategies to
integrate multi-modal information into a unified representation for all labels.
However, such a learning scheme not only overlooks the specificity of each
modality but also fails to capture individual discriminative features for
different labels. Moreover, dependencies of labels and modalities cannot be
effectively modeled. To address these issues, this paper presents ContrAstive
feature Reconstruction and AggregaTion (CARAT) for the MMER task. Specifically,
we devise a reconstruction-based fusion mechanism to better model fine-grained
modality-to-label dependencies by contrastively learning modal-separated and
label-specific features. To further exploit the modality complementarity, we
introduce a shuffle-based aggregation strategy to enrich co-occurrence
collaboration among labels. Experiments on two benchmark datasets CMU-MOSEI and
M3ED demonstrate the effectiveness of CARAT over state-of-the-art methods. Code
is available at https://github.com/chengzju/CARAT.
- Abstract（参考訳）: マルチモーダルマルチラベル感情認識(MMER)は、複数のモーダルから関連する感情を特定することを目的としている。
mmerの課題は、異種データから複数のラベルの識別的特徴を効果的に捉える方法である。
最近の研究は主に、マルチモーダル情報を全てのラベルの統一表現に統合するための様々な融合戦略の探求に費やされている。
しかし、このような学習スキームは、各モダリティの特異性を見逃すだけでなく、異なるラベルに対する個々の識別的特徴を捉えることに失敗する。
さらに、ラベルやモダリティの依存関係を効果的にモデル化することはできない。
これらの課題に対処するために,MMERタスクのためのContrAstive Feature Restruction and AggregaTion(CARAT)を提案する。
具体的には,モーダル分離とラベル特有の特徴を対比的に学習することにより,細粒度モダリティとラベル間の依存性をよりよくモデル化するための再構成ベースの融合機構を考案する。
モータリティの相補性をさらに活用するために,ラベル間の共起コラボレーションを充実させるシャッフルベースのアグリゲーション戦略を導入する。
CMU-MOSEIとM3EDの2つのベンチマークデータセットの実験は、最先端手法に対するCARATの有効性を示した。
コードはhttps://github.com/chengzju/CARAT.comで入手できる。
関連論文リスト
- Adaptive Collaborative Correlation Learning-based Semi-Supervised Multi-Label Feature Selection [25.195711274756334]
適応的協調相関 lEarning-based Semi-Supervised Multi-label Feature Selection (Access-MFS) 法を提案する。
具体的には、拡張された非相関制約を備えた一般化回帰モデルを導入し、識別的かつ無関係な特徴を選択する。
相関インスタンスとラベル相関を提案回帰モデルに統合し,サンプル類似度グラフとラベル類似度グラフの両方を適応的に学習する。
論文 参考訳（メタデータ） (2024-06-18T01:47:38Z) - Exploring Homogeneous and Heterogeneous Consistent Label Associations
for Unsupervised Visible-Infrared Person ReID [62.81466902601807]
教師なし可視赤外人物再識別(USL-VI-ReID)は、アノテーションなしで異なるモードから同一人物の歩行者画像を取得することを目的としている。
均質かつ不均一なインスタンスレベルの構造を同時に説明できるModality-Unified Label Transfer (MULT) モジュールを導入する。
等質なアフィニティと異質なアフィニティの両方をモデル化し、それらを利用して擬似ラベルの不整合を定義し、最小化する。
論文 参考訳（メタデータ） (2024-02-01T15:33:17Z) - Exploring Fine-Grained Representation and Recomposition for Cloth-Changing Person Re-Identification [78.52704557647438]
補助的なアノテーションやデータなしに両方の制約に対処するために,新しいFIne-fine Representation and Recomposition (FIRe$2$) フレームワークを提案する。
FIRe$2$は、広く使われている5つのRe-IDベンチマークで最先端のパフォーマンスを実現することができる。
論文 参考訳（メタデータ） (2023-08-21T12:59:48Z) - Multi-Label Knowledge Distillation [86.03990467785312]
本稿では,新しい多ラベル知識蒸留法を提案する。
一方、マルチラベル学習問題をバイナリ分類問題に分割することにより、ロジットからの情報的意味知識を利用する。
一方,ラベルワイド埋め込みの構造情報を活用することにより,学習した特徴表現の識別性を向上する。
論文 参考訳（メタデータ） (2023-08-12T03:19:08Z) - Learning Reliable Representations for Incomplete Multi-View Partial
Multi-Label Classification [65.95823612309356]
本稿ではRANKという不完全なマルチビュー部分的マルチラベル分類ネットワークを提案する。
既存の手法に固有のビューレベルの重みを分解し、各サンプルのビューに品質スコアを動的に割り当てる品質対応サブネットワークを提案する。
我々のモデルは、完全なマルチビューマルチラベルデータセットを処理できるだけでなく、欠落したインスタンスやラベルを持つデータセットでも機能する。
論文 参考訳（メタデータ） (2023-03-30T03:09:25Z) - Learning Disentangled Label Representations for Multi-label
Classification [39.97251974500034]
One-Shared-Feature-for-Multiple-Labels (OFML) は識別ラベルの特徴を学習するのに役立ちません。
我々は,One-specific-Feature-for-One-Label(OFOL)機構を導入し,新しいアンタングル付きラベル特徴学習フレームワークを提案する。
8つのデータセットで最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2022-12-02T21:49:34Z) - Multi-Label Continual Learning using Augmented Graph Convolutional
Network [7.115602040521868]
Multi-Label Continual Learningは、シーケンシャルなマルチラベル画像認識データストリームにクラスインクリメンタルフレームワークを構築する。
この研究は、MLCLにおけるクロスタスクラベル関係を構築することができるAGCN++(Augmented Graph Convolutional Network)を提案する。
提案手法は2つのマルチラベル画像ベンチマークを用いて評価する。
論文 参考訳（メタデータ） (2022-11-27T08:40:19Z) - Multimodal Emotion Recognition with Modality-Pairwise Unsupervised
Contrastive Loss [80.79641247882012]
マルチモーダル感情認識(MER)のための教師なし特徴学習に着目した。
個別の感情を考慮し、モダリティテキスト、音声、視覚が使用される。
本手法は, 対のモダリティ間のコントラスト損失に基づくもので, MER文学における最初の試みである。
論文 参考訳（メタデータ） (2022-07-23T10:11:24Z) - Tailor Versatile Multi-modal Learning for Multi-label Emotion
Recognition [7.280460748655983]
マルチモーダルマルチラベル感情認識(MMER)は、異種視覚、音声、テキストのモダリティから様々な人間の感情を識別することを目的としている。
従来の手法は主に、複数のモダリティを共通の潜在空間に投影し、すべてのラベルに対して同じ表現を学ぶことに焦点を当てていた。
マルチモーダル表現を改良し,各ラベルの識別能力を高めることを目的とした,マルチモーダル音声認識(TAILOR)のための多目的マルチモーダル学習を提案する。
論文 参考訳（メタデータ） (2022-01-15T12:02:28Z) - Unsupervised Person Re-identification via Multi-label Classification [55.65870468861157]
本稿では,教師なしのReIDを多ラベル分類タスクとして定式化し,段階的に真のラベルを求める。
提案手法は,まず,各人物画像に単一クラスラベルを割り当てることから始まり,ラベル予測のために更新されたReIDモデルを活用することで,多ラベル分類へと進化する。
マルチラベル分類におけるReIDモデルのトレーニング効率を高めるために,メモリベースマルチラベル分類損失(MMCL)を提案する。
論文 参考訳（メタデータ） (2020-04-20T12:13:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。