論文の概要: SSLCL: An Efficient Model-Agnostic Supervised Contrastive Learning
Framework for Emotion Recognition in Conversations
- arxiv url: http://arxiv.org/abs/2310.16676v3
- Date: Mon, 11 Dec 2023 04:51:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-13 01:26:58.124523
- Title: SSLCL: An Efficient Model-Agnostic Supervised Contrastive Learning
Framework for Emotion Recognition in Conversations
- Title(参考訳): 会話における感情認識のための効率的なモデル非依存教師付きコントラスト学習フレームワークsslcl
- Authors: Tao Shi, Xiao Liang, Yaoyuan Liang, Xinyi Tong, Shao-Lun Huang
- Abstract要約: 会話における感情認識(ERC)は、自然言語処理コミュニティの中で急速に進化している課題である。
We propose a efficient and model-agnostic SCL framework named Supervised Sample-Label Contrastive Learning with Soft-HGR Maximal correlation (SSLCL)。
浅い多層パーセプトロンを通して、離散ラベルを密度の高い埋め込みに投影することで、ラベル表現を活用する新しい視点を導入する。
- 参考スコア(独自算出の注目度): 20.856739541819056
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Emotion recognition in conversations (ERC) is a rapidly evolving task within
the natural language processing community, which aims to detect the emotions
expressed by speakers during a conversation. Recently, a growing number of ERC
methods have focused on leveraging supervised contrastive learning (SCL) to
enhance the robustness and generalizability of learned features. However,
current SCL-based approaches in ERC are impeded by the constraint of large
batch sizes and the lack of compatibility with most existing ERC models. To
address these challenges, we propose an efficient and model-agnostic SCL
framework named Supervised Sample-Label Contrastive Learning with Soft-HGR
Maximal Correlation (SSLCL), which eliminates the need for a large batch size
and can be seamlessly integrated with existing ERC models without introducing
any model-specific assumptions. Specifically, we introduce a novel perspective
on utilizing label representations by projecting discrete labels into dense
embeddings through a shallow multilayer perceptron, and formulate the training
objective to maximize the similarity between sample features and their
corresponding ground-truth label embeddings, while minimizing the similarity
between sample features and label embeddings of disparate classes. Moreover, we
innovatively adopt the Soft-HGR maximal correlation as a measure of similarity
between sample features and label embeddings, leading to significant
performance improvements over conventional similarity measures. Additionally,
multimodal cues of utterances are effectively leveraged by SSLCL as data
augmentations to boost model performances. Extensive experiments on two ERC
benchmark datasets, IEMOCAP and MELD, demonstrate the compatibility and
superiority of our proposed SSLCL framework compared to existing
state-of-the-art SCL methods. Our code is available at
\url{https://github.com/TaoShi1998/SSLCL}.
- Abstract(参考訳): 会話における感情認識(Emotion Recognition in conversation,ERC)は、会話中に話者が表現する感情を検出することを目的として、自然言語処理コミュニティ内で急速に進化しているタスクである。
近年,教師付きコントラスト学習(SCL)を活用した学習機能の堅牢性と一般化性の向上に重点を置いているERC手法が増えている。
しかし、現在のERCにおけるSCLベースのアプローチは、大きなバッチサイズの制約と既存のERCモデルとの互換性の欠如によって妨げられている。
これらの課題に対処するため,SCLフレームワークであるSupervised Sample-Label Contrastive Learning with Soft-HGR Maximal correlation (SSLCL)を提案する。
具体的には, 個別のラベルを浅い多層パーセプトロンを介して密な埋め込みに投影し, サンプル特徴と対応する接地トラスラベルの埋め込みとの類似性を最大化し, 異なるクラスのラベル埋め込みとの類似性を最小限に抑えながら, ラベル表現を利用した新しい視点を導入する。
さらに,サンプル特徴量とラベル埋め込み量との類似性の尺度として,Soft-HGRの最大相関を革新的に採用し,従来の類似度尺度よりも優れた性能向上を実現した。
さらに、マルチモーダルな発話キューはSSLCLによってデータ拡張として効果的に活用され、モデル性能が向上する。
ERCベンチマークデータセットであるIEMOCAPとMELDの大規模な実験は、既存の最先端SCL手法と比較して、提案したSSLCLフレームワークの互換性と優位性を実証している。
私たちのコードは \url{https://github.com/TaoShi1998/SSLCL} で利用可能です。
関連論文リスト
- Roll With the Punches: Expansion and Shrinkage of Soft Label Selection
for Semi-supervised Fine-Grained Learning [42.71454054383897]
クラス遷移追跡(SoC)に基づく信頼度を考慮したクラスタリングによるソフトラベルの選択を提案する。
本手法は,SS-FGVCにおける優れた性能を示す。
論文 参考訳(メタデータ) (2023-12-19T15:22:37Z) - Investigating the Learning Behaviour of In-context Learning: A
Comparison with Supervised Learning [67.25698169440818]
大規模言語モデル(LLM)は、文脈内学習(ICL)において顕著な能力を示している。
我々は、ICLと教師あり学習(SL)を通して、同じ実演例で同じLLMを訓練し、ラベル摂動下での性能を調査する。
まず、特に大規模言語モデルにおいて、ゴールドラベルがダウンストリーム・イン・コンテクストのパフォーマンスに大きな影響を与えることを発見した。
第2に、SLと比較すると、ICLはSLよりもラベル摂動に敏感で、モデルサイズが大きくなるにつれて徐々にSLに匹敵する性能が得られることが実証的に示される。
論文 参考訳(メタデータ) (2023-07-28T09:03:19Z) - Supervised Adversarial Contrastive Learning for Emotion Recognition in
Conversations [24.542445315345464]
本稿では,クラススプレッドの構造化表現を教師付きで学習するためのフレームワークを提案する。
ラベルレベルの機能の一貫性を効果的に活用し、クラス内でのきめ細かい機能を維持することができる。
CATを用いたフレームワークでは,ラベル一貫性とコンテキストローバスト特性を学習するためのシーケンスベースSACL-LSTMを開発した。
論文 参考訳(メタデータ) (2023-06-02T12:52:38Z) - Efficient Bilateral Cross-Modality Cluster Matching for Unsupervised
Visible-Infrared Person ReID [78.3829236947196]
本稿では, クラスタ間マッチングによるモダリティギャップを低減するための, クラスタマッチングに基づく新たな学習フレームワークを提案する。
このような監視信号の下では、クラスタレベルで特徴を協調的に整列させるために、モダリティ・特定・モダリティ・非依存(MSMA)コントラスト学習フレームワークが提案されている。
公開SYSU-MM01とRegDBデータセットの実験により,提案手法の有効性が示された。
論文 参考訳(メタデータ) (2023-05-22T03:27:46Z) - Dynamic Clustering and Cluster Contrastive Learning for Unsupervised
Person Re-identification [29.167783500369442]
教師なしRe-ID手法は、ラベルのないデータから堅牢で差別的な特徴を学習することを目的としている。
本稿では,動的クラスタリングとクラスタコントラスト学習(DCCC)手法を提案する。
提案したDCCCの有効性を検証するために, 広く利用されている複数の公開データセットの実験を行った。
論文 参考訳(メタデータ) (2023-03-13T01:56:53Z) - Cluster-Level Contrastive Learning for Emotion Recognition in
Conversations [13.570186295041644]
会話における感情認識の鍵となる課題は、意味的に類似した感情を区別することである。
SCL(Supervised Contrastive Learning, Supervised Contrastive Learning)は、分類的感情ラベルを高次元意味空間における教師信号やコントラストとして利用する。
本稿では,SCLの高次元空間を3次元の影響表現空間に還元する低次元クラスタレベルコントラスト学習(SCCL)法を提案する。
論文 参考訳(メタデータ) (2023-02-07T14:49:20Z) - Using Representation Expressiveness and Learnability to Evaluate
Self-Supervised Learning Methods [61.49061000562676]
本稿では,学習可能性を評価するためにCluster Learnability (CL)を導入する。
CLは、K-meansで表現をクラスタリングすることによって得られたラベルを予測するために訓練されたKNNのパフォーマンスで測定される。
CLは、他の競合する評価手法よりも分布内モデルの性能と相関することがわかった。
論文 参考訳(メタデータ) (2022-06-02T19:05:13Z) - A Multi-level Supervised Contrastive Learning Framework for Low-Resource
Natural Language Inference [54.678516076366506]
自然言語推論(NLI)は、自然言語理解において、ますます重要な課題である。
本稿では,低リソースな自然言語推論のためのマルチSCLという,マルチレベルの教師付きコントラスト学習フレームワークを提案する。
論文 参考訳(メタデータ) (2022-05-31T05:54:18Z) - Relational Self-Supervised Learning [84.08307840814044]
本稿では、異なるインスタンス間の関係をモデル化して表現を学習する新しいリレーショナル自己教師型学習(ReSSL)フレームワークを提案する。
提案手法では,異なるインスタンス間でのペアワイズ類似度の分布を,テクトitrelationmetricとして高めている。
実験の結果,提案したReSSLは,ネットワークアーキテクチャの異なる最先端手法よりも大幅に優れていた。
論文 参考訳(メタデータ) (2022-03-16T16:14:19Z) - ReSSL: Relational Self-Supervised Learning with Weak Augmentation [68.47096022526927]
自己教師付き学習は、データアノテーションなしで視覚表現を学ぶことに成功しました。
本稿では,異なるインスタンス間の関係をモデル化して表現を学習する新しいリレーショナルSSLパラダイムを提案する。
提案したReSSLは,性能とトレーニング効率の両面で,従来の最先端アルゴリズムよりも大幅に優れています。
論文 参考訳(メタデータ) (2021-07-20T06:53:07Z) - Weakly supervised segmentation with cross-modality equivariant
constraints [7.757293476741071]
弱い教師付き学習は、セマンティックセグメンテーションにおける大きなラベル付きデータセットの必要性を軽減するための魅力的な代替手段として登場した。
本稿では,マルチモーダル画像シナリオにおける自己スーパービジョンを活用した新しい学習戦略を提案する。
私たちのアプローチは、同じ学習条件下で関連する最近の文学を上回ります。
論文 参考訳(メタデータ) (2021-04-06T13:14:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。