論文の概要: SSLCL: An Efficient Model-Agnostic Supervised Contrastive Learning Framework for Emotion Recognition in Conversations

• arxiv url: http://arxiv.org/abs/2310.16676v2
• Date: Sat, 18 Nov 2023 11:50:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-22 17:07:11.155593
• Title: SSLCL: An Efficient Model-Agnostic Supervised Contrastive Learning Framework for Emotion Recognition in Conversations
• Title（参考訳）: 会話における感情認識のための効率的なモデル非依存教師付きコントラスト学習フレームワークsslcl
• Authors: Tao Shi, Xiao Liang, Yaoyuan Liang, Xinyi Tong, Shao-Lun Huang
• Abstract要約: 会話における感情認識(ERC)は、自然言語処理コミュニティの中で急速に進化している課題である。 We propose a efficient and model-agnostic SCL framework named Supervised Sample-Label Contrastive Learning with Soft-HGR Maximal correlation (SSLCL)。 浅い多層パーセプトロンを通して、離散ラベルを密度の高い埋め込みに投影することで、ラベル表現を活用する新しい視点を導入する。
• 参考スコア（独自算出の注目度）: 20.856739541819056
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Emotion recognition in conversations (ERC) is a rapidly evolving task within the natural language processing community, which aims to detect the emotions expressed by speakers during a conversation. Recently, a growing number of ERC methods have focused on leveraging supervised contrastive learning (SCL) to enhance the robustness and generalizability of learned features. However, current SCL-based approaches in ERC are impeded by the constraint of large batch sizes and the lack of compatibility with most existing ERC models. To address these challenges, we propose an efficient and model-agnostic SCL framework named Supervised Sample-Label Contrastive Learning with Soft-HGR Maximal Correlation (SSLCL), which eliminates the need for a large batch size and can be seamlessly integrated with existing ERC models without introducing any model-specific assumptions. Specifically, we introduce a novel perspective on utilizing label representations by projecting discrete labels into dense embeddings through a shallow multilayer perceptron, and formulate the training objective to maximize the similarity between sample features and their corresponding ground-truth label embeddings, while minimizing the similarity between sample features and label embeddings of disparate classes. Moreover, we innovatively adopt the Soft-HGR maximal correlation as a measure of similarity between sample features and label embeddings, leading to significant performance improvements over conventional similarity measures. Additionally, multimodal cues of utterances are effectively leveraged by SSLCL as data augmentations to boost model performances. Extensive experiments on two ERC benchmark datasets, IEMOCAP and MELD, demonstrate the compatibility and superiority of our proposed SSLCL framework compared to existing state-of-the-art SCL methods. Our code is available at \url{https://github.com/TaoShi1998/SSLCL}.
• Abstract（参考訳）: 会話における感情認識(Emotion Recognition in conversation,ERC)は、会話中に話者が表現する感情を検出することを目的として、自然言語処理コミュニティ内で急速に進化しているタスクである。 近年,教師付きコントラスト学習(SCL)を活用した学習機能の堅牢性と一般化性の向上に重点を置いているERC手法が増えている。 しかし、現在のERCにおけるSCLベースのアプローチは、大きなバッチサイズの制約と既存のERCモデルとの互換性の欠如によって妨げられている。 これらの課題に対処するため,SCLフレームワークであるSupervised Sample-Label Contrastive Learning with Soft-HGR Maximal correlation (SSLCL)を提案する。 具体的には, 個別のラベルを浅い多層パーセプトロンを介して密な埋め込みに投影し, サンプル特徴と対応する接地トラスラベルの埋め込みとの類似性を最大化し, 異なるクラスのラベル埋め込みとの類似性を最小限に抑えながら, ラベル表現を利用した新しい視点を導入する。 さらに,サンプル特徴量とラベル埋め込み量との類似性の尺度として,Soft-HGRの最大相関を革新的に採用し,従来の類似度尺度よりも優れた性能向上を実現した。 さらに、マルチモーダルな発話キューはSSLCLによってデータ拡張として効果的に活用され、モデル性能が向上する。 ERCベンチマークデータセットであるIEMOCAPとMELDの大規模な実験は、既存の最先端SCL手法と比較して、提案したSSLCLフレームワークの互換性と優位性を実証している。 私たちのコードは \url{https://github.com/TaoShi1998/SSLCL} で利用可能です。

関連論文リスト

• Multi-label Sequential Sentence Classification via Large Language Model [4.012351415340318]
  本稿では,LLM-SSCを提案する。LLM-SSCは大規模言語モデル(LLM)をベースとした,シングルラベルとマルチラベルのSSCタスクのためのフレームワークである。 従来の中小言語モデルを用いたアプローチとは異なり、提案フレームワークはLSMを用いて設計したプロンプトを通じてSSCラベルを生成する。 また、自動重み付け方式によるマルチラベルのコントラスト学習損失も提示し、マルチラベル分類タスクを可能にする。
  論文  参考訳（メタデータ） (2024-11-23T18:27:35Z)
• Effective SAM Combination for Open-Vocabulary Semantic Segmentation [24.126307031048203]
  Open-vocabulary semantic segmentationは、無制限のクラスにわたる画像にピクセルレベルのラベルを割り当てることを目的としている。 ESC-Netは、SAMデコーダブロックを利用してクラスに依存しないセグメンテーションを行う新しい1段オープン語彙セグメンテーションモデルである。 ESC-NetはADE20K、PASCAL-VOC、PASCAL-Contextなどの標準ベンチマークで優れたパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-11-22T04:36:12Z)
• Focused Large Language Models are Stable Many-Shot Learners [18.783939647966776]
  In-Context Learning (ICL)により、大規模な言語モデル(LLM)がデモから学習することで、迅速なタスク適応を実現することができる。 重要でないコンテンツから注意を逸らすことを避けるために,自明なフィルタリングを行う訓練不要なFocusICLを提案する。 その結果,FocusICLはバニラICLよりも平均5.2%の性能向上を実現し,多くの実演に匹敵する性能を示した。
  論文  参考訳（メタデータ） (2024-08-26T02:53:24Z)
• Federated Contrastive Learning for Personalized Semantic Communication [55.46383524190467]
  我々は,パーソナライズされたセマンティックコミュニケーションを支援することを目的とした,協調型コントラスト学習フレームワークを設計する。 FedCLは、複数のクライアントにわたるローカルセマンティックエンコーダと、基地局が所有するグローバルセマンティックデコーダの協調トレーニングを可能にする。 分散クライアント間の異種データセットから生じるセマンティック不均衡問題に対処するために,コントラスト学習を用いてセマンティックセントロイドジェネレータを訓練する。
  論文  参考訳（メタデータ） (2024-06-13T14:45:35Z)
• ParaICL: Towards Robust Parallel In-Context Learning [74.38022919598443]
  大規模言語モデル(LLM)が自然言語処理の標準となっている。 インコンテキスト・ラーニング(ICL)は、いくつかの実演例の選択に依存している。 パラレルインコンテキスト学習(ParaICL)という新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-03-31T05:56:15Z)
• In-context Learning and Gradient Descent Revisited [3.085927389171139]
  トレーニングされていないモデルでさえ、ICLを提示していないにもかかわらず、同等のICL-GD類似度スコアが得られることを示す。 次に、ICLとGDのモデル全体にわたる情報の流れにおける大きな相違について検討し、これをレイヤ因果性(Layer Causality)と呼ぶ。 本稿では,階層因果関係を尊重する単純なGDに基づく最適化手法を提案する。
  論文  参考訳（メタデータ） (2023-11-13T21:42:38Z)
• Investigating the Learning Behaviour of In-context Learning: A Comparison with Supervised Learning [67.25698169440818]
  大規模言語モデル(LLM)は、文脈内学習(ICL)において顕著な能力を示している。 我々は、ICLと教師あり学習(SL)を通して、同じ実演例で同じLLMを訓練し、ラベル摂動下での性能を調査する。 まず、特に大規模言語モデルにおいて、ゴールドラベルがダウンストリーム・イン・コンテクストのパフォーマンスに大きな影響を与えることを発見した。 第2に、SLと比較すると、ICLはSLよりもラベル摂動に敏感で、モデルサイズが大きくなるにつれて徐々にSLに匹敵する性能が得られることが実証的に示される。
  論文  参考訳（メタデータ） (2023-07-28T09:03:19Z)
• Supervised Adversarial Contrastive Learning for Emotion Recognition in Conversations [24.542445315345464]
  本稿では,クラススプレッドの構造化表現を教師付きで学習するためのフレームワークを提案する。 ラベルレベルの機能の一貫性を効果的に活用し、クラス内でのきめ細かい機能を維持することができる。 CATを用いたフレームワークでは,ラベル一貫性とコンテキストローバスト特性を学習するためのシーケンスベースSACL-LSTMを開発した。
  論文  参考訳（メタデータ） (2023-06-02T12:52:38Z)
• Efficient Bilateral Cross-Modality Cluster Matching for Unsupervised Visible-Infrared Person ReID [56.573905143954015]
  本稿では, クラスタ間マッチングによるモダリティギャップを低減するための, クラスタマッチングに基づく新たな学習フレームワークを提案する。 このような監視信号の下では、クラスタレベルで特徴を協調的に整列させるために、モダリティ・特定・モダリティ・非依存(MSMA)コントラスト学習フレームワークが提案されている。 公開SYSU-MM01とRegDBデータセットの実験により,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-05-22T03:27:46Z)
• Using Representation Expressiveness and Learnability to Evaluate Self-Supervised Learning Methods [61.49061000562676]
  本稿では,学習可能性を評価するためにCluster Learnability (CL)を導入する。 CLは、K-meansで表現をクラスタリングすることによって得られたラベルを予測するために訓練されたKNNのパフォーマンスで測定される。 CLは、他の競合する評価手法よりも分布内モデルの性能と相関することがわかった。
  論文  参考訳（メタデータ） (2022-06-02T19:05:13Z)
• A Multi-level Supervised Contrastive Learning Framework for Low-Resource Natural Language Inference [54.678516076366506]
  自然言語推論(NLI)は、自然言語理解において、ますます重要な課題である。 本稿では,低リソースな自然言語推論のためのマルチSCLという,マルチレベルの教師付きコントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-31T05:54:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。