論文の概要: Retrofitting Light-weight Language Models for Emotions using Supervised Contrastive Learning

• arxiv url: http://arxiv.org/abs/2310.18930v1
• Date: Sun, 29 Oct 2023 07:43:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-31 15:28:27.988142
• Title: Retrofitting Light-weight Language Models for Emotions using Supervised Contrastive Learning
• Title（参考訳）: 教師付きコントラスト学習による感情に対する軽量言語モデルの再適合
• Authors: Sapan Shah, Sreedhar Reddy, Pushpak Bhattacharyya
• Abstract要約: 本稿では,BERT や RoBERTa などの事前学習言語モデル (PLM) に感情的側面を誘導する新しい手法を提案する。 コントラスト学習を用いて事前学習したネットワーク重みを更新し、類似した感情を示すテキスト断片を表現空間の近傍に符号化する。
• 参考スコア（独自算出の注目度）: 44.17782674872344
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a novel retrofitting method to induce emotion aspects into pre-trained language models (PLMs) such as BERT and RoBERTa. Our method updates pre-trained network weights using contrastive learning so that the text fragments exhibiting similar emotions are encoded nearby in the representation space, and the fragments with different emotion content are pushed apart. While doing so, it also ensures that the linguistic knowledge already present in PLMs is not inadvertently perturbed. The language models retrofitted by our method, i.e., BERTEmo and RoBERTaEmo, produce emotion-aware text representations, as evaluated through different clustering and retrieval metrics. For the downstream tasks on sentiment analysis and sarcasm detection, they perform better than their pre-trained counterparts (about 1% improvement in F1-score) and other existing approaches. Additionally, a more significant boost in performance is observed for the retrofitted models over pre-trained ones in few-shot learning setting.
• Abstract（参考訳）: 本稿では, BERT や RoBERTa などの事前学習言語モデル (PLM) に感情的側面を誘導する新しい手法を提案する。 類似した感情を示す文片を表現空間の近傍に符号化し,感情内容の異なる文片を押し離すように,コントラスト学習を用いて事前学習したネットワーク重みを更新する。 その間、PLMにすでに存在する言語知識が故意に摂動されないことも保証している。 提案手法に適合する言語モデルであるBERTEMOとRoBERTaEmoは,異なるクラスタリングおよび検索指標を用いて,感情を考慮したテキスト表現を生成する。 感情分析と皮肉検出の下流タスクでは、トレーニング済みのタスク(F1スコアの約1%の改善)や既存のアプローチよりもパフォーマンスがよい。 さらに、少数の学習環境では、トレーニング済みモデルよりも改良されたモデルのパフォーマンスが大幅に向上する。

関連論文リスト

• Adaptation Odyssey in LLMs: Why Does Additional Pretraining Sometimes Fail to Improve? [19.34040322172224]
  テキストドメイン上でモデルをトレーニングすることは、同じドメインのテスト部分において、その難易度を低下させる可能性があることを示す。 我々の発見は、いつモデルを適応するか、いつ基礎的な能力に頼るかを決める上で、私たちを導くでしょう。
  論文  参考訳（メタデータ） (2024-10-08T00:37:16Z)
• Lexicon-Level Contrastive Visual-Grounding Improves Language Modeling [47.7950860342515]
  LexiContrastive Grounding (LCG)は、視覚的監督を利用してテキスト表現を改善する言語学習手法である。 LCGは学習効率において標準言語のみのモデルより優れている。 CLIP、GIT、Flamingo、Vokenizationなど、視覚と言語による学習手順を改善する。
  論文  参考訳（メタデータ） (2024-03-21T16:52:01Z)
• Pixel Sentence Representation Learning [67.4775296225521]
  本研究では,視覚表現学習プロセスとして,文レベルのテキスト意味論の学習を概念化する。 タイポスや単語順シャッフルのような視覚的に接地されたテキスト摂動法を採用し、人間の認知パターンに共鳴し、摂動を連続的に認識できるようにする。 我々のアプローチは、大規模に教師なしのトピックアライメントトレーニングと自然言語推論監督によってさらに強化されている。
  論文  参考訳（メタデータ） (2024-02-13T02:46:45Z)
• Fuzzy Fingerprinting Transformer Language-Models for Emotion Recognition in Conversations [0.7874708385247353]
  会話における感情認識(ERC)を実現するための2つのアプローチを組み合わせることを提案する。 我々は,事前に訓練したRoBERTaに発話と以前の会話のターンを供給し,文脈的埋め込み発話表現を得る。 広く使われているDailyDialog ERCベンチマークデータセットに対するアプローチを検証する。
  論文  参考訳（メタデータ） (2023-09-08T12:26:01Z)
• Improving Policy Learning via Language Dynamics Distillation [87.27583619910338]
  本稿では,言語記述による実演を前提とした環境動態予測モデルであるLanguage Dynamics Distillation(LDD)を提案する。 実演における言語記述は,環境全体にわたるサンプル効率と一般化を改善することを示す。
  論文  参考訳（メタデータ） (2022-09-30T19:56:04Z)
• Vision-Language Pre-Training for Boosting Scene Text Detectors [57.08046351495244]
  シーンテキスト検出に視覚言語を用いた共同学習を特に応用する。 本稿では,視覚言語による事前学習を通して,文脈化された共同表現を学習することを提案する。 事前訓練されたモデルは、よりリッチなセマンティクスでより情報的な表現を生成することができる。
  論文  参考訳（メタデータ） (2022-04-29T03:53:54Z)
• Leveraging Pre-trained Language Model for Speech Sentiment Analysis [58.78839114092951]
  本研究では、事前学習された言語モデルを用いて、文章の感情情報を学習し、音声の感情分析を行う。 本稿では,言語モデルを用いた擬似ラベルに基づく半教師付き訓練戦略を提案する。
  論文  参考訳（メタデータ） (2021-06-11T20:15:21Z)
• Linguistically-Informed Transformations (LIT): A Method for Automatically Generating Contrast Sets [13.706520309917634]
  コントラスト集合を自動生成するLinguistically-Informed Transformation (LIT) 法を提案する。 実験によると、現在の事前訓練された言語モデルは、自動生成されたコントラストセットで苦労している。 トレーニングデータを拡張するためにLITを適用してコントラストセットのモデルの性能を改善するが、元のデータの性能には影響しない。
  論文  参考訳（メタデータ） (2020-10-16T18:23:05Z)
• InfoXLM: An Information-Theoretic Framework for Cross-Lingual Language Model Pre-Training [135.12061144759517]
  本稿では,言語間言語モデルの事前学習を定式化する情報理論フレームワークを提案する。 コントラスト学習に基づく新しい事前学習課題を提案する。 単言語コーパスと並列コーパスの両方を活用することで、事前訓練されたモデルの言語間変換性を向上させるために、プレテキストを共同で訓練する。
  論文  参考訳（メタデータ） (2020-07-15T16:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。