Fugu-MT 論文翻訳(概要): SoftMCL: Soft Momentum Contrastive Learning for Fine-grained Sentiment-aware Pre-training

論文の概要: SoftMCL: Soft Momentum Contrastive Learning for Fine-grained Sentiment-aware Pre-training

arxiv url: http://arxiv.org/abs/2405.01827v1
Date: Fri, 3 May 2024 03:15:38 GMT
ステータス: 処理完了
システム内更新日: 2024-05-06 13:55:11.049257
Title: SoftMCL: Soft Momentum Contrastive Learning for Fine-grained Sentiment-aware Pre-training
Title（参考訳）: SoftMCL:微粒感認識事前学習のためのソフトモーメントコントラスト学習
Authors: Jin Wang, Liang-Chih Yu, Xuejie Zhang,
Abstract要約: 本研究では,微粒な感情認識事前学習のためのソフトモーメントコントラスト学習(SoftMCL)を提案する。提案するSoftMCLは,感情情報を学習するモデルの能力を高めるために,単語レベルと文レベルの両方で実行される。
参考スコア（独自算出の注目度）: 8.148261580909425
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The pre-training for language models captures general language understanding but fails to distinguish the affective impact of a particular context to a specific word. Recent works have sought to introduce contrastive learning (CL) for sentiment-aware pre-training in acquiring affective information. Nevertheless, these methods present two significant limitations. First, the compatibility of the GPU memory often limits the number of negative samples, hindering the opportunities to learn good representations. In addition, using only a few sentiment polarities as hard labels, e.g., positive, neutral, and negative, to supervise CL will force all representations to converge to a few points, leading to the issue of latent space collapse. This study proposes a soft momentum contrastive learning (SoftMCL) for fine-grained sentiment-aware pre-training. Instead of hard labels, we introduce valence ratings as soft-label supervision for CL to fine-grained measure the sentiment similarities between samples. The proposed SoftMCL is conducted on both the word- and sentence-level to enhance the model's ability to learn affective information. A momentum queue was introduced to expand the contrastive samples, allowing storing and involving more negatives to overcome the limitations of hardware platforms. Extensive experiments were conducted on four different sentiment-related tasks, which demonstrates the effectiveness of the proposed SoftMCL method. The code and data of the proposed SoftMCL is available at: https://www.github.com/wangjin0818/SoftMCL/.
Abstract（参考訳）: 言語モデルの事前学習は、一般的な言語理解を捉えるが、特定の文脈の感情的影響を特定の単語と区別することができない。近年,情緒情報取得における感情認識事前学習のためのコントラスト学習 (CL) の導入が試みられている。しかし、これらの手法には2つの重要な制限がある。まず、GPUメモリの互換性は、しばしば負のサンプルの数を制限するため、優れた表現を学ぶ機会を妨げる。さらに、CLを監督するためにハードラベルとして少数の感情極性(例えば、正、中性、負)を用いると、すべての表現を数点に収束させ、遅延空間が崩壊する問題を引き起こす。本研究では,微粒な感情認識事前学習のためのソフトモーメントコントラスト学習(SoftMCL)を提案する。硬いラベルの代わりに、サンプル間の感情的類似度を詳細に測定するために、CLのソフトラベル監視としてヴァレンス評価を導入する。提案するSoftMCLは,感情情報を学習するモデルの能力を高めるために,単語レベルと文レベルの両方で実行される。コントラストのサンプルを拡張するためにモーメントキューが導入され、ハードウェアプラットフォームの制限を克服するために、より多くの負のデータを保存および取り込むことが可能になった。 4つの異なる感情関連課題に対して総合的な実験を行い,SoftMCL法の有効性を実証した。提案されたSoftMCLのコードとデータは、https://www.github.com/wangjin0818/SoftMCL/で入手できる。

関連論文リスト

Mitigating Boundary Ambiguity and Inherent Bias for Text Classification in the Era of Large Language Models [24.085614720512744]
本研究では,大規模言語モデル (LLM) がテキスト分類における選択肢の数や配置の変化に対して脆弱であることを示す。重要なボトルネックは、曖昧な決定境界と、特定のトークンや位置に対する固有のバイアスから生じます。我々のアプローチは、ペア比較が境界のあいまいさと固有のバイアスを効果的に緩和できるという経験的観察に基づいている。
論文参考訳（メタデータ） (2024-06-11T06:53:19Z)
Rectifying Demonstration Shortcut in In-Context Learning [15.08431909212102]
大規模言語モデル(LLM)は、ICL(In-context Learning)能力を利用したいくつかのデモで、様々なタスクを解くことができる。 LLMは、ICL予測を進めるために、インプット-ラベル関係よりも、事前に訓練されたデモのセマンティック先行に頼っていることが多い。
論文参考訳（メタデータ） (2024-03-14T15:30:14Z)
A Soft Contrastive Learning-based Prompt Model for Few-shot Sentiment Analysis [38.17825180485807]
数ショットの感情分析のためのソフトコントラスト学習に基づくPromptモデルを提案する。まず、感情を予測するためにモデルを導くために、感情を意識した思考プロンプトモジュールを設計する。そこで本研究では,ラベルの相関を考慮したソフトコントラスト学習アルゴリズムを提案する。
論文参考訳（メタデータ） (2023-12-16T15:17:28Z)
Virtual Category Learning: A Semi-Supervised Learning Method for Dense Prediction with Extremely Limited Labels [63.16824565919966]
本稿では,ラベルの修正を伴わずに,混乱したサンプルを積極的に使用することを提案する。仮想カテゴリー(VC)は、モデルの最適化に安全に貢献できるように、各混乱したサンプルに割り当てられる。私たちの興味深い発見は、密集した視覚タスクにおけるVC学習の利用に注目しています。
論文参考訳（メタデータ） (2023-12-02T16:23:52Z)
Improving Input-label Mapping with Demonstration Replay for In-context Learning [67.57288926736923]
In-context Learning (ICL)は、大規模な自己回帰言語モデルの出現する能力である。 Sliding Causal Attention (RdSca) と呼ばれる新しいICL法を提案する。 ICL実験において,本手法は入力ラベルマッピングを大幅に改善することを示す。
論文参考訳（メタデータ） (2023-10-30T14:29:41Z)
Ambiguity-Aware In-Context Learning with Large Language Models [27.20414960164616]
インコンテキスト学習(ICL)、すなわち、LLMのタスク固有のデモは、タスク固有の微調整を必要とせず、ダウンストリームのゲインにつながった。そこで本研究では,ICLの優れた実演方法について検討する。セマンティックに類似したICLのデモンストレーションを選択するだけでなく、テスト例を取り巻く固有のラベルの曖昧さを解決するのに役立つものを選択することは有益である。
論文参考訳（メタデータ） (2023-09-14T17:48:34Z)
Investigating the Learning Behaviour of In-context Learning: A Comparison with Supervised Learning [67.25698169440818]
大規模言語モデル(LLM)は、文脈内学習(ICL)において顕著な能力を示している。我々は、ICLと教師あり学習(SL)を通して、同じ実演例で同じLLMを訓練し、ラベル摂動下での性能を調査する。まず、特に大規模言語モデルにおいて、ゴールドラベルがダウンストリーム・イン・コンテクストのパフォーマンスに大きな影響を与えることを発見した。第2に、SLと比較すると、ICLはSLよりもラベル摂動に敏感で、モデルサイズが大きくなるにつれて徐々にSLに匹敵する性能が得られることが実証的に示される。
論文参考訳（メタデータ） (2023-07-28T09:03:19Z)
SoftMatch: Addressing the Quantity-Quality Trade-off in Semi-supervised Learning [101.86916775218403]
本稿では, サンプル重み付けを統一した定式化により, 一般的な擬似ラベル法を再検討する。トレーニング中の擬似ラベルの量と質を両立させることでトレードオフを克服するSoftMatchを提案する。実験では、画像、テキスト、不均衡な分類など、さまざまなベンチマークで大幅に改善されている。
論文参考訳（メタデータ） (2023-01-26T03:53:25Z)
Multimodal Emotion Recognition with Modality-Pairwise Unsupervised Contrastive Loss [80.79641247882012]
マルチモーダル感情認識(MER)のための教師なし特徴学習に着目した。個別の感情を考慮し、モダリティテキスト、音声、視覚が使用される。本手法は, 対のモダリティ間のコントラスト損失に基づくもので, MER文学における最初の試みである。
論文参考訳（メタデータ） (2022-07-23T10:11:24Z)
L2B: Learning to Bootstrap Robust Models for Combating Label Noise [52.02335367411447]
本稿では,Learning to Bootstrap (L2B) という,シンプルで効果的な手法を提案する。モデルは、誤った擬似ラベルの影響を受けずに、自身の予測を使ってブートストラップを行うことができる。これは、実際の観測されたラベルと生成されたラベル間の重みを動的に調整し、メタラーニングを通じて異なるサンプル間の重みを動的に調整することで実現される。
論文参考訳（メタデータ） (2022-02-09T05:57:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。