論文の概要: Research on the application of contrastive learning in multi-label text
classification
- arxiv url: http://arxiv.org/abs/2212.00552v1
- Date: Thu, 1 Dec 2022 15:00:16 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-02 15:56:02.878872
- Title: Research on the application of contrastive learning in multi-label text
classification
- Title（参考訳）: マルチラベルテキスト分類におけるコントラスト学習の適用に関する研究
- Authors: Nankai Lin, Guanqiu Qin, Jigang Wang, Aimin Yang, Dong Zhou
- Abstract要約: マルチラベルのマルチクラス化タスクに対して,5つの対照的な損失を提案する。
提案したコントラスト損失が,複数ラベルのマルチクラス化タスクに改善をもたらすことを示す。
- 参考スコア（独自算出の注目度）: 6.697876965452054
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The effective application of contrastive learning technology in natural
language processing tasks shows the superiority of contrastive learning in text
analysis tasks. How to construct positive and negative samples correctly and
reasonably is the core challenge of contrastive learning. Since it is difficult
to construct contrastive objects in multi-label multi-classification tasks,
there are few contrastive losses for multi-label multi-classification text
classification. In this paper, we propose five contrastive losses for
multi-label multi-classification tasks. They are Strict Contrastive Loss (SCL),
Intra-label Contrastive Loss (ICL), Jaccard Similarity Contrastive Loss (JSCL),
and Jaccard Similarity Probability Contrastive Loss (JSPCL) and Stepwise Label
Contrastive Loss (SLCL). We explore the effectiveness of contrastive learning
for multi-label multi-classification tasks under different strategies, and
provide a set of baseline methods for contrastive learning techniques on
multi-label classification tasks. We also perform an interpretability analysis
of our approach to show how different contrastive learning methods play their
roles. The experimental results in this paper demonstrate that our proposed
contrastive losses can bring some improvement for multi-label
multi-classification tasks. Our work reveal how to "appropriately" change the
contrastive way of contrastive learning is the key idea to improve the
adaptability of contrastive learning in multi-label multi-classification tasks.
- Abstract（参考訳）: 自然言語処理タスクにおけるコントラスト学習技術の効果的な応用は,テキスト解析タスクにおけるコントラスト学習の優位性を示す。
正と負のサンプルを正しくかつ合理的に構築する方法は、コントラスト学習の核となる課題である。
多段マルチクラス化タスクでは、コントラストオブジェクトの構築が困難であるため、多段マルチクラス化テキスト分類のコントラスト損失は少ない。
本稿では,マルチラベルマルチクラス化タスクにおける5つのコントラスト損失を提案する。
SCL(Strict Contrastive Loss)、ICL(Intra-label Contrastive Loss)、JSCL(Jaccard similarity Contrastive Loss)、JSPCL(Jaccard similarity Probability Contrastive Loss)、SLCL(Stepwise Label Contrastive Loss)である。
異なる戦略下でのマルチラベル多分類タスクにおけるコントラスト学習の有効性について検討し,マルチラベル分類タスクにおけるコントラスト学習手法のベースライン手法を提案する。
また,このアプローチの解釈可能性分析を行い,異なるコントラスト学習手法がどのような役割を担っているかを示す。
本稿では,提案するコントラスト損失がマルチラベルマルチクラス化タスクにいくつかの改善をもたらすことを示す。
マルチラベルマルチクラス化タスクにおけるコントラスト学習の適応性を改善するための鍵となるアイデアは、コントラスト学習のコントラスト学習を「適切に」変える方法を明らかにすることである。
関連論文リスト
- Similarity-Dissimilarity Loss with Supervised Contrastive Learning for Multi-label Classification [11.499489446062054]
マルチラベル分類のためのコントラスト学習を用いた類似性-類似性損失を提案する。
提案する損失は、教師付きコントラスト学習パラダイムの下で、すべてのエンコーダの性能を効果的に向上させる。
論文 参考訳（メタデータ） (2024-10-17T11:12:55Z) - ProbMCL: Simple Probabilistic Contrastive Learning for Multi-label Visual Classification [16.415582577355536]
マルチラベル画像分類は、コンピュータビジョンや医用画像など、多くの領域において難しい課題である。
最近の進歩は、グラフベースとトランスフォーマーベースのメソッドを導入し、パフォーマンスを改善し、ラベルの依存関係をキャプチャしている。
本稿では,これらの課題に対処する新しいフレームワークである確率的多ラベルコントラスト学習(ProbMCL)を提案する。
論文 参考訳（メタデータ） (2024-01-02T22:15:20Z) - ContrastNet: A Contrastive Learning Framework for Few-Shot Text
Classification [40.808421462004866]
テキスト分類における識別的表現と過剰適合の両問題に対処するContrastNetを提案する。
8つの数ショットのテキスト分類データセットの実験は、ContrastNetが現在の最先端モデルより優れていることを示している。
論文 参考訳（メタデータ） (2023-05-16T08:22:17Z) - Conditional Supervised Contrastive Learning for Fair Text Classification [59.813422435604025]
対照的な学習を通してテキスト分類のための等化オッズとして知られる公平性の概念を満たす学習公正表現について研究する。
具体的には、まず、公正性制約のある学習表現と条件付き教師付きコントラスト目的との間の関係を理論的に分析する。
論文 参考訳（メタデータ） (2022-05-23T17:38:30Z) - Understanding Contrastive Learning Requires Incorporating Inductive
Biases [64.56006519908213]
下流タスクにおけるコントラスト学習の成功を理論的に説明しようとする最近の試みは、エム強化の特性とエムコントラスト学習の損失の値によって保証が証明されている。
このような分析は,関数クラスやトレーニングアルゴリズムの帰納的バイアスを無視し,いくつかの設定において不確実な保証につながることを実証する。
論文 参考訳（メタデータ） (2022-02-28T18:59:20Z) - CLLD: Contrastive Learning with Label Distance for Text Classificatioin [0.6299766708197883]
コントラストクラスを学習するためのCLLD(Contrastive Learning with Label Distance)を提案する。
CLLDは、ラベルの割り当てに繋がる微妙な違いの中で、柔軟性を保証する。
実験の結果,学習したラベル距離は,クラス間の対立性を緩和することが示唆された。
論文 参考訳（メタデータ） (2021-10-25T07:07:14Z) - Dense Contrastive Visual-Linguistic Pretraining [53.61233531733243]
画像とテキストを共同で表現するマルチモーダル表現学習手法が提案されている。
これらの手法は,大規模マルチモーダル事前学習から高レベルな意味情報を取得することにより,優れた性能を実現する。
そこで本稿では,非バイアスのDense Contrastive Visual-Linguistic Pretrainingを提案する。
論文 参考訳（メタデータ） (2021-09-24T07:20:13Z) - Incremental False Negative Detection for Contrastive Learning [95.68120675114878]
本稿では,自己指導型コントラスト学習のための新たな偽陰性検出手法を提案する。
対照的な学習では、検出された偽陰性を明示的に除去する2つの戦略について議論する。
提案手法は,制限された計算内での複数のベンチマークにおいて,他の自己教師付きコントラスト学習フレームワークよりも優れる。
論文 参考訳（メタデータ） (2021-06-07T15:29:14Z) - Constructing Contrastive samples via Summarization for Text
Classification with limited annotations [46.53641181501143]
テキスト要約を用いた言語タスクのコントラストサンプル構築のための新しい手法を提案する。
我々はこれらのサンプルを教師付きコントラスト学習に使用し、アノテーションを限定したより良いテキスト表現を得る。
実世界のテキスト分類データセット(Amazon-5、Yelp-5、AG News)の実験では、提案したコントラスト学習フレームワークの有効性が示されている。
論文 参考訳（メタデータ） (2021-04-11T20:13:24Z) - Dynamic Semantic Matching and Aggregation Network for Few-shot Intent
Detection [69.2370349274216]
利用可能な注釈付き発話が不足しているため、インテント検出は困難である。
セマンティック成分はマルチヘッド自己認識によって発話から蒸留される。
本手法はラベル付きインスタンスとラベルなしインスタンスの両方の表現を強化するための総合的なマッチング手段を提供する。
論文 参考訳（メタデータ） (2020-10-06T05:16:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。