論文の概要: An Effective Employment of Contrastive Learning in Multi-label Text Classification

• arxiv url: http://arxiv.org/abs/2212.00552v2
• Date: Thu, 6 Jul 2023 07:18:36 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-07 18:07:57.916934
• Title: An Effective Employment of Contrastive Learning in Multi-label Text Classification
• Title（参考訳）: マルチラベルテキスト分類におけるコントラスト学習の有効活用
• Authors: Nankai Lin, Guanqiu Qin, Jigang Wang, Aimin Yang, Dong Zhou
• Abstract要約: マルチラベルテキスト分類タスクに対して,新しい5つの対照的な損失を提案する。 SCL(Strict Contrastive Loss)、ICL(Intra-label Contrastive Loss)、JSCL(Jaccard similarity Contrastive Loss)、JSPCL(Jaccard similarity Probability Contrastive Loss)、SLCL(Stepwise Label Contrastive Loss)などがある。
• 参考スコア（独自算出の注目度）: 6.697876965452054
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The effectiveness of contrastive learning technology in natural language processing tasks is yet to be explored and analyzed. How to construct positive and negative samples correctly and reasonably is the core challenge of contrastive learning. It is even harder to discover contrastive objects in multi-label text classification tasks. There are very few contrastive losses proposed previously. In this paper, we investigate the problem from a different angle by proposing five novel contrastive losses for multi-label text classification tasks. These are Strict Contrastive Loss (SCL), Intra-label Contrastive Loss (ICL), Jaccard Similarity Contrastive Loss (JSCL), Jaccard Similarity Probability Contrastive Loss (JSPCL), and Stepwise Label Contrastive Loss (SLCL). We explore the effectiveness of contrastive learning for multi-label text classification tasks by the employment of these novel losses and provide a set of baseline models for deploying contrastive learning techniques on specific tasks. We further perform an interpretable analysis of our approach to show how different components of contrastive learning losses play their roles. The experimental results show that our proposed contrastive losses can bring improvement to multi-label text classification tasks. Our work also explores how contrastive learning should be adapted for multi-label text classification tasks.
• Abstract（参考訳）: 自然言語処理タスクにおけるコントラスト学習技術の有効性はまだ探究・分析されていない。 正と負のサンプルを正しくかつ合理的に構築する方法は、コントラスト学習の核となる課題である。 複数ラベルのテキスト分類タスクで対照的なオブジェクトを見つけるのはさらに難しい。 以前提案された対照的な損失はほとんどない。 本稿では,複数ラベルのテキスト分類タスクに対して,新しいコントラスト損失を5つ提案することにより,問題を異なる角度から検討する。 これらは、SCL(Strict Contrastive Loss)、ICL(Intra-label Contrastive Loss)、JSCL(Jaccard similarity Contrastive Loss)、JSPCL(Jaccard similarity Probability Contrastive Loss)、SLCL(Stepwise Label Contrastive Loss)である。 本稿では,これら新たな損失の雇用によるマルチラベルテキスト分類タスクにおけるコントラスト学習の有効性について検討し,コントラスト学習手法を特定のタスクに展開するためのベースラインモデルを提案する。 さらに,このアプローチの解釈可能な分析を行い,コントラスト学習損失の異なる要素がどのように役割を担っているかを示す。 実験結果から,提案したコントラスト損失は,複数ラベルテキスト分類タスクの改善につながることが示された。 また,マルチラベルテキスト分類タスクにコントラスト学習をどのように適用すべきかについても検討した。

関連論文リスト

• Similarity-Dissimilarity Loss with Supervised Contrastive Learning for Multi-label Classification [11.499489446062054]
  マルチラベル分類のためのコントラスト学習を用いた類似性-類似性損失を提案する。 提案する損失は、教師付きコントラスト学習パラダイムの下で、すべてのエンコーダの性能を効果的に向上させる。
  論文  参考訳（メタデータ） (2024-10-17T11:12:55Z)
• ProbMCL: Simple Probabilistic Contrastive Learning for Multi-label Visual Classification [16.415582577355536]
  マルチラベル画像分類は、コンピュータビジョンや医用画像など、多くの領域において難しい課題である。 最近の進歩は、グラフベースとトランスフォーマーベースのメソッドを導入し、パフォーマンスを改善し、ラベルの依存関係をキャプチャしている。 本稿では,これらの課題に対処する新しいフレームワークである確率的多ラベルコントラスト学習(ProbMCL)を提案する。
  論文  参考訳（メタデータ） (2024-01-02T22:15:20Z)
• ContrastNet: A Contrastive Learning Framework for Few-Shot Text Classification [40.808421462004866]
  テキスト分類における識別的表現と過剰適合の両問題に対処するContrastNetを提案する。 8つの数ショットのテキスト分類データセットの実験は、ContrastNetが現在の最先端モデルより優れていることを示している。
  論文  参考訳（メタデータ） (2023-05-16T08:22:17Z)
• Conditional Supervised Contrastive Learning for Fair Text Classification [59.813422435604025]
  対照的な学習を通してテキスト分類のための等化オッズとして知られる公平性の概念を満たす学習公正表現について研究する。 具体的には、まず、公正性制約のある学習表現と条件付き教師付きコントラスト目的との間の関係を理論的に分析する。
  論文  参考訳（メタデータ） (2022-05-23T17:38:30Z)
• Understanding Contrastive Learning Requires Incorporating Inductive Biases [64.56006519908213]
  下流タスクにおけるコントラスト学習の成功を理論的に説明しようとする最近の試みは、エム強化の特性とエムコントラスト学習の損失の値によって保証が証明されている。 このような分析は,関数クラスやトレーニングアルゴリズムの帰納的バイアスを無視し,いくつかの設定において不確実な保証につながることを実証する。
  論文  参考訳（メタデータ） (2022-02-28T18:59:20Z)
• CLLD: Contrastive Learning with Label Distance for Text Classificatioin [0.6299766708197883]
  コントラストクラスを学習するためのCLLD(Contrastive Learning with Label Distance)を提案する。 CLLDは、ラベルの割り当てに繋がる微妙な違いの中で、柔軟性を保証する。 実験の結果,学習したラベル距離は,クラス間の対立性を緩和することが示唆された。
  論文  参考訳（メタデータ） (2021-10-25T07:07:14Z)
• Dense Contrastive Visual-Linguistic Pretraining [53.61233531733243]
  画像とテキストを共同で表現するマルチモーダル表現学習手法が提案されている。 これらの手法は,大規模マルチモーダル事前学習から高レベルな意味情報を取得することにより,優れた性能を実現する。 そこで本稿では,非バイアスのDense Contrastive Visual-Linguistic Pretrainingを提案する。
  論文  参考訳（メタデータ） (2021-09-24T07:20:13Z)
• Incremental False Negative Detection for Contrastive Learning [95.68120675114878]
  本稿では,自己指導型コントラスト学習のための新たな偽陰性検出手法を提案する。 対照的な学習では、検出された偽陰性を明示的に除去する2つの戦略について議論する。 提案手法は,制限された計算内での複数のベンチマークにおいて,他の自己教師付きコントラスト学習フレームワークよりも優れる。
  論文  参考訳（メタデータ） (2021-06-07T15:29:14Z)
• Constructing Contrastive samples via Summarization for Text Classification with limited annotations [46.53641181501143]
  テキスト要約を用いた言語タスクのコントラストサンプル構築のための新しい手法を提案する。 我々はこれらのサンプルを教師付きコントラスト学習に使用し、アノテーションを限定したより良いテキスト表現を得る。 実世界のテキスト分類データセット(Amazon-5、Yelp-5、AG News)の実験では、提案したコントラスト学習フレームワークの有効性が示されている。
  論文  参考訳（メタデータ） (2021-04-11T20:13:24Z)
• Dynamic Semantic Matching and Aggregation Network for Few-shot Intent Detection [69.2370349274216]
  利用可能な注釈付き発話が不足しているため、インテント検出は困難である。 セマンティック成分はマルチヘッド自己認識によって発話から蒸留される。 本手法はラベル付きインスタンスとラベルなしインスタンスの両方の表現を強化するための総合的なマッチング手段を提供する。
  論文  参考訳（メタデータ） (2020-10-06T05:16:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。