論文の概要: Not All Negatives are Equal: Label-Aware Contrastive Loss for Fine-grained Text Classification

• arxiv url: http://arxiv.org/abs/2109.05427v1
• Date: Sun, 12 Sep 2021 04:19:17 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-14 16:09:12.805230
• Title: Not All Negatives are Equal: Label-Aware Contrastive Loss for Fine-grained Text Classification
• Title（参考訳）: すべての否定は等しくない: きめ細かいテキスト分類のためのラベル認識コントラスト損失
• Authors: Varsha Suresh and Desmond C. Ong
• Abstract要約: 2つの細粒度テキスト分類タスクにおいて、事前訓練された言語モデルの対照的な微調整を解析する。 クラス関係を比較対象関数に適応的に組み込んで、正と負の異なる評価を支援する。 ラベルを意識したContrastive Lossは,従来のコントラスト手法よりも優れていた。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Fine-grained classification involves dealing with datasets with larger number of classes with subtle differences between them. Guiding the model to focus on differentiating dimensions between these commonly confusable classes is key to improving performance on fine-grained tasks. In this work, we analyse the contrastive fine-tuning of pre-trained language models on two fine-grained text classification tasks, emotion classification and sentiment analysis. We adaptively embed class relationships into a contrastive objective function to help differently weigh the positives and negatives, and in particular, weighting closely confusable negatives more than less similar negative examples. We find that Label-aware Contrastive Loss outperforms previous contrastive methods, in the presence of larger number and/or more confusable classes, and helps models to produce output distributions that are more differentiated.
• Abstract（参考訳）: きめ細かい分類には、より多数のクラスを持つデータセットを微妙な違いで扱います。 モデルにこれらの一般的な難解なクラス間の次元の微分に焦点を合わせることが、きめ細かいタスクのパフォーマンス向上の鍵となる。 本研究では,2つの細かいテキスト分類タスク,感情分類,感情分析において,事前学習した言語モデルの対照的な微調整を行う。 クラス関係を対照的な目的関数に適応的に組み込んで、正と負の異なる重み付けをし、特に、類似の負の例よりもはるかに難解な負の重み付けを行う。 ラベル認識のコントラスト損失は,多くのクラスやクラスが存在する場合において,従来のコントラスト手法よりも優れており,モデルがより差別化された出力分布を生成するのに役立つ。

関連論文リスト

• Simple-Sampling and Hard-Mixup with Prototypes to Rebalance Contrastive Learning for Text Classification [11.072083437769093]
  我々は不均衡テキスト分類タスクのためのSharpReCLという新しいモデルを提案する。 私たちのモデルは、いくつかのデータセットで人気のある大きな言語モデルよりも優れています。
  論文  参考訳（メタデータ） (2024-05-19T11:33:49Z)
• Understanding the Detrimental Class-level Effects of Data Augmentation [63.1733767714073]
  最適な平均精度を達成するには、ImageNetで最大20%の個々のクラスの精度を著しく損なうコストがかかる。 本稿では,DAがクラスレベルの学習力学とどのように相互作用するかを理解するためのフレームワークを提案する。 そこで本研究では, クラス条件拡張戦略により, 負の影響を受けるクラスの性能が向上することを示す。
  論文  参考訳（メタデータ） (2023-12-07T18:37:43Z)
• Class Enhancement Losses with Pseudo Labels for Zero-shot Semantic Segmentation [40.09476732999614]
  マスクの提案モデルは、ゼロショットセマンティックセグメンテーションの性能を大幅に改善した。 トレーニング中にバックグラウンドを埋め込むことは問題であり、結果として得られたモデルが過剰に学習し、正しいラベルではなく、すべての見えないクラスをバックグラウンドクラスとして割り当てる傾向がある。 本稿では,学習中の背景埋め込みの使用を回避し,テキスト埋め込みとマスク提案のセマンティックな関係を類似度スコアのランク付けにより活用する新しいクラス拡張損失を提案する。
  論文  参考訳（メタデータ） (2023-01-18T06:55:02Z)
• Learning by Sorting: Self-supervised Learning with Group Ordering Constraints [75.89238437237445]
  本稿では,対照学習目標である群順序制約(GroCo)の新たなバリエーションを提案する。 正の対と負の対の距離をソートし、正の対が負の対よりも多くの距離を持つかに基づいてそれぞれの損失を計算するという考え方を利用しており、したがって正しく順序付けされていない。 各種自己教師付き学習ベンチマークの定式化について検討し、バニラのコントラスト学習と比較して結果が向上するだけでなく、k-NNの性能において、線形探索や性能向上において同等の手法と競合する性能を示すことを示す。
  論文  参考訳（メタデータ） (2023-01-05T11:17:55Z)
• Understanding Contrastive Learning Requires Incorporating Inductive Biases [64.56006519908213]
  下流タスクにおけるコントラスト学習の成功を理論的に説明しようとする最近の試みは、エム強化の特性とエムコントラスト学習の損失の値によって保証が証明されている。 このような分析は,関数クラスやトレーニングアルゴリズムの帰納的バイアスを無視し,いくつかの設定において不確実な保証につながることを実証する。
  論文  参考訳（メタデータ） (2022-02-28T18:59:20Z)
• Learning Debiased and Disentangled Representations for Semantic Segmentation [52.35766945827972]
  セマンティックセグメンテーションのためのモデルに依存しない訓練手法を提案する。 各トレーニングイテレーションで特定のクラス情報をランダムに除去することにより、クラス間の機能依存を効果的に削減する。 提案手法で訓練したモデルは,複数のセマンティックセグメンテーションベンチマークにおいて強い結果を示す。
  論文  参考訳（メタデータ） (2021-10-31T16:15:09Z)
• CLLD: Contrastive Learning with Label Distance for Text Classificatioin [0.6299766708197883]
  コントラストクラスを学習するためのCLLD(Contrastive Learning with Label Distance)を提案する。 CLLDは、ラベルの割り当てに繋がる微妙な違いの中で、柔軟性を保証する。 実験の結果,学習したラベル距離は,クラス間の対立性を緩和することが示唆された。
  論文  参考訳（メタデータ） (2021-10-25T07:07:14Z)
• Boosting few-shot classification with view-learnable contrastive learning [19.801016732390064]
  埋め込み空間の細粒度構造を学習するために,数ショットの分類に対照的な損失を導入する。 我々は,同じ画像の異なるビューを自動的に生成する学習学習アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2021-07-20T03:13:33Z)
• A Theory-Driven Self-Labeling Refinement Method for Contrastive Representation Learning [111.05365744744437]
  教師なしのコントラスト学習は、正のイメージの作物と、負のイメージの作物とをラベル付けする。 本研究は, コントラスト学習において, 不正確なラベル割り当てがセマンティック・インスタンス識別の一般化を著しく損なうことを最初に証明する。 この理論に触発されて、コントラスト学習のための新しい自己ラベル改善手法を提案する。
  論文  参考訳（メタデータ） (2021-06-28T14:24:52Z)
• Incremental False Negative Detection for Contrastive Learning [95.68120675114878]
  本稿では,自己指導型コントラスト学習のための新たな偽陰性検出手法を提案する。 対照的な学習では、検出された偽陰性を明示的に除去する2つの戦略について議論する。 提案手法は,制限された計算内での複数のベンチマークにおいて,他の自己教師付きコントラスト学習フレームワークよりも優れる。
  論文  参考訳（メタデータ） (2021-06-07T15:29:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。