論文の概要: ContrastNet: A Contrastive Learning Framework for Few-Shot Text Classification

• arxiv url: http://arxiv.org/abs/2305.09269v1
• Date: Tue, 16 May 2023 08:22:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-17 15:46:40.235590
• Title: ContrastNet: A Contrastive Learning Framework for Few-Shot Text Classification
• Title（参考訳）: ContrastNet:Few-Shotテキスト分類のためのコントラスト学習フレームワーク
• Authors: Junfan Chen, Richong Zhang, Yongyi Mao, Jie Xu
• Abstract要約: テキスト分類における識別的表現と過剰適合の両問題に対処するContrastNetを提案する。 8つの数ショットのテキスト分類データセットの実験は、ContrastNetが現在の最先端モデルより優れていることを示している。
• 参考スコア（独自算出の注目度）: 40.808421462004866
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Few-shot text classification has recently been promoted by the meta-learning paradigm which aims to identify target classes with knowledge transferred from source classes with sets of small tasks named episodes. Despite their success, existing works building their meta-learner based on Prototypical Networks are unsatisfactory in learning discriminative text representations between similar classes, which may lead to contradictions during label prediction. In addition, the tasklevel and instance-level overfitting problems in few-shot text classification caused by a few training examples are not sufficiently tackled. In this work, we propose a contrastive learning framework named ContrastNet to tackle both discriminative representation and overfitting problems in few-shot text classification. ContrastNet learns to pull closer text representations belonging to the same class and push away text representations belonging to different classes, while simultaneously introducing unsupervised contrastive regularization at both task-level and instance-level to prevent overfitting. Experiments on 8 few-shot text classification datasets show that ContrastNet outperforms the current state-of-the-art models.
• Abstract（参考訳）: 最近、メタラーニングパラダイムによって、ソースクラスから移行した知識を持つターゲットクラスを、エピソードと命名された小さなタスクセットで識別することを目的としている。 彼らの成功にもかかわらず、プロトタイプネットワークに基づくメタラーナーの構築は、類似クラス間の識別的テキスト表現の学習に不満足であり、ラベル予測中に矛盾を引き起こす可能性がある。 さらに,数例のトレーニング例によって生じる少数ショットテキスト分類におけるタスクレベルとインスタンスレベルのオーバーフィッティング問題は,十分に対処されていない。 本研究では,テキスト分類における識別表現とオーバーフィット問題の両方に対処すべく,コントラストネットと呼ばれるコントラスト学習フレームワークを提案する。 ContrastNetは、同じクラスに属する近いテキスト表現を抽出し、異なるクラスに属するテキスト表現をプッシュし、同時にタスクレベルとインスタンスレベルで教師なしのコントラスト正規化を導入してオーバーフィッティングを防ぐ。 8つの数ショットのテキスト分類データセットの実験は、ContrastNetが現在の最先端モデルより優れていることを示している。

関連論文リスト

• Class-Aware Contrastive Optimization for Imbalanced Text Classification [19.537124894139833]
  クラス認識のコントラスト最適化とデノベーションオートエンコーダを組み合わせることで、不均衡なテキスト分類タスクにうまく取り組むことができることを示す。 提案手法は,多種多様なテキストデータセットにおける顕著な性能向上を示す。
  論文  参考訳（メタデータ） (2024-10-29T16:34:08Z)
• DualCoOp++: Fast and Effective Adaptation to Multi-Label Recognition with Limited Annotations [79.433122872973]
  低ラベル体制における多ラベル画像認識は、大きな課題と実践的重要性の課題である。 我々は、何百万もの補助的な画像テキストペアで事前訓練されたテキストと視覚的特徴の強力なアライメントを活用する。 Evidence-guided Dual Context Optimization (DualCoOp++) という,効率的かつ効果的なフレームワークを導入する。
  論文  参考訳（メタデータ） (2023-08-03T17:33:20Z)
• An Effective Deployment of Contrastive Learning in Multi-label Text Classification [6.697876965452054]
  マルチラベルテキスト分類タスクに対して,新しい5つの対照的な損失を提案する。 SCL(Strict Contrastive Loss)、ICL(Intra-label Contrastive Loss)、JSCL(Jaccard similarity Contrastive Loss)、JSPCL(Jaccard similarity Probability Contrastive Loss)、SLCL(Stepwise Label Contrastive Loss)などがある。
  論文  参考訳（メタデータ） (2022-12-01T15:00:16Z)
• Keywords and Instances: A Hierarchical Contrastive Learning Framework Unifying Hybrid Granularities for Text Generation [59.01297461453444]
  入力テキスト中のハイブリッドな粒度意味を統一する階層的コントラスト学習機構を提案する。 実験により,本モデルがパラフレージング,対話生成,ストーリーテリングタスクにおいて,競争ベースラインより優れていることが示された。
  論文  参考訳（メタデータ） (2022-05-26T13:26:03Z)
• Conditional Supervised Contrastive Learning for Fair Text Classification [59.813422435604025]
  対照的な学習を通してテキスト分類のための等化オッズとして知られる公平性の概念を満たす学習公正表現について研究する。 具体的には、まず、公正性制約のある学習表現と条件付き教師付きコントラスト目的との間の関係を理論的に分析する。
  論文  参考訳（メタデータ） (2022-05-23T17:38:30Z)
• CLLD: Contrastive Learning with Label Distance for Text Classificatioin [0.6299766708197883]
  コントラストクラスを学習するためのCLLD(Contrastive Learning with Label Distance)を提案する。 CLLDは、ラベルの割り当てに繋がる微妙な違いの中で、柔軟性を保証する。 実験の結果,学習したラベル距離は,クラス間の対立性を緩和することが示唆された。
  論文  参考訳（メタデータ） (2021-10-25T07:07:14Z)
• Weakly Supervised Contrastive Learning [68.47096022526927]
  この問題に対処するために,弱教師付きコントラスト学習フレームワーク(WCL)を導入する。 WCLはResNet50を使用して65%と72%のImageNet Top-1の精度を実現している。
  論文  参考訳（メタデータ） (2021-10-10T12:03:52Z)
• Dynamic Semantic Matching and Aggregation Network for Few-shot Intent Detection [69.2370349274216]
  利用可能な注釈付き発話が不足しているため、インテント検出は困難である。 セマンティック成分はマルチヘッド自己認識によって発話から蒸留される。 本手法はラベル付きインスタンスとラベルなしインスタンスの両方の表現を強化するための総合的なマッチング手段を提供する。
  論文  参考訳（メタデータ） (2020-10-06T05:16:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。