論文の概要: Constructing Contrastive samples via Summarization for Text Classification with limited annotations

• arxiv url: http://arxiv.org/abs/2104.05094v1
• Date: Sun, 11 Apr 2021 20:13:24 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-13 14:37:11.479365
• Title: Constructing Contrastive samples via Summarization for Text Classification with limited annotations
• Title（参考訳）: 限定アノテーションによるテキスト分類のための要約による対比サンプルの構築
• Authors: Yangkai Du, Tengfei Ma, Lingfei Wu, Fangli Xu, Xuhong Zhang, Shouling Ji
• Abstract要約: テキスト要約を用いた言語タスクのコントラストサンプル構築のための新しい手法を提案する。 我々はこれらのサンプルを教師付きコントラスト学習に使用し、アノテーションを限定したより良いテキスト表現を得る。 実世界のテキスト分類データセット(Amazon-5、Yelp-5、AG News)の実験では、提案したコントラスト学習フレームワークの有効性が示されている。
• 参考スコア（独自算出の注目度）: 46.53641181501143
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Contrastive Learning has emerged as a powerful representation learning method and facilitates various downstream tasks especially when supervised data is limited. How to construct efficient contrastive samples through data augmentation is key to its success. Unlike vision tasks, the data augmentation method for contrastive learning has not been investigated sufficiently in language tasks. In this paper, we propose a novel approach to constructing contrastive samples for language tasks using text summarization. We use these samples for supervised contrastive learning to gain better text representations which greatly benefit text classification tasks with limited annotations. To further improve the method, we mix up samples from different classes and add an extra regularization, named mix-sum regularization, in addition to the cross-entropy-loss. Experiments on real-world text classification datasets (Amazon-5, Yelp-5, AG News) demonstrate the effectiveness of the proposed contrastive learning framework with summarization-based data augmentation and mix-sum regularization.
• Abstract（参考訳）: コントラスト学習は強力な表現学習手法として登場し,特に教師付きデータに制限がある場合に,様々な下流作業を容易にする。 データ拡張による効率的なコントラストサンプルの構築は、その成功の鍵となる。 視覚タスクとは異なり、コントラスト学習のためのデータ拡張方法は言語タスクでは十分に研究されていない。 本稿では,テキスト要約を用いた言語タスクのコントラストサンプル構築のための新しい手法を提案する。 これらのサンプルを教師付きコントラスト学習に使用して,テキスト表現の改善を行い,アノテーションの制限されたテキスト分類タスクに多大なメリットを享受した。 この方法をさらに改善するために,異なるクラスからのサンプルをミックスし,クロスエントロピーロスに加えてmix-sum regularizationという追加の正規化を加える。 実世界のテキスト分類データセット(Amazon-5,Yelp-5,AG News)の実験では,要約に基づくデータ拡張とミックスサム正規化によるコントラスト学習フレームワークの有効性が示された。

関連論文リスト

• Evaluating LLM Prompts for Data Augmentation in Multi-label Classification of Ecological Texts [1.565361244756411]
  大規模言語モデル(LLM)は自然言語処理(NLP)タスクにおいて重要な役割を果たす。 本研究では,ロシアのソーシャルメディアにおけるグリーンプラクティスの言及を検出するために,プロンプトベースのデータ拡張を適用した。
  論文  参考訳（メタデータ） (2024-11-22T12:37:41Z)
• Pointer-Guided Pre-Training: Infusing Large Language Models with Paragraph-Level Contextual Awareness [3.2925222641796554]
  ポインター誘導セグメントオーダリング(SO)は,段落レベルのテキスト表現の文脈的理解を高めることを目的とした,新しい事前学習手法である。 実験の結果,ポインタ誘導型事前学習は複雑な文書構造を理解する能力を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-06-06T15:17:51Z)
• One-Shot Learning as Instruction Data Prospector for Large Language Models [108.81681547472138]
  textscNuggetsはワンショット学習を使用して、広範なデータセットから高品質な命令データを選択する。 我々は,textscNuggets がキュレートした例の上位1%による命令チューニングが,データセット全体を用いた従来の手法よりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2023-12-16T03:33:12Z)
• Summarization-based Data Augmentation for Document Classification [16.49709049899731]
  文書分類のための簡易かつ効果的な要約型データ拡張であるSUMMaugを提案する。 まず、対象文書分類タスクの学習が容易な例を示す。 次に、生成された擬似例を用いてカリキュラム学習を行う。
  論文  参考訳（メタデータ） (2023-12-01T11:34:37Z)
• AugGPT: Leveraging ChatGPT for Text Data Augmentation [59.76140039943385]
  本稿では,ChatGPT(AugGPT)に基づくテキストデータ拡張手法を提案する。 AugGPTはトレーニングサンプルの各文を、概念的には似ているが意味的に異なる複数のサンプルに言い換える。 数ショットの学習テキスト分類タスクの実験結果は、提案したAugGPTアプローチの優れた性能を示している。
  論文  参考訳（メタデータ） (2023-02-25T06:58:16Z)
• An Effective Deployment of Contrastive Learning in Multi-label Text Classification [6.697876965452054]
  マルチラベルテキスト分類タスクに対して,新しい5つの対照的な損失を提案する。 SCL(Strict Contrastive Loss)、ICL(Intra-label Contrastive Loss)、JSCL(Jaccard similarity Contrastive Loss)、JSPCL(Jaccard similarity Probability Contrastive Loss)、SLCL(Stepwise Label Contrastive Loss)などがある。
  論文  参考訳（メタデータ） (2022-12-01T15:00:16Z)
• ConsPrompt: Exploiting Contrastive Samples for Fewshot Prompt Learning [37.219617741198334]
  本研究では,プロンプト表現のロバスト性を改善するために,適切なコントラストサンプルと多自由度コントラスト学習手法について検討する。 以上の結果から, 高速微調整プロセスにおける多自由度コントラスト学習の有効性が証明された。
  論文  参考訳（メタデータ） (2022-11-08T09:29:45Z)
• Conditional Supervised Contrastive Learning for Fair Text Classification [59.813422435604025]
  対照的な学習を通してテキスト分類のための等化オッズとして知られる公平性の概念を満たす学習公正表現について研究する。 具体的には、まず、公正性制約のある学習表現と条件付き教師付きコントラスト目的との間の関係を理論的に分析する。
  論文  参考訳（メタデータ） (2022-05-23T17:38:30Z)
• Dense Contrastive Visual-Linguistic Pretraining [53.61233531733243]
  画像とテキストを共同で表現するマルチモーダル表現学習手法が提案されている。 これらの手法は,大規模マルチモーダル事前学習から高レベルな意味情報を取得することにより,優れた性能を実現する。 そこで本稿では,非バイアスのDense Contrastive Visual-Linguistic Pretrainingを提案する。
  論文  参考訳（メタデータ） (2021-09-24T07:20:13Z)
• Dynamic Semantic Matching and Aggregation Network for Few-shot Intent Detection [69.2370349274216]
  利用可能な注釈付き発話が不足しているため、インテント検出は困難である。 セマンティック成分はマルチヘッド自己認識によって発話から蒸留される。 本手法はラベル付きインスタンスとラベルなしインスタンスの両方の表現を強化するための総合的なマッチング手段を提供する。
  論文  参考訳（メタデータ） (2020-10-06T05:16:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。