論文の概要: Few-shot Text Classification with Dual Contrastive Consistency
- arxiv url: http://arxiv.org/abs/2209.15069v1
- Date: Thu, 29 Sep 2022 19:26:23 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-03 14:05:11.150331
- Title: Few-shot Text Classification with Dual Contrastive Consistency
- Title(参考訳): Dual Contrastive Consistency を用いたテキスト分類
- Authors: Liwen Sun, Jiawei Han
- Abstract要約: 本稿では,事前学習した言語モデルを用いて,数ショットのテキスト分類を行う方法について検討する。
ラベル付きデータが少ない場合の教師付きコントラスト学習と、ラベルなしデータの一貫性と規則化を採用する。
- 参考スコア(独自算出の注目度): 31.141350717029358
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we explore how to utilize pre-trained language model to
perform few-shot text classification where only a few annotated examples are
given for each class. Since using traditional cross-entropy loss to fine-tune
language model under this scenario causes serious overfitting and leads to
sub-optimal generalization of model, we adopt supervised contrastive learning
on few labeled data and consistency-regularization on vast unlabeled data.
Moreover, we propose a novel contrastive consistency to further boost model
performance and refine sentence representation. After conducting extensive
experiments on four datasets, we demonstrate that our model (FTCC) can
outperform state-of-the-art methods and has better robustness.
- Abstract(参考訳): 本稿では,事前学習した言語モデルを用いて,各クラスに注釈付きサンプルを少数用意した少数ショットテキスト分類を行う方法について検討する。
このシナリオでは、従来のクロスエントロピー損失を微調整言語モデルに用いた場合、重大オーバーフィッティングが発生し、モデルの準最適一般化につながるため、ラベル付きデータが少ない場合の教師付きコントラスト学習と、膨大なラベル付きデータに対する整合性正規化を採用する。
さらに,モデルの性能をさらに高め,文表現を洗練するために,新しいコントラスト一貫性を提案する。
4つのデータセットに対して広範な実験を行った結果、我々のモデル(FTCC)が最先端の手法より優れ、堅牢性が高いことを示した。
関連論文リスト
- Diversified in-domain synthesis with efficient fine-tuning for few-shot
classification [64.86872227580866]
画像分類は,クラスごとのラベル付き例の小さなセットのみを用いて,画像分類器の学習を目的としている。
合成データを用いた数ショット学習における一般化問題に対処する新しいアプローチである DisEF を提案する。
提案手法を10種類のベンチマークで検証し,ベースラインを一貫して上回り,数ショット分類のための新しい最先端の手法を確立した。
論文 参考訳(メタデータ) (2023-12-05T17:18:09Z) - Towards Weakly-Supervised Hate Speech Classification Across Datasets [72.12707900327558]
そこで本研究では,テキスト分類モデルの有効性について検討した。
また,HS分類モデルの一般化性の低さの原因について,詳細な定量的,定性的な分析を行った。
論文 参考訳(メタデータ) (2023-05-04T08:15:40Z) - mFACE: Multilingual Summarization with Factual Consistency Evaluation [79.60172087719356]
抽象的な要約は、事前訓練された言語モデルと大規模データセットの可用性のおかげで、近年で新たな関心を集めている。
有望な結果にもかかわらず、現在のモデルはいまだに現実的に矛盾した要約を生み出すことに苦しむ。
事実整合性評価モデルを利用して、多言語要約を改善する。
論文 参考訳(メタデータ) (2022-12-20T19:52:41Z) - Mitigating Data Sparsity for Short Text Topic Modeling by Topic-Semantic
Contrastive Learning [19.7066703371736]
トピック・セマンティック・コントラスト・トピック・モデル(TSCTM)を提案する。
我々のTSCTMは、データ拡張の可用性に関わらず最先端のベースラインを上回り、高品質なトピックやトピックの分布を生成します。
論文 参考訳(メタデータ) (2022-11-23T11:33:43Z) - A Unified Neural Network Model for Readability Assessment with Feature
Projection and Length-Balanced Loss [17.213602354715956]
本稿では,可読性評価のための特徴投影と長さバランス損失を考慮したBERTモデルを提案する。
本モデルは,2つの英語ベンチマークデータセットと1つの中国語教科書データセットを用いて,最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2022-10-19T05:33:27Z) - Revisiting Consistency Regularization for Semi-Supervised Learning [80.28461584135967]
そこで我々は,FeatDistLossというシンプルな手法により,一貫性の規則化を改良したフレームワークを提案する。
実験結果から,本モデルは様々なデータセットや設定のための新しい技術状態を定義する。
論文 参考訳(メタデータ) (2021-12-10T20:46:13Z) - Revisiting Self-Training for Few-Shot Learning of Language Model [61.173976954360334]
ラベル付きデータにはタスク関連情報が豊富に含まれており、言語モデルの素早い学習に有用であることが証明されている。
本研究では,言語モデルファインチューニングのための自己学習手法を再検討し,最先端のプロンプトベースの少ショット学習者,SFLMを提案する。
論文 参考訳(メタデータ) (2021-10-04T08:51:36Z) - Few-shot learning through contextual data augmentation [74.20290390065475]
機械翻訳モデルは、時間とともに性能を維持するために新しいデータに適応する必要がある。
一つの例から5つの例への適応が可能であることを示す。
本モデルでは,平均313個の並列例でトレーニングした基準システムよりも精度がよいことを示す。
論文 参考訳(メタデータ) (2021-03-31T09:05:43Z) - Transformer-based Language Model Fine-tuning Methods for COVID-19 Fake
News Detection [7.29381091750894]
偽ニュース検出のためのトランスフォーマーに基づく言語モデルの微調整手法を提案する。
まず、個々のモデルのトークン語彙を専門用語の実際の意味論のために拡張する。
最後に、普遍言語モデルRoBERTaとドメイン固有モデルCT-BERTによって抽出された予測特徴を、複数の層認識によって融合させ、微細で高レベルな特定の表現を統合する。
論文 参考訳(メタデータ) (2021-01-14T09:05:42Z) - Supervised Contrastive Learning for Pre-trained Language Model
Fine-tuning [23.00300794016583]
最先端の自然言語理解分類モデルは2段階に従う。
微調整段階に対する教師付きコントラスト学習(SCL)の目的を提案する。
提案した微調整目的は、微調整訓練データにおいて、異なるレベルのノイズに対してより堅牢なモデルに導かれる。
論文 参考訳(メタデータ) (2020-11-03T01:10:39Z) - Evaluating Text Coherence at Sentence and Paragraph Levels [17.99797111176988]
本稿では,既存の文順序付け手法の段落順序付けタスクへの適応について検討する。
また、ミニデータセットとノイズの多いデータセットを人工的に作成することで、既存のモデルの学習性と堅牢性を比較する。
我々は、リカレントグラフニューラルネットワークに基づくモデルがコヒーレンスモデリングの最適選択であると結論付けている。
論文 参考訳(メタデータ) (2020-06-05T03:31:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。