論文の概要: Generation-driven Contrastive Self-training for Zero-shot Text
Classification with Instruction-tuned GPT
- arxiv url: http://arxiv.org/abs/2304.11872v1
- Date: Mon, 24 Apr 2023 07:35:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-25 15:49:21.024206
- Title: Generation-driven Contrastive Self-training for Zero-shot Text
Classification with Instruction-tuned GPT
- Title(参考訳): インストラクションチューニングGPTを用いたゼロショットテキスト分類のためのジェネレーション駆動コントラスト自己学習
- Authors: Ruohong Zhang, Yau-Shian Wang, Yiming Yang
- Abstract要約: GPTベースのゼロショット分類モデルは、テストインスタンスに対して独立した予測を行う傾向がある。
ゼロショットテキスト分類,すなわち我々のモデルショートに対する新しいアプローチを提案する。
我々の実験では、GenCoは複数のベンチマークデータセットで過去の最先端メソッドよりも優れています。
- 参考スコア(独自算出の注目度): 34.72390716758837
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Moreover, GPT-based zero-shot classification models tend to make independent
predictions over test instances, which can be sub-optimal as the instance
correlations and the decision boundaries in the target space are ignored. To
address these difficulties and limitations, we propose a new approach to
zero-shot text classification, namely \ourmodelshort, which leverages the
strong generative power of GPT to assist in training a smaller, more adaptable,
and efficient sentence encoder classifier with contrastive self-training.
Specifically, GenCo applies GPT in two ways: firstly, it generates multiple
augmented texts for each input instance to enhance the semantic embedding of
the instance and improve the mapping to relevant labels; secondly, it generates
augmented texts conditioned on the predicted label during self-training, which
makes the generative process tailored to the decision boundaries in the target
space. In our experiments, GenCo outperforms previous state-of-the-art methods
on multiple benchmark datasets, even when only limited in-domain text data is
available.
- Abstract(参考訳): さらに、GPTベースのゼロショット分類モデルでは、テストインスタンスに対して独立した予測を行う傾向があり、インスタンス相関や対象空間における決定境界が無視されるため、サブ最適となる。
このような困難や制約に対処するために,GPTの強靭な生成力を活用して,より小さく,適応性が高く,かつ効率的な文エンコーダ分類器の訓練を支援する,ゼロショットテキスト分類法である‘ourmodelshort’を提案する。
具体的には、GenCoはGPTを2つの方法で適用する: まず、入力インスタンス毎に複数の拡張テキストを生成し、インスタンスのセマンティック埋め込みを強化し、関連するラベルへのマッピングを改善する。
我々の実験では、GenCoは、ドメイン内テキストデータに制限がある場合でも、複数のベンチマークデータセット上で従来の最先端メソッドよりも優れています。
関連論文リスト
- KEST: Kernel Distance Based Efficient Self-Training for Improving
Controllable Text Generation [24.47531522553703]
我々は,これらの問題に対処するための,新規かつ効率的な自己学習フレームワークであるKESTを提案する。
KESTは、標準的なクロスエントロピーではなくカーネルベースの損失を利用して、共有非自己回帰生成器によって生成されたソフトな擬似テキストから学習する。
3つの制御可能な生成タスクの実験により、KESTは、複数の強いベースラインに対して、同等のテキスト流速と生成の多様性を維持しながら、制御精度を著しく向上することを示した。
論文 参考訳(メタデータ) (2023-06-17T19:40:57Z) - Scalable Learning of Latent Language Structure With Logical Offline
Cycle Consistency [71.42261918225773]
概念的には、LOCCOは、トレーニング対象のセマンティクスを使用してラベルなしテキストのアノテーションを生成する、自己学習の一形態と見なすことができる。
追加ボーナスとして、LOCCOによって生成されたアノテーションは、神経テキスト生成モデルをトレーニングするために自明に再利用することができる。
論文 参考訳(メタデータ) (2023-05-31T16:47:20Z) - Label Agnostic Pre-training for Zero-shot Text Classification [4.9081735096855565]
現実世界の応用では、与えられたテキストを記述するための無限ラベル空間が存在する。
我々は2つの新しいシンプルで効果的な事前学習戦略、ImplicitとExplicitの事前学習を導入する。
これらのメソッドは、タスクレベルの理解を構築するためにモデルを条件付けすることを目的として、列車時のモデルにアスペクトレベルの理解を注入します。
論文 参考訳(メタデータ) (2023-05-25T22:55:32Z) - AugGPT: Leveraging ChatGPT for Text Data Augmentation [59.76140039943385]
本稿では,ChatGPT(AugGPT)に基づくテキストデータ拡張手法を提案する。
AugGPTはトレーニングサンプルの各文を、概念的には似ているが意味的に異なる複数のサンプルに言い換える。
数ショットの学習テキスト分類タスクの実験結果は、提案したAugGPTアプローチの優れた性能を示している。
論文 参考訳(メタデータ) (2023-02-25T06:58:16Z) - Classifiers are Better Experts for Controllable Text Generation [63.17266060165098]
提案手法は, PPLにおける最近のPPLM, GeDi, DExpertsよりも有意に優れており, 生成したテキストの外部分類器に基づく感情の精度が高いことを示す。
同時に、実装やチューニングも簡単で、制限や要件も大幅に少なくなります。
論文 参考訳(メタデータ) (2022-05-15T12:58:35Z) - Guiding Generative Language Models for Data Augmentation in Few-Shot
Text Classification [59.698811329287174]
我々は、GPT-2を用いて、分類性能を向上させるために、人工訓練インスタンスを生成する。
実験の結果,少数のラベルインスタンスでGPT-2を微調整すると,一貫した分類精度が向上することがわかった。
論文 参考訳(メタデータ) (2021-11-17T12:10:03Z) - Attribute Alignment: Controlling Text Generation from Pre-trained
Language Models [46.19190007510232]
本論文では, テキスト生成を簡便かつ柔軟に制御する手法を提案する。
属性のトークンレベル分布を乱すように識別器を訓練する最近の取り組みとは対照的に、同じデータを用いてアライメント関数を学習し、トレーニング済みの非制御言語モデルを誘導し、元の言語モデルパラメータを変更することなく、ターゲット属性を持つテキストを生成する。
論文 参考訳(メタデータ) (2021-03-20T01:51:32Z) - SDA: Improving Text Generation with Self Data Augmentation [88.24594090105899]
自動データ拡張のための自己模倣学習フェーズを組み込むことにより,標準最大確率推定(MLE)パラダイムを改善することを提案する。
既存の文レベルの拡張戦略とは異なり,本手法はより汎用的で,任意のMLEベースの訓練手順に容易に適応できる。
論文 参考訳(メタデータ) (2021-01-02T01:15:57Z) - POINTER: Constrained Progressive Text Generation via Insertion-based
Generative Pre-training [93.79766670391618]
ハードコントラストテキスト生成のための新しい挿入ベースアプローチであるPOINTERを提案する。
提案手法は,既存のトークン間で段階的に新しいトークンを並列に挿入することによって動作する。
結果として生じる粗大な階層構造は、生成プロセスを直感的で解釈可能である。
論文 参考訳(メタデータ) (2020-05-01T18:11:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。