論文の概要: Guiding Generative Language Models for Data Augmentation in Few-Shot
Text Classification
- arxiv url: http://arxiv.org/abs/2111.09064v1
- Date: Wed, 17 Nov 2021 12:10:03 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-18 18:48:57.324494
- Title: Guiding Generative Language Models for Data Augmentation in Few-Shot
Text Classification
- Title(参考訳): 少数ショットテキスト分類におけるデータ拡張のための生成言語モデル誘導
- Authors: Aleksandra Edwards, Asahi Ushio, Jose Camacho-Collados, H\'el\`ene de
Ribaupierre, Alun Preece
- Abstract要約: 我々は、GPT-2を用いて、分類性能を向上させるために、人工訓練インスタンスを生成する。
実験の結果,少数のラベルインスタンスでGPT-2を微調整すると,一貫した分類精度が向上することがわかった。
- 参考スコア(独自算出の注目度): 59.698811329287174
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Data augmentation techniques are widely used for enhancing the performance of
machine learning models by tackling class imbalance issues and data sparsity.
State-of-the-art generative language models have been shown to provide
significant gains across different NLP tasks. However, their applicability to
data augmentation for text classification tasks in few-shot settings have not
been fully explored, especially for specialised domains. In this paper, we
leverage GPT-2 (Radford A et al, 2019) for generating artificial training
instances in order to improve classification performance. Our aim is to analyse
the impact the selection process of seed training examples have over the
quality of GPT-generated samples and consequently the classifier performance.
We perform experiments with several seed selection strategies that, among
others, exploit class hierarchical structures and domain expert selection. Our
results show that fine-tuning GPT-2 in a handful of label instances leads to
consistent classification improvements and outperform competitive baselines.
Finally, we show that guiding this process through domain expert selection can
lead to further improvements, which opens up interesting research avenues for
combining generative models and active learning.
- Abstract(参考訳): データ拡張技術は、クラス不均衡問題やデータ間隔に対処することで、機械学習モデルの性能向上に広く利用されている。
最先端の生成言語モデルは、異なるNLPタスク間で大きな利益をもたらすことが示されている。
しかし、テキスト分類タスクにおけるデータ拡張の適用性は、特に専門分野において、十分に検討されていない。
本稿では,GPT-2(Radford A et al, 2019)を人工トレーニングインスタンスの生成に活用し,分類性能の向上を図る。
本研究の目的は,GPT生成サンプルの品質に対するシードトレーニングサンプルの選択プロセスの影響を分析し,分類器の性能を評価することである。
我々は、クラス階層構造とドメインエキスパート選択を利用するいくつかの種選択戦略で実験を行う。
その結果,一握りのラベルインスタンスにおけるgpt-2の微調整は,一貫性のある分類改善と競合ベースラインを上回ることがわかった。
最後に、ドメインエキスパートの選択を通じてこのプロセスを導くことがさらなる改善につながる可能性を示し、生成モデルとアクティブラーニングを組み合わせるための興味深い研究の道を開く。
関連論文リスト
- Text generation for dataset augmentation in security classification
tasks [55.70844429868403]
本研究では、複数のセキュリティ関連テキスト分類タスクにおいて、このデータギャップを埋めるための自然言語テキストジェネレータの適用性を評価する。
我々は,GPT-3データ拡張戦略において,既知の正のクラスサンプルに厳しい制約がある状況において,大きなメリットを見出した。
論文 参考訳(メタデータ) (2023-10-22T22:25:14Z) - Consistency Regularization for Generalizable Source-free Domain
Adaptation [62.654883736925456]
ソースフリードメイン適応(source-free domain adapt, SFDA)は、ソースデータセットにアクセスすることなく、十分にトレーニングされたソースモデルを未学習のターゲットドメインに適応することを目的としている。
既存のSFDAメソッドは、ターゲットのトレーニングセット上で適用されたモデルを評価し、目に見えないが同一の分散テストセットからデータを無視する。
より一般化可能なSFDA法を開発するための整合正則化フレームワークを提案する。
論文 参考訳(メタデータ) (2023-08-03T07:45:53Z) - Meta-learning Pathologies from Radiology Reports using Variance Aware
Prototypical Networks [3.464871689508835]
本稿では,数ショットのテキスト分類のためのプロトタイプネットワークの簡易拡張を提案する。
我々の主な考えは、クラスプロトタイプをガウスに置き換え、サンプルを適切なクラスセントロイドの近くでクラスタ化することを奨励する正規化項を導入することである。
論文 参考訳(メタデータ) (2022-10-22T05:22:29Z) - Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。
ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。
マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
論文 参考訳(メタデータ) (2020-12-29T23:43:16Z) - DAGA: Data Augmentation with a Generation Approach for Low-resource
Tagging Tasks [88.62288327934499]
線形化ラベル付き文に基づいて訓練された言語モデルを用いた新しい拡張手法を提案する。
本手法は, 教師付き設定と半教師付き設定の両方に適用可能である。
論文 参考訳(メタデータ) (2020-11-03T07:49:15Z) - Improving the Performance of Fine-Grain Image Classifiers via Generative
Data Augmentation [0.5161531917413706]
我々は、ロバスト生成アドリアルネットワーク(DAPPER GAN)の熟練した事前学習からデータ拡張を開発する。
DAPPER GANは、トレーニングイメージの新しいビューを自動的に生成するML分析支援ツールである。
本手法をStanford Carsデータセット上で実験的に評価し,車体形状とモデル分類精度の向上を実証した。
論文 参考訳(メタデータ) (2020-08-12T15:29:11Z) - Generative Data Augmentation for Commonsense Reasoning [75.26876609249197]
G-DAUGCは、低リソース環境でより正確で堅牢な学習を実現することを目的とした、新しい生成データ拡張手法である。
G-DAUGCは、バックトランスレーションに基づく既存のデータ拡張手法を一貫して上回っている。
分析の結果,G-DAUGCは多種多様な流線型学習例を産出し,その選択と学習アプローチが性能向上に重要であることが示された。
論文 参考訳(メタデータ) (2020-04-24T06:12:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。