論文の概要: Guiding Generative Language Models for Data Augmentation in Few-Shot Text Classification

• arxiv url: http://arxiv.org/abs/2111.09064v1
• Date: Wed, 17 Nov 2021 12:10:03 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-18 18:48:57.324494
• Title: Guiding Generative Language Models for Data Augmentation in Few-Shot Text Classification
• Title（参考訳）: 少数ショットテキスト分類におけるデータ拡張のための生成言語モデル誘導
• Authors: Aleksandra Edwards, Asahi Ushio, Jose Camacho-Collados, H\'el\`ene de Ribaupierre, Alun Preece
• Abstract要約: 我々は、GPT-2を用いて、分類性能を向上させるために、人工訓練インスタンスを生成する。 実験の結果,少数のラベルインスタンスでGPT-2を微調整すると,一貫した分類精度が向上することがわかった。
• 参考スコア（独自算出の注目度）: 59.698811329287174
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Data augmentation techniques are widely used for enhancing the performance of machine learning models by tackling class imbalance issues and data sparsity. State-of-the-art generative language models have been shown to provide significant gains across different NLP tasks. However, their applicability to data augmentation for text classification tasks in few-shot settings have not been fully explored, especially for specialised domains. In this paper, we leverage GPT-2 (Radford A et al, 2019) for generating artificial training instances in order to improve classification performance. Our aim is to analyse the impact the selection process of seed training examples have over the quality of GPT-generated samples and consequently the classifier performance. We perform experiments with several seed selection strategies that, among others, exploit class hierarchical structures and domain expert selection. Our results show that fine-tuning GPT-2 in a handful of label instances leads to consistent classification improvements and outperform competitive baselines. Finally, we show that guiding this process through domain expert selection can lead to further improvements, which opens up interesting research avenues for combining generative models and active learning.
• Abstract（参考訳）: データ拡張技術は、クラス不均衡問題やデータ間隔に対処することで、機械学習モデルの性能向上に広く利用されている。 最先端の生成言語モデルは、異なるNLPタスク間で大きな利益をもたらすことが示されている。 しかし、テキスト分類タスクにおけるデータ拡張の適用性は、特に専門分野において、十分に検討されていない。 本稿では,GPT-2(Radford A et al, 2019)を人工トレーニングインスタンスの生成に活用し,分類性能の向上を図る。 本研究の目的は,GPT生成サンプルの品質に対するシードトレーニングサンプルの選択プロセスの影響を分析し,分類器の性能を評価することである。 我々は、クラス階層構造とドメインエキスパート選択を利用するいくつかの種選択戦略で実験を行う。 その結果,一握りのラベルインスタンスにおけるgpt-2の微調整は,一貫性のある分類改善と競合ベースラインを上回ることがわかった。 最後に、ドメインエキスパートの選択を通じてこのプロセスを導くことがさらなる改善につながる可能性を示し、生成モデルとアクティブラーニングを組み合わせるための興味深い研究の道を開く。

関連論文リスト

• Selecting Between BERT and GPT for Text Classification in Political Science Research [4.487884986288122]
  低データシナリオにおけるBERTモデルとGPTモデルの有効性を評価する。 パフォーマンス、使いやすさ、コストの観点から、これらのアプローチを比較して結論付けます。
  論文  参考訳（メタデータ） (2024-11-07T07:29:39Z)
• Language Models are Graph Learners [70.14063765424012]
  言語モデル(LM)は、グラフニューラルネットワーク(GNN)やグラフトランスフォーマー(GT)など、ドメイン固有のモデルの優位性に挑戦している。 本稿では,ノード分類タスクにおける最先端のGNNに匹敵する性能を実現するために,既製のLMを有効活用する手法を提案する。
  論文  参考訳（メタデータ） (2024-10-03T08:27:54Z)
• Evaluating the performance of state-of-the-art esg domain-specific pre-trained large language models in text classification against existing models and traditional machine learning techniques [0.0]
  本研究では,テキスト開示における環境・社会・ガバナンス情報(ESG)の分類について検討する。 本研究の目的は,E,S,G関連コンテンツをそれぞれ正確に識別・分類できるバイナリ分類モデルを開発し,評価することである。 この研究の動機は、投資決定におけるESGの考慮と企業説明責任の増大に起因している。
  論文  参考訳（メタデータ） (2024-09-30T20:08:32Z)
• G-DIG: Towards Gradient-based Diverse and High-quality Instruction Data Selection for Machine Translation [21.506844286376275]
  本稿では,機械翻訳のための高品質かつ多様な命令微調整データを自動的に選択する,勾配に基づく新しい手法を提案する。 私たちの重要なイノベーションは、個々のトレーニング例がトレーニング中にモデルにどのように影響するかを分析することです。
  論文  参考訳（メタデータ） (2024-05-21T16:38:13Z)
• Enriched BERT Embeddings for Scholarly Publication Classification [0.13654846342364302]
  NSLP 2024 FoRC Task Iは、競争として組織されたこの課題に対処する。 目的は、ある論文に対する研究分野の分類法であるOpen Research Knowledge Graph (ORKG) から、123の事前定義されたクラスのうちの1つを予測することができる分類器を開発することである。
  論文  参考訳（メタデータ） (2024-05-07T09:05:20Z)
• Text generation for dataset augmentation in security classification tasks [55.70844429868403]
  本研究では、複数のセキュリティ関連テキスト分類タスクにおいて、このデータギャップを埋めるための自然言語テキストジェネレータの適用性を評価する。 我々は,GPT-3データ拡張戦略において,既知の正のクラスサンプルに厳しい制約がある状況において,大きなメリットを見出した。
  論文  参考訳（メタデータ） (2023-10-22T22:25:14Z)
• Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
  マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。 ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。 マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
  論文  参考訳（メタデータ） (2020-12-29T23:43:16Z)
• DAGA: Data Augmentation with a Generation Approach for Low-resource Tagging Tasks [88.62288327934499]
  線形化ラベル付き文に基づいて訓練された言語モデルを用いた新しい拡張手法を提案する。 本手法は, 教師付き設定と半教師付き設定の両方に適用可能である。
  論文  参考訳（メタデータ） (2020-11-03T07:49:15Z)
• Generative Data Augmentation for Commonsense Reasoning [75.26876609249197]
  G-DAUGCは、低リソース環境でより正確で堅牢な学習を実現することを目的とした、新しい生成データ拡張手法である。 G-DAUGCは、バックトランスレーションに基づく既存のデータ拡張手法を一貫して上回っている。 分析の結果,G-DAUGCは多種多様な流線型学習例を産出し,その選択と学習アプローチが性能向上に重要であることが示された。
  論文  参考訳（メタデータ） (2020-04-24T06:12:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。