論文の概要: Is a prompt and a few samples all you need? Using GPT-4 for data
augmentation in low-resource classification tasks
- arxiv url: http://arxiv.org/abs/2304.13861v1
- Date: Wed, 26 Apr 2023 23:09:02 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-28 14:53:50.940834
- Title: Is a prompt and a few samples all you need? Using GPT-4 for data
augmentation in low-resource classification tasks
- Title（参考訳）: プロンプトと必要なサンプルはいくつかありますか?
低リソース分類タスクにおけるデータ拡張のためのGPT-4の利用
- Authors: Anders Giovanni M{\o}ller, Jacob Aarup Dalsgaard, Arianna Pera, Luca
Maria Aiello
- Abstract要約: 我々は、GPT-4とChatGPTを使用して、単純なプロンプトを介して合成データで小さなラベル付きデータセットを拡張する。
各タスクに対して,500テキストのベースサンプルをランダムに選択し,5,000の新しい合成サンプルを生成する。
GPT-4とChatGPTは全タスクでゼロショット性能が強いことが観察された。
- 参考スコア（独自算出の注目度）: 0.32116198597240836
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Obtaining and annotating data can be expensive and time-consuming, especially
in complex, low-resource domains. We use GPT-4 and ChatGPT to augment small
labeled datasets with synthetic data via simple prompts, in three different
classification tasks with varying complexity. For each task, we randomly select
a base sample of 500 texts to generate 5,000 new synthetic samples. We explore
two augmentation strategies: one that preserves original label distribution and
another that balances the distribution. Using a progressively larger training
sample size, we train and evaluate a 110M parameter multilingual language model
on the real and synthetic data separately. We also test GPT-4 and ChatGPT in a
zero-shot setting on the test sets. We observe that GPT-4 and ChatGPT have
strong zero-shot performance across all tasks. We find that data augmented with
synthetic samples yields a good downstream performance, and particularly aids
in low-resource settings, such as in identifying rare classes. Human-annotated
data exhibits a strong predictive power, overtaking synthetic data in two out
of the three tasks. This finding highlights the need for more complex prompts
for synthetic datasets to consistently surpass human-generated ones.
- Abstract（参考訳）: データの保持と注釈付けは費用がかかり、特に複雑な低リソースのドメインでは時間がかかる。
我々はGPT-4とChatGPTを使用して、複雑な3つの異なる分類タスクにおいて、単純なプロンプトを介して、小さなラベル付きデータセットを合成データで拡張する。
各タスクに対して,500テキストのベースサンプルをランダムに選択し,5,000の新しい合成サンプルを生成する。
我々は2つの拡張戦略について検討する。1つはオリジナルのラベル分布を保ち、もう1つは分布のバランスをとる。
学習サンプルサイズを段階的に拡大することで,実データと合成データから110mパラメータの多言語モデルを分離して学習し,評価する。
また,テストセット上のゼロショット設定でGPT-4とChatGPTをテストした。
gpt-4 と chatgpt はすべてのタスクにおいて強いゼロショット性能を持つ。
合成サンプルを付加したデータにより、下流のパフォーマンスが向上し、特に希少なクラスを識別するなどの低リソース設定に寄与することが判明した。
人間の注釈付きデータは強力な予測力を示し、3つのタスクのうち2つで合成データを上回ります。
この発見は、人工データセットが人間生成のデータセットを一貫して上回る、より複雑なプロンプトの必要性を強調している。
関連論文リスト
- SCAR: Efficient Instruction-Tuning for Large Language Models via Style Consistency-Aware Response Ranking [56.93151679231602]
本研究は、応答における2つの重要なスタイル的要素、すなわち言語形式と意味的前提を同定する。
これに触発されて、スタイル一貫性対応対応ランキング(SCAR)を導入する。
SCARは、そのレスポンススタイリスティックな一貫性に基づいて、トレーニングセット内の命令-レスポンスペアを優先順位付けする。
論文 参考訳（メタデータ） (2024-06-16T10:10:37Z) - Synthetic Data Generation with Large Language Models for Text
Classification: Potential and Limitations [21.583825474908334]
本研究では,合成データに基づいて学習したモデルの性能が,分類の主観性によってどう変化するかを検討する。
その結果,主観性は,タスクレベルとインスタンスレベルの両方において,合成データに基づいて訓練されたモデルの性能と負の相関関係があることが示唆された。
論文 参考訳（メタデータ） (2023-10-11T19:51:13Z) - Improving GANs with A Dynamic Discriminator [106.54552336711997]
我々は、オンザフライで調整可能な判別器は、そのような時間変化に適応できると論じる。
総合的な実証研究により、提案したトレーニング戦略がDynamicDと呼ばれ、追加のコストやトレーニング目標を発生させることなく、合成性能を向上させることが確認された。
論文 参考訳（メタデータ） (2022-09-20T17:57:33Z) - CHALLENGER: Training with Attribution Maps [63.736435657236505]
ニューラルネットワークのトレーニングに属性マップを利用すると、モデルの正規化が向上し、性能が向上することを示す。
特に、我々の汎用的なドメインに依存しないアプローチは、ビジョン、自然言語処理、時系列タスクにおける最先端の結果をもたらすことを示す。
論文 参考訳（メタデータ） (2022-05-30T13:34:46Z) - Guiding Generative Language Models for Data Augmentation in Few-Shot
Text Classification [59.698811329287174]
我々は、GPT-2を用いて、分類性能を向上させるために、人工訓練インスタンスを生成する。
実験の結果,少数のラベルインスタンスでGPT-2を微調整すると,一貫した分類精度が向上することがわかった。
論文 参考訳（メタデータ） (2021-11-17T12:10:03Z) - Revisiting LSTM Networks for Semi-Supervised Text Classification via
Mixed Objective Function [106.69643619725652]
我々は,単純なBiLSTMモデルであっても,クロスエントロピー損失でトレーニングした場合に,競争的な結果が得られるようなトレーニング戦略を開発する。
いくつかのベンチマークデータセット上で,テキスト分類タスクの最先端結果について報告する。
論文 参考訳（メタデータ） (2020-09-08T21:55:22Z) - LSTM and GPT-2 Synthetic Speech Transfer Learning for Speaker
Recognition to Overcome Data Scarcity [3.1428836133120543]
音声認識問題において、データの不足は、学習と分類のために大量のデータを提供する人間の意志によってしばしば問題となる。
本研究では、7人の被験者から5つのハーバードの文章を抽出し、そのMFCC属性について考察する。
文字レベルLSTMとOpenAIの注意に基づくGPT-2モデルを用いて、合成MFCCは、オブジェクト単位のデータから学習することによって生成される。
論文 参考訳（メタデータ） (2020-07-01T13:52:58Z) - Long-Tailed Recognition Using Class-Balanced Experts [128.73438243408393]
本稿では,多様な分類器の強度を組み合わせたクラスバランスの専門家のアンサンブルを提案する。
私たちのクラスバランスの専門家のアンサンブルは、最先端に近い結果に到達し、長い尾の認識のための2つのベンチマークで新たな最先端のアンサンブルを確立します。
論文 参考訳（メタデータ） (2020-04-07T20:57:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。