論文の概要: Synthetic Data Generation with Large Language Models for Text
Classification: Potential and Limitations
- arxiv url: http://arxiv.org/abs/2310.07849v2
- Date: Fri, 13 Oct 2023 01:31:59 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-16 16:36:22.866362
- Title: Synthetic Data Generation with Large Language Models for Text
Classification: Potential and Limitations
- Title(参考訳): テキスト分類のための大規模言語モデルを用いた合成データ生成:可能性と限界
- Authors: Zhuoyan Li, Hangxiao Zhu, Zhuoran Lu, Ming Yin
- Abstract要約: 本研究では,合成データに基づいて学習したモデルの性能が,分類の主観性によってどう変化するかを検討する。
その結果,主観性は,タスクレベルとインスタンスレベルの両方において,合成データに基づいて訓練されたモデルの性能と負の相関関係があることが示唆された。
- 参考スコア(独自算出の注目度): 21.583825474908334
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The collection and curation of high-quality training data is crucial for
developing text classification models with superior performance, but it is
often associated with significant costs and time investment. Researchers have
recently explored using large language models (LLMs) to generate synthetic
datasets as an alternative approach. However, the effectiveness of the
LLM-generated synthetic data in supporting model training is inconsistent
across different classification tasks. To better understand factors that
moderate the effectiveness of the LLM-generated synthetic data, in this study,
we look into how the performance of models trained on these synthetic data may
vary with the subjectivity of classification. Our results indicate that
subjectivity, at both the task level and instance level, is negatively
associated with the performance of the model trained on synthetic data. We
conclude by discussing the implications of our work on the potential and
limitations of leveraging LLM for synthetic data generation.
- Abstract(参考訳): 高品質なトレーニングデータの収集とキュレーションは、優れたパフォーマンスを持つテキスト分類モデルを開発する上で重要であるが、しばしばかなりのコストと時間投資に関係している。
研究者は最近、代替アプローチとして大規模な言語モデル(LLM)を使用して合成データセットを生成する方法を模索している。
しかし, モデル学習支援におけるLLM生成合成データの有効性は, 異なる分類課題間で不一致である。
本研究は,LLM合成データの有効性を適度に評価する要因を理解するため,これらの合成データに基づいてトレーニングされたモデルの性能が,分類の主観性とどう異なるかを検討する。
その結果,主観性は,タスクレベルとインスタンスレベルの両方において,合成データに基づくモデルの性能と負の相関関係があることが示唆された。
我々は、合成データ生成にLLMを活用する可能性と限界について、我々の研究の意義について論じる。
関連論文リスト
- Group-wise Prompting for Synthetic Tabular Data Generation using Large Language Models [39.347666307218006]
本研究では,合成データを生成するために,Large Language Models (LLMs) を用いた簡易かつ効果的な手法を提案する。
本稿では,LLMのテキスト内学習機能を活用した,CSV形式のグループワイドプロンプト手法を提案する。
提案したランダムな単語置換戦略は,単調なカテゴリー値の扱いを大幅に改善する。
論文 参考訳(メタデータ) (2024-04-15T17:49:16Z) - Best Practices and Lessons Learned on Synthetic Data for Language Models [83.63271573197026]
AIモデルの成功は、大規模で多様な、高品質なデータセットの可用性に依存している。
合成データは、現実世界のパターンを模倣する人工データを生成することによって、有望なソリューションとして現れてきた。
論文 参考訳(メタデータ) (2024-04-11T06:34:17Z) - Derm-T2IM: Harnessing Synthetic Skin Lesion Data via Stable Diffusion
Models for Enhanced Skin Disease Classification using ViT and CNN [1.0499611180329804]
我々は、最近の数発学習の成功を拡大して、拡張されたデータ変換技術を統合することを目指している。
最先端機械学習モデルのトレーニングパイプラインに新たに生成された合成データを組み込むことによる影響について検討する。
論文 参考訳(メタデータ) (2024-01-10T13:46:03Z) - Reliability in Semantic Segmentation: Can We Use Synthetic Data? [52.5766244206855]
本稿では,セマンティックセグメンテーションにおける信頼性を評価するために,データの自動合成を行う最先端生成モデルに挑戦する。
安定拡散を微調整することにより、OODドメインやOODオブジェクトに塗布された合成データのゼロショット生成を行う。
我々は,合成データの性能と実OODデータの性能との間に高い相関関係を示し,妥当性を示す。
論文 参考訳(メタデータ) (2023-12-14T18:56:07Z) - TarGEN: Targeted Data Generation with Large Language Models [54.1093098278564]
TarGENは、高品質な合成データセットを生成するための、多段階のプロンプト戦略である。
我々は,LLMが不正確なラベル付きインスタンスを修正できるようにする自己補正法により,TarGENを増強する。
合成データセットを元のデータセットと比較した包括的な分析により、データセットの複雑さと多様性の類似または高いレベルが明らかになる。
論文 参考訳(メタデータ) (2023-10-27T03:32:17Z) - Reimagining Synthetic Tabular Data Generation through Data-Centric AI: A
Comprehensive Benchmark [56.8042116967334]
合成データは、機械学習モデルのトレーニングの代替となる。
合成データが現実世界データの複雑なニュアンスを反映することを保証することは、難しい作業です。
本稿では,データ中心型AI技術の統合による合成データ生成プロセスのガイドの可能性について検討する。
論文 参考訳(メタデータ) (2023-10-25T20:32:02Z) - Let's Synthesize Step by Step: Iterative Dataset Synthesis with Large
Language Models by Extrapolating Errors from Small Models [69.76066070227452]
※データ合成*はラベル付きデータの少ない小さなモデルをトレーニングするための有望な方法です。
本稿では,この分散ギャップを縮めるデータ合成フレームワークであるStep* (**S3**) による合成ステップを提案する。
提案手法は,合成データセットと実データとのギャップを小さくすることで,小型モデルの性能を向上させる。
論文 参考訳(メタデータ) (2023-10-20T17:14:25Z) - Does Synthetic Data Make Large Language Models More Efficient? [0.0]
本稿では,NLPにおける合成データ生成のニュアンスについて考察する。
データ拡張の可能性や構造化品種の導入など、その利点を強調します。
テンプレートベースの合成データが現代の変圧器モデルの性能に与える影響を実証する。
論文 参考訳(メタデータ) (2023-10-11T19:16:09Z) - Synthetic data, real errors: how (not) to publish and use synthetic data [86.65594304109567]
生成過程が下流MLタスクにどのように影響するかを示す。
本稿では、生成プロセスモデルパラメータの後方分布を近似するために、Deep Generative Ensemble (DGE)を導入する。
論文 参考訳(メタデータ) (2023-05-16T07:30:29Z) - A Study on Improving Realism of Synthetic Data for Machine Learning [6.806559012493756]
この研究は、合成レンダリングを、ラベルのない実世界のデータで条件付けられた汎用データセット上でより現実的なスタイルに変換する合成から現実への生成モデルを訓練し、評価することを目的としている。
論文 参考訳(メタデータ) (2023-04-24T21:41:54Z) - Analyzing Effects of Fake Training Data on the Performance of Deep
Learning Systems [0.0]
ディープラーニングモデルは、クラス不均衡や分散シフトに対する堅牢性の欠如など、さまざまな問題に悩まされることが多い。
GAN(Generative Adversarial Networks)の出現により、高品質な合成データを生成することが可能になった。
本研究では, 各種合成データと原データとを混合した場合, アウト・オブ・ディストリビューションデータに対するモデルの堅牢性と, 予測の一般品質に影響を及ぼす影響を解析する。
論文 参考訳(メタデータ) (2023-03-02T13:53:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。