論文の概要: Data Augmentation using LLMs: Data Perspectives, Learning Paradigms and
Challenges
- arxiv url: http://arxiv.org/abs/2403.02990v1
- Date: Tue, 5 Mar 2024 14:11:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-06 14:42:12.607798
- Title: Data Augmentation using LLMs: Data Perspectives, Learning Paradigms and
Challenges
- Title(参考訳): LLMを用いたデータ拡張:データパースペクティブ、学習パラダイム、課題
- Authors: Bosheng Ding, Chengwei Qin, Ruochen Zhao, Tianze Luo, Xinze Li,
Guizhen Chen, Wenhan Xia, Junjie Hu, Anh Tuan Luu, Shafiq Joty
- Abstract要約: データ拡張(DA)は、モデルパフォーマンスを向上させるための重要なテクニックとして現れている。
本稿では,大規模言語モデル(LLM)がDAに与える影響について検討する。
- 参考スコア(独自算出の注目度): 49.039080454730566
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the rapidly evolving field of machine learning (ML), data augmentation
(DA) has emerged as a pivotal technique for enhancing model performance by
diversifying training examples without the need for additional data collection.
This survey explores the transformative impact of Large Language Models (LLMs)
on DA, particularly addressing the unique challenges and opportunities they
present in the context of natural language processing (NLP) and beyond. From a
data perspective and a learning perspective, we examine various strategies that
utilize Large Language Models for data augmentation, including a novel
exploration of learning paradigms where LLM-generated data is used for further
training. Additionally, this paper delineates the primary challenges faced in
this domain, ranging from controllable data augmentation to multi modal data
augmentation. This survey highlights the paradigm shift introduced by LLMs in
DA, aims to serve as a foundational guide for researchers and practitioners in
this field.
- Abstract(参考訳): 機械学習(ML)の急速に発展する分野では、データ収集を必要とせずにトレーニング例を多様化することにより、モデルパフォーマンスを向上させる重要な技術としてデータ拡張(DA)が登場している。
本調査では,大規模言語モデル(LLM)がDAに与える影響,特に自然言語処理(NLP)以降の文脈において,それらが抱える固有の課題と機会について検討する。
データの観点から,LLM生成データを用いた新たな学習パラダイムの探索など,大規模言語モデルをデータ拡張に活用するさまざまな戦略を検討する。
さらに,本論文では,制御可能なデータ拡張からマルチモーダルデータ拡張まで,この分野で直面する課題を概説する。
本調査は, DA における LLM のパラダイムシフトに注目し, この分野の研究者や実践者のための基礎的なガイドとして機能することを目的とする。
関連論文リスト
- The Truth is in There: Improving Reasoning in Language Models with
Layer-Selective Rank Reduction [22.659005954676598]
重み行列の高次成分を選択的に除去することにより,大規模言語モデルの性能を大幅に向上させることができることを示す。
LAER(Layer-Selective Rank reduction)と呼ばれるこの単純な介入は、トレーニングが完了した後、モデル上で行うことができる。
言語モデルとデータセットにまたがって、この発見の汎用性を実証する広範な実験を示す。
論文 参考訳(メタデータ) (2023-12-21T03:51:08Z) - Curated LLM: Synergy of LLMs and Data Curation for tabular augmentation
in ultra low-data regimes [62.94611066903098]
本稿では,Large Language Models (LLMs) の知識を低データ構造におけるデータ拡張に活用したCLLMを紹介する。
従来のジェネレータと比較して,低データ方式におけるCLLMの優れた性能を示す。
論文 参考訳(メタデータ) (2023-12-19T12:34:46Z) - Data Management For Large Language Models: A Survey [66.59562797566163]
大規模言語モデル(LLM)の訓練におけるデータの役割
本調査は,LLMの事前学習および教師付き微調整段階におけるデータ管理の現状を概観する。
論文 参考訳(メタデータ) (2023-12-04T07:42:16Z) - Large Language Models Meet Computer Vision: A Brief Survey [0.0]
大規模言語モデル(LLM)とコンピュータビジョン(CV)は研究の重要な領域として現れ、人工知能(AI)分野において大きな進歩を遂げている。
この調査論文は、視覚変換器(ViT)とLLMに革命をもたらす可能性を強調しながら、トランスフォーマーの領域における最新の進歩を論じている。
調査は、この分野のオープンな方向性を強調し、将来の研究開発の場を示唆することで締めくくられる。
論文 参考訳(メタデータ) (2023-11-28T10:39:19Z) - How to Bridge the Gap between Modalities: A Comprehensive Survey on
Multimodal Large Language Model [12.890344377484759]
本稿では,MLLM(Multimodal Large Language Models)について概説する。
MLLMはGPT-4のような大規模言語モデル(LLM)を統合し、テキストやビジョンなどのマルチモーダルデータを処理する。
適切なモダリティアライメント法を選択することは重要である。
論文 参考訳(メタデータ) (2023-11-10T09:51:24Z) - Large Language Models as Data Preprocessors [10.914067455923847]
OpenAIのGPTシリーズとMetaのLLaMAに代表されるLarge Language Models (LLMs)は、人工知能において大きな進歩を遂げている。
この研究は、LLMの応用を拡大し、データ前処理におけるその可能性を探る。
我々は,最先端のプロンプト技術を統合したデータ前処理のためのLLMベースのフレームワークを提案する。
論文 参考訳(メタデータ) (2023-08-30T23:28:43Z) - To Repeat or Not To Repeat: Insights from Scaling LLM under Token-Crisis [50.31589712761807]
大規模言語モデル(LLM)は、事前トレーニング中にトークンに悩まされていることで知られており、Web上の高品質なテキストデータは、LSMのスケーリング制限に近づいている。
本研究では,事前学習データの再学習の結果について検討し,モデルが過度に適合する可能性が示唆された。
第2に, マルチエポック劣化の原因となる要因について検討し, データセットのサイズ, モデルパラメータ, トレーニング目標など, 重要な要因について検討した。
論文 参考訳(メタデータ) (2023-05-22T17:02:15Z) - Improving Small Language Models on PubMedQA via Generative Data
Augmentation [4.96649519549027]
大規模言語モデル (LLM) は自然言語処理の分野で顕著な進歩を遂げている。
小型言語モデル(SLM)はその効率で知られているが、限られた能力と訓練データに悩まされることが多い。
医療領域におけるSLMの改善を目的とした,LLMに基づく生成データ拡張を用いた新しい手法を提案する。
論文 参考訳(メタデータ) (2023-05-12T23:49:23Z) - Scaling Vision-Language Models with Sparse Mixture of Experts [128.0882767889029]
提案手法は, 等価計算コストの高密度モデルに対して, 様々なベンチマークにおいて, 最先端性能を実現することができることを示す。
我々の研究は、MoEモデルのトレーニングの安定化、モデル解釈可能性に対するMoEの影響の理解、ビジョン言語モデルをスケールする際の計算性能間のトレードオフのバランスに関する貴重な洞察を提供する。
論文 参考訳(メタデータ) (2023-03-13T16:00:31Z) - Large Language Models Are Latent Variable Models: Explaining and Finding
Good Demonstrations for In-Context Learning [104.58874584354787]
近年,事前学習型大規模言語モデル (LLM) は,インコンテキスト学習(in-context learning)として知られる推論時少数ショット学習能力を実現する上で,顕著な効率性を示している。
本研究では,現実のLLMを潜在変数モデルとみなし,ベイズレンズによる文脈内学習現象を考察することを目的とする。
論文 参考訳(メタデータ) (2023-01-27T18:59:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。