論文の概要: A Survey on Data Augmentation in Large Model Era
- arxiv url: http://arxiv.org/abs/2401.15422v1
- Date: Sat, 27 Jan 2024 14:19:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-30 18:27:55.377581
- Title: A Survey on Data Augmentation in Large Model Era
- Title（参考訳）: 大規模モデル時代のデータ拡張に関する調査
- Authors: Yue Zhou, Chenlu Guo, Xu Wang, Yi Chang, and Yuan Wu
- Abstract要約: 大きな言語と拡散モデルを含む大きなモデルは、人間レベルの知能を近似する上で非常に有望である。
これらのモデルへの継続的な更新により、既存の高品質なデータの貯水池はすぐに枯渇する可能性がある。
本稿では,大規模モデル駆動型データ拡張手法について概観する。
- 参考スコア（独自算出の注目度）: 16.05117556207015
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large models, encompassing large language and diffusion models, have shown
exceptional promise in approximating human-level intelligence, garnering
significant interest from both academic and industrial spheres. However, the
training of these large models necessitates vast quantities of high-quality
data, and with continuous updates to these models, the existing reservoir of
high-quality data may soon be depleted. This challenge has catalyzed a surge in
research focused on data augmentation methods. Leveraging large models, these
data augmentation techniques have outperformed traditional approaches. This
paper offers an exhaustive review of large model-driven data augmentation
methods, adopting a comprehensive perspective. We begin by establishing a
classification of relevant studies into three main categories: image
augmentation, text augmentation, and paired data augmentation. Following this,
we delve into various data post-processing techniques pertinent to large
model-based data augmentation. Our discussion then expands to encompass the
array of applications for these data augmentation methods within natural
language processing, computer vision, and audio signal processing. We proceed
to evaluate the successes and limitations of large model-based data
augmentation across different scenarios. Concluding our review, we highlight
prospective challenges and avenues for future exploration in the field of data
augmentation. Our objective is to furnish researchers with critical insights,
ultimately contributing to the advancement of more sophisticated large models.
We consistently maintain the related open-source materials at:
https://github.com/MLGroup-JLU/LLM-data-aug-survey.
- Abstract（参考訳）: 大きな言語と拡散モデルを含む大きなモデルは、人間のレベルの知性を近似する上で非常に有望であり、学術分野と産業分野の両方から大きな関心を集めている。
しかし、これらの大規模モデルのトレーニングは大量の高品質なデータを必要とし、これらのモデルへの継続的な更新により、既存の高品質なデータの貯蓄はすぐに枯渇する可能性がある。
この課題は、データ拡張手法に焦点をあてた研究の急増を引き起こした。
大規模モデルを活用することで、これらのデータ拡張技術は従来のアプローチを上回っている。
本稿では,大規模モデル駆動型データ拡張手法について,包括的視点で概観する。
まず,関連研究の分類を,画像強調,テキスト増補,ペア化データ増補の3つのカテゴリに分類することから始める。
続いて,大規模モデルに基づくデータ拡張に関連する各種データ後処理手法について検討した。
この議論は、自然言語処理、コンピュータビジョン、音声信号処理におけるこれらのデータ拡張手法のアプリケーション群を包含する範囲に拡大する。
さまざまなシナリオにわたる大規模モデルベースのデータ拡張の成功と限界を評価する。
レビューをまとめると、データ拡張分野における将来の探索に向けた今後の課題と道筋を強調する。
我々の目標は、研究者に重要な洞察を与え、最終的にはより洗練された大型モデルの進歩に寄与することである。
https://github.com/MLGroup-JLU/LLM-data-aug-survey。
関連論文リスト
- Training Data for Large Language Model [2.1178416840822027]
ChatGPTは、事前学習コーパスのパラメータとスケールの点で、以前のモデルを上回った。
ChatGPTは、大量の高品質な人間注釈付きデータを微調整することで、革命的なパフォーマンス向上を実現した。
本稿では,大規模言語モデルの事前学習と微調整の現状を概説する。
論文 参考訳（メタデータ） (2024-11-12T11:09:58Z) - A Simple Background Augmentation Method for Object Detection with Diffusion Model [53.32935683257045]
コンピュータビジョンでは、データの多様性の欠如がモデル性能を損なうことはよく知られている。
本稿では, 生成モデルの進歩を生かして, 単純かつ効果的なデータ拡張手法を提案する。
背景強化は、特にモデルの堅牢性と一般化能力を大幅に改善する。
論文 参考訳（メタデータ） (2024-08-01T07:40:00Z) - A Comprehensive Survey on Data Augmentation [55.355273602421384]
データ拡張(Data augmentation)は、既存のデータサンプルを操作することによって高品質な人工データを生成する技術である。
既存の文献調査では、特定のモダリティデータにのみ焦点が当てられている。
本稿では,異なる共通データモダリティのためのデータ拡張技術を含む,より啓蒙的な分類法を提案する。
論文 参考訳（メタデータ） (2024-05-15T11:58:08Z) - Data Augmentation in Human-Centric Vision [54.97327269866757]
本研究では,人間中心型視覚タスクにおけるデータ拡張手法の包括的分析を行う。
それは、人物のReID、人間のパーシング、人間のポーズ推定、歩行者検出など、幅広い研究領域に展開している。
我々の研究は、データ拡張手法をデータ生成とデータ摂動の2つの主なタイプに分類する。
論文 参考訳（メタデータ） (2024-03-13T16:05:18Z) - Data-efficient Large Vision Models through Sequential Autoregression [58.26179273091461]
限られたデータセットに基づいて,効率的な自己回帰に基づく視覚モデルを構築する。
このモデルは,高レベル・低レベルのセマンティック理解の両方にまたがる視覚的タスクにおいて,その習熟度をいかに達成するかを実証する。
我々の経験的評価は、モデルが様々なタスクに適応する際の機敏さを強調し、パラメータフットプリントの大幅な削減を図った。
論文 参考訳（メタデータ） (2024-02-07T13:41:53Z) - Comprehensive Exploration of Synthetic Data Generation: A Survey [4.485401662312072]
この研究は、過去10年間で417のSynthetic Data Generationモデルを調査します。
その結果、ニューラルネットワークベースのアプローチが普及し、モデルのパフォーマンスと複雑性が向上したことが明らかになった。
コンピュータビジョンが支配的であり、GANが主要な生成モデルであり、拡散モデル、トランスフォーマー、RNNが競合する。
論文 参考訳（メタデータ） (2024-01-04T20:23:51Z) - Data-Centric Long-Tailed Image Recognition [49.90107582624604]
ロングテールモデルは高品質なデータに対する強い需要を示している。
データ中心のアプローチは、モデルパフォーマンスを改善するために、データの量と品質の両方を強化することを目的としています。
現在、情報強化の有効性を説明するメカニズムに関する研究が不足している。
論文 参考訳（メタデータ） (2023-11-03T06:34:37Z) - Revisiting Data Augmentation in Model Compression: An Empirical and
Comprehensive Study [17.970216875558638]
本稿では,モデル圧縮におけるデータ拡張の利用について再検討する。
異なるサイズのモデルでは、大きさの異なるデータ拡張が好ましいことを示す。
事前訓練された大規模モデルの予測は、データ拡張の難しさを測定するために利用することができる。
論文 参考訳（メタデータ） (2023-05-22T17:05:06Z) - Phased Data Augmentation for Training a Likelihood-Based Generative Model with Limited Data [0.0]
生成モデルは現実的なイメージの作成に優れていますが、トレーニングのための広範なデータセットに依存しているため、大きな課題があります。
現在のデータ効率の手法はGANアーキテクチャに重点を置いており、他の生成モデルの訓練にギャップを残している。
位相データ拡張(phased data augmentation)は、このギャップに対処する新しい手法であり、データ分散に固有の変更を加えることなく、限られたデータシナリオでのトレーニングを最適化する。
論文 参考訳（メタデータ） (2023-05-22T03:38:59Z) - Advanced Data Augmentation Approaches: A Comprehensive Survey and Future
directions [57.30984060215482]
データ拡張の背景、レビューされたデータ拡張技術の新しい包括的分類法、および各技術の強さと弱点(可能ならば)を提供する。
また、画像分類、オブジェクト検出、セマンティックセグメンテーションなどの3つの一般的なコンピュータビジョンタスクに対して、データ拡張効果の総合的な結果を提供する。
論文 参考訳（メタデータ） (2023-01-07T11:37:32Z) - Exploring the Effects of Data Augmentation for Drivable Area
Segmentation [0.0]
既存の画像データセットを解析することで、データ拡張の利点を調べることに重点を置いている。
以上の結果から,既存技術(SOTA)モデルの性能とロバスト性は劇的に向上する可能性が示唆された。
論文 参考訳（メタデータ） (2022-08-06T03:39:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。