論文の概要: DAGAM: Data Augmentation with Generation And Modification
- arxiv url: http://arxiv.org/abs/2204.02633v1
- Date: Wed, 6 Apr 2022 07:20:45 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-07 22:43:02.973461
- Title: DAGAM: Data Augmentation with Generation And Modification
- Title(参考訳): DAGAM: 生成と修正によるデータ拡張
- Authors: Byeong-Cheol Jo, Tak-Sung Heo, Yeongjoon Park, Yongmin Yoo, Won Ik
Cho, Kyungsun Kim
- Abstract要約: 事前訓練された言語モデルでは、モデルのサイズが非常に大きいため、不適合がしばしば発生する。
本稿では,大規模言語モデルの不適合問題を軽減するために,3つのデータ拡張手法を提案する。
- 参考スコア(独自算出の注目度): 3.063234089519162
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Text classification is a representative downstream task of natural language
processing, and has exhibited excellent performance since the advent of
pre-trained language models based on Transformer architecture. However, in
pre-trained language models, under-fitting often occurs due to the size of the
model being very large compared to the amount of available training data. Along
with significant importance of data collection in modern machine learning
paradigm, studies have been actively conducted for natural language data
augmentation. In light of this, we introduce three data augmentation schemes
that help reduce underfitting problems of large-scale language models.
Primarily we use a generation model for data augmentation, which is defined as
Data Augmentation with Generation (DAG). Next, we augment data using text
modification techniques such as corruption and word order change (Data
Augmentation with Modification, DAM). Finally, we propose Data Augmentation
with Generation And Modification (DAGAM), which combines DAG and DAM techniques
for a boosted performance. We conduct data augmentation for six benchmark
datasets of text classification task, and verify the usefulness of DAG, DAM,
and DAGAM through BERT-based fine-tuning and evaluation, deriving better
results compared to the performance with original datasets.
- Abstract(参考訳): テキスト分類は自然言語処理の下流における代表的な課題であり,トランスフォーマーアーキテクチャに基づく事前学習言語モデルの出現以来,優れた性能を発揮している。
しかし、事前訓練された言語モデルでは、利用可能なトレーニングデータの量に比べてモデルのサイズが非常に大きいため、不適合な場合が多い。
現代の機械学習パラダイムにおけるデータ収集の重要性に加えて、自然言語データ拡張の研究も活発に行われている。
そこで本稿では,大規模言語モデルの不適合問題を軽減するために,データ拡張方式を3つ導入する。
主に、データ拡張(Data Augmentation with Generation:DAG)として定義されるデータ拡張に生成モデルを使用します。
次に、劣化や単語順変化などのテキスト修正技術を用いて、データ拡張を行う(Data Augmentation with Modification, DAM)。
最後に,DAGとDAMを併用したDAGAM(Data Augmentation with Generation And Modification)を提案する。
テキスト分類タスクの6つのベンチマークデータセットに対してデータ拡張を行い、BERTに基づく微調整と評価によりDAG, DAM, DAGAMの有用性を検証する。
関連論文リスト
- Unifying Structured Data as Graph for Data-to-Text Pre-Training [69.96195162337793]
Data-to-text (D2T) の生成は、構造化されたデータを自然言語テキストに変換することを目的としている。
データからテキストへの事前学習は、D2T生成の強化に強力であることが証明された。
構造強化トランスを設計し,D2T生成のための構造強化事前学習手法を提案する。
論文 参考訳(メタデータ) (2024-01-02T12:23:49Z) - LLM-Assisted Code Cleaning For Training Accurate Code Generators [53.087019724256606]
コードの品質を調査した結果,より構造化され,読みやすくなれば,コード生成性能が向上することがわかった。
私たちは、これらの原則を使って既存のプログラムを変換する、新しいデータクリーニングパイプラインを構築します。
提案手法を2つのアルゴリズムコード生成ベンチマークで評価した結果,微調整のCodeLLaMa-7Bでは,元のデータセットの微調整に比べて最大30%性能が向上していることがわかった。
論文 参考訳(メタデータ) (2023-11-25T02:45:50Z) - Investigating Masking-based Data Generation in Language Models [0.0]
BERTと類似したアーキテクチャを持つモデルの特徴は、マスキング言語モデリングの目的である。
データ拡張は、機械学習で広く使われているデータ駆動技術である。
最近の研究は、NLP下流タスクのための人工的な拡張データを生成するためにマスク付き言語モデルを利用している。
論文 参考訳(メタデータ) (2023-06-16T16:48:27Z) - Diversify Your Vision Datasets with Automatic Diffusion-Based
Augmentation [66.6546668043249]
ALIA(Automated Language-Guided Image Augmentation)は、大規模ビジョンと言語モデルを用いてデータセットのドメインの自然言語記述を自動的に生成する手法である。
データ整合性を維持するために、オリジナルのデータセットでトレーニングされたモデルは、最小限の画像編集とクラス関連情報を破損したデータをフィルタリングする。
そこで本研究では,ALIAが従来のデータ拡張や,詳細な分類作業におけるテキストから画像への変換を超越できることを示す。
論文 参考訳(メタデータ) (2023-05-25T17:43:05Z) - ReGen: Zero-Shot Text Classification via Training Data Generation with
Progressive Dense Retrieval [22.882301169283323]
一般ドメインの未ラベルコーパスからトレーニングデータを作成するための検索強化フレームワークを提案する。
9つのデータセットの実験では、REGENは最強のベースラインに対して4.3%のゲインを達成し、大きなNLGモデルを使用したベースラインと比較して約70%の時間を節約している。
論文 参考訳(メタデータ) (2023-05-18T04:30:09Z) - Efficient Training of Language Models to Fill in the Middle [17.118891860985123]
自動回帰言語モデルは、データセットに直接的な変換を適用した後、テキストを埋めることを学ぶことができる。
FIMモデルのトレーニングには、デフォルト設定の強い設定とベストプラクティスを規定するために、これらのアブリケーションを使用します。
私たちはAPIのベストプラクティスでトレーニングされた最高のインフィルモデルをリリースし、将来の研究を支援するためにインフィルベンチマークをリリースしました。
論文 参考訳(メタデータ) (2022-07-28T17:40:47Z) - N-Grammer: Augmenting Transformers with latent n-grams [35.39961549040385]
本稿では,テキストシーケンスの離散潜在表現から構築したn-gramでモデルを拡張することにより,統計言語モデリングの文献に触発されたトランスフォーマーアーキテクチャの簡易かつ効果的な変更を提案する。
我々は、C4データセットの言語モデリングにおけるN-GrammerモデルとSuperGLUEデータセットのテキスト分類を評価し、TransformerやPrimerといった強力なベースラインよりも優れていることを発見した。
論文 参考訳(メタデータ) (2022-07-13T17:18:02Z) - Curriculum-Based Self-Training Makes Better Few-Shot Learners for
Data-to-Text Generation [56.98033565736974]
テキスト生成の困難さによって決定される並べ替え順序でラベルのないデータを活用するために,カリキュラムベースの自己学習(CBST)を提案する。
提案手法は、微調整およびタスク適応型事前学習法より優れており、データ・テキスト・ジェネレーションのわずかな設定で最先端の性能を実現することができる。
論文 参考訳(メタデータ) (2022-06-06T16:11:58Z) - Improving Classifier Training Efficiency for Automatic Cyberbullying
Detection with Feature Density [58.64907136562178]
言語支援の異なる特徴前処理手法を用いて特徴密度(FD)の有効性を検討した。
データセットの複雑さを推定することで、必要な実験の数を削減できると仮定する。
データセットの言語的複雑さの違いにより、言語的に支援された単語前処理の有効性を議論することが可能になる。
論文 参考訳(メタデータ) (2021-11-02T15:48:28Z) - Improving Commonsense Causal Reasoning by Adversarial Training and Data
Augmentation [14.92157586545743]
本稿では,因果推論の領域において,モデルをより堅牢にするための多くの手法を提案する。
少数の追加生成データポイントがなくても、パフォーマンスと両方のデータセットの統計的に有意な改善を示します。
論文 参考訳(メタデータ) (2021-01-13T09:55:29Z) - SDA: Improving Text Generation with Self Data Augmentation [88.24594090105899]
自動データ拡張のための自己模倣学習フェーズを組み込むことにより,標準最大確率推定(MLE)パラダイムを改善することを提案する。
既存の文レベルの拡張戦略とは異なり,本手法はより汎用的で,任意のMLEベースの訓練手順に容易に適応できる。
論文 参考訳(メタデータ) (2021-01-02T01:15:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。