論文の概要: Effectiveness of Data Augmentation for Parameter Efficient Tuning with Limited Data

• arxiv url: http://arxiv.org/abs/2303.02577v2
• Date: Thu, 29 Jun 2023 06:13:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-30 16:42:34.421257
• Title: Effectiveness of Data Augmentation for Parameter Efficient Tuning with Limited Data
• Title（参考訳）: 限られたデータを用いたパラメータ効率調整におけるデータ拡張の有効性
• Authors: Stephen Obadinma, Hongyu Guo, Xiaodan Zhu
• Abstract要約: P-tuningモデルとLoRAモデルの性能向上にデータ拡張が有効であることを示す。 我々は,P-tuningが文の埋め込みを異なる種類の拡張データから分離するより限定的な能力を示すことを示す。
• 参考スコア（独自算出の注目度）: 30.869230680173825
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent work has demonstrated that using parameter efficient tuning techniques such as prefix tuning (or P-tuning) on pretrained language models can yield performance that is comparable or superior to fine-tuning while dramatically reducing trainable parameters. Nevertheless, the effectiveness of such methods under the context of data augmentation, a common strategy to improve learning under low data regimes, has not been fully explored. In this paper, we examine the effectiveness of several popular task-agnostic data augmentation techniques, i.e., EDA, Back Translation, and Mixup, when using two general parameter efficient tuning methods, P-tuning v2 and LoRA, under data scarcity. We show that data augmentation can be used to boost the performance of P-tuning and LoRA models, but the effectiveness of each technique varies and certain methods can lead to a notable degradation in performance, particularly when using larger models and on harder tasks. We further analyze the sentence representations of P-tuning compared to fine-tuning to help understand the above behaviour, and reveal how P-tuning generally presents a more limited ability to separate the sentence embeddings from different classes of augmented data. In addition, it displays poorer performance on heavily altered data. However, we demonstrate that by adding a simple contrastive loss function it can help mitigate such issues for prefix tuning, resulting in sizable improvements to augmented data performance.
• Abstract（参考訳）: 近年の研究では、事前訓練された言語モデル上でプレフィックスチューニング(P-tuning)のようなパラメータ効率のよいチューニング技術を用いることで、微調整に匹敵する性能が得られる一方で、トレーニング可能なパラメータを劇的に削減できることを示した。 それにもかかわらず、低データ体制下での学習を改善するための一般的な戦略であるデータ拡張の文脈におけるそのような手法の有効性は、十分に検討されていない。 本稿では,P-tuning v2 と LoRA の2つの一般的なパラメータ効率的なチューニング手法を用いた場合,EDA,Back Translation,Mixup などのタスク非依存データ拡張手法の有効性について検討する。 p-チューニングとloraモデルの性能向上にはデータ拡張が有効であるが,各手法の有効性は異なっており,特に大規模モデルや難易度の高いタスクでは,その性能が著しく低下する可能性がある。 さらに,P-tuningの文表現を微調整と比較して分析し,P-tuningが拡張データの異なるクラスから文埋め込みを分離するより限定的な能力を示すことを示す。 さらに、大きく変更されたデータに対して、パフォーマンスが劣る。 しかし、単純なコントラスト損失関数を追加することでプレフィックスチューニングの問題を軽減することができ、結果としてデータパフォーマンスが大幅に向上することを示す。

関連論文リスト

• DELIFT: Data Efficient Language model Instruction Fine Tuning [13.538140114667772]
  本稿では,3段階の微調整におけるデータ選択を体系的に最適化する新しいアルゴリズムであるDELIFTを紹介する。 さまざまなタスクやモデルスケールにわたる実験により、DELIFTはパフォーマンスを損なうことなく、微調整データサイズを最大70%削減できることが示された。
  論文  参考訳（メタデータ） (2024-11-07T04:38:29Z)
• Visual Fourier Prompt Tuning [63.66866445034855]
  本稿では,大規模なトランスフォーマーモデルに適用するための汎用的で効果的な方法として,Visual Fourier Prompt Tuning (VFPT)法を提案する。 提案手法では,高速フーリエ変換を即時埋め込みに取り入れ,空間領域情報と周波数領域情報の両方を調和的に検討する。 提案手法は,2つのベンチマークにおいて,現状のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-11-02T18:18:35Z)
• Data Augmentation for Traffic Classification [54.92823760790628]
  Data Augmentation (DA) はコンピュータビジョン(CV)と自然言語処理(NLP)に広く採用されている技術である。 DAはネットワークのコンテキスト、特にトラフィック分類(TC)タスクにおいて、牽引力を得るのに苦労しています。
  論文  参考訳（メタデータ） (2024-01-19T15:25:09Z)
• Efficient Grammatical Error Correction Via Multi-Task Training and Optimized Training Schedule [55.08778142798106]
  原文と修正文のアライメントを利用する補助タスクを提案する。 我々は,各タスクをシーケンス・ツー・シーケンス問題として定式化し,マルチタスク・トレーニングを行う。 トレーニングに使用されるデータセットの順序や、データセット内の個々のインスタンスでさえ、最終的なパフォーマンスに重要な影響を与える可能性があることが分かりました。
  論文  参考訳（メタデータ） (2023-11-20T14:50:12Z)
• SLoRA: Federated Parameter Efficient Fine-Tuning of Language Models [28.764782216513037]
  FL(Federated Learning)は、FLエッジクライアントの分散データとプライベートデータの恩恵を受けることができる。 異種データシナリオにおけるLoRAの重要な制約を克服するSLoRAという手法を提案する。 実験の結果,SLoRAは完全微調整に匹敵する性能を示した。
  論文  参考訳（メタデータ） (2023-08-12T10:33:57Z)
• E^2VPT: An Effective and Efficient Approach for Visual Prompt Tuning [55.50908600818483]
  新しいタスクのための微調整された大規模な事前学習型ビジョンモデルは、パラメーター集約化が進んでいる。 本稿では,大規模なトランスフォーマーモデル適応のための効果的かつ効率的なビジュアルプロンプトチューニング(E2VPT)手法を提案する。 提案手法は2つのベンチマークにおいて,最先端のベースラインを上回っている。
  論文  参考訳（メタデータ） (2023-07-25T19:03:21Z)
• An Empirical Analysis of Parameter-Efficient Methods for Debiasing Pre-Trained Language Models [55.14405248920852]
  各種言語モデルとバイアスタイプを用いたプレフィックスチューニング,プロンプトチューニング,アダプタチューニングによる実験を行い,その性能評価を行った。 パラメータ効率のよい手法は、適応調整が常に最も効果的であるジェンダーバイアスを軽減するのに有効であることがわかった。 また、早急なチューニングは、BERTよりもGPT-2に適しており、人種的・宗教的偏見に関しては、人種的・宗教的偏見が低いことが判明した。
  論文  参考訳（メタデータ） (2023-06-06T23:56:18Z)
• Data Augmentation Strategies for Improving Sequential Recommender Systems [7.986899327513767]
  逐次リコメンデータシステムは近年,深層学習(DL)に基づく手法の活用により,大幅な性能向上を実現している。 本稿では,データ拡張戦略のセットを提案する。これらすべては,元の項目列を直接汚職の方法で変換するものである。 最新のDLベースのモデルの実験では、データ拡張の適用がモデルをより一般化するのに役立ちます。
  論文  参考訳（メタデータ） (2022-03-26T09:58:14Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。