論文の概要: Effectiveness of Data Augmentation for Prefix Tuning with Limited Data

• arxiv url: http://arxiv.org/abs/2303.02577v1
• Date: Sun, 5 Mar 2023 04:12:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-07 18:52:52.010074
• Title: Effectiveness of Data Augmentation for Prefix Tuning with Limited Data
• Title（参考訳）: 限定データを用いたプレフィックスチューニングにおけるデータ拡張の有効性
• Authors: Stephen Obadinma, Hongyu Guo, Xiaodan Zhu
• Abstract要約: データ拡張はプレフィックスチューニングモデルの性能向上に有効であることを示す。 我々は,プレフィックスチューニングが文の埋め込みを異なる種類の拡張データから分離する限られた能力を示すことを示す実験を行う。
• 参考スコア（独自算出の注目度）: 30.869230680173825
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent work has demonstrated that tuning continuous prompts on large, frozen pretrained language models (i.e., prefix tuning or P-tuning) can yield performance that is comparable or superior to fine-tuning. Nevertheless, the effectiveness of such methods under the context of data augmentation, which has been considered a common strategy to improve learning under low data regimes, has not be studied. In this paper, we examine several popular task-agnostic data augmentation techniques, i.e., EDA, Back Translation, and Mixup, when using prefix tuning under data scarcity. We show that data augmentation can be used to boost the performance of prefix tuning models, but the effectiveness of each technique varies and certain methods can lead to a notable degradation in performance, particularly when using larger models and on harder tasks. To help understand the above behaviour, we run experiments which reveal how prefix tuning generally presents a limited ability to separate the sentence embeddings from different classes of augmented data, and displays poorer performance on heavily altered data in particular. We also demonstrate that by adding a simple contrastive loss we can help mitigate such issues for prefix tuning, resulting in an improvement to augmented data performance.
• Abstract（参考訳）: 最近の研究は、大規模で凍結した事前訓練された言語モデル(プレフィックスチューニングやPチューニング)で連続的なプロンプトをチューニングすることで、微調整に匹敵するあるいは優れたパフォーマンスが得られることを示した。 それにもかかわらず、低データ体制下での学習を改善するための共通戦略と考えられるデータ拡張の文脈におけるそのような手法の有効性は研究されていない。 本稿では,データ不足下でプレフィックスチューニングを行う場合,EDA,Back Translation,Mixupなどのタスク非依存データ拡張手法について検討する。 データ拡張はプレフィックスチューニングモデルの性能向上に有効であるが,各手法の有効性は変化しており,特に大規模モデルや複雑なタスクにおいて,特定の手法が顕著な性能低下を引き起こす可能性がある。 上記の動作を理解するために,プレフィックスチューニングが文の埋め込みを異なる種類の拡張データから分離する限られた能力を示すことを示す実験を行い,特に高度に変化したデータに対する性能の低下を示す。 また、単純な対照的な損失を加えることで、プレフィックスチューニングの問題を軽減することができ、結果としてデータ性能が向上することを示した。

関連論文リスト

• DELIFT: Data Efficient Language model Instruction Fine Tuning [13.538140114667772]
  本稿では,3段階の微調整におけるデータ選択を体系的に最適化する新しいアルゴリズムであるDELIFTを紹介する。 さまざまなタスクやモデルスケールにわたる実験により、DELIFTはパフォーマンスを損なうことなく、微調整データサイズを最大70%削減できることが示された。
  論文  参考訳（メタデータ） (2024-11-07T04:38:29Z)
• Visual Fourier Prompt Tuning [63.66866445034855]
  本稿では,大規模なトランスフォーマーモデルに適用するための汎用的で効果的な方法として,Visual Fourier Prompt Tuning (VFPT)法を提案する。 提案手法では,高速フーリエ変換を即時埋め込みに取り入れ,空間領域情報と周波数領域情報の両方を調和的に検討する。 提案手法は,2つのベンチマークにおいて,現状のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-11-02T18:18:35Z)
• Data Augmentation for Traffic Classification [54.92823760790628]
  Data Augmentation (DA) はコンピュータビジョン(CV)と自然言語処理(NLP)に広く採用されている技術である。 DAはネットワークのコンテキスト、特にトラフィック分類(TC)タスクにおいて、牽引力を得るのに苦労しています。
  論文  参考訳（メタデータ） (2024-01-19T15:25:09Z)
• Efficient Grammatical Error Correction Via Multi-Task Training and Optimized Training Schedule [55.08778142798106]
  原文と修正文のアライメントを利用する補助タスクを提案する。 我々は,各タスクをシーケンス・ツー・シーケンス問題として定式化し,マルチタスク・トレーニングを行う。 トレーニングに使用されるデータセットの順序や、データセット内の個々のインスタンスでさえ、最終的なパフォーマンスに重要な影響を与える可能性があることが分かりました。
  論文  参考訳（メタデータ） (2023-11-20T14:50:12Z)
• SLoRA: Federated Parameter Efficient Fine-Tuning of Language Models [28.764782216513037]
  FL(Federated Learning)は、FLエッジクライアントの分散データとプライベートデータの恩恵を受けることができる。 異種データシナリオにおけるLoRAの重要な制約を克服するSLoRAという手法を提案する。 実験の結果,SLoRAは完全微調整に匹敵する性能を示した。
  論文  参考訳（メタデータ） (2023-08-12T10:33:57Z)
• E^2VPT: An Effective and Efficient Approach for Visual Prompt Tuning [55.50908600818483]
  新しいタスクのための微調整された大規模な事前学習型ビジョンモデルは、パラメーター集約化が進んでいる。 本稿では,大規模なトランスフォーマーモデル適応のための効果的かつ効率的なビジュアルプロンプトチューニング(E2VPT)手法を提案する。 提案手法は2つのベンチマークにおいて,最先端のベースラインを上回っている。
  論文  参考訳（メタデータ） (2023-07-25T19:03:21Z)
• An Empirical Analysis of Parameter-Efficient Methods for Debiasing Pre-Trained Language Models [55.14405248920852]
  各種言語モデルとバイアスタイプを用いたプレフィックスチューニング,プロンプトチューニング,アダプタチューニングによる実験を行い,その性能評価を行った。 パラメータ効率のよい手法は、適応調整が常に最も効果的であるジェンダーバイアスを軽減するのに有効であることがわかった。 また、早急なチューニングは、BERTよりもGPT-2に適しており、人種的・宗教的偏見に関しては、人種的・宗教的偏見が低いことが判明した。
  論文  参考訳（メタデータ） (2023-06-06T23:56:18Z)
• Data Augmentation Strategies for Improving Sequential Recommender Systems [7.986899327513767]
  逐次リコメンデータシステムは近年,深層学習(DL)に基づく手法の活用により,大幅な性能向上を実現している。 本稿では,データ拡張戦略のセットを提案する。これらすべては,元の項目列を直接汚職の方法で変換するものである。 最新のDLベースのモデルの実験では、データ拡張の適用がモデルをより一般化するのに役立ちます。
  論文  参考訳（メタデータ） (2022-03-26T09:58:14Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。