論文の概要: Bayesian Parameter-Efficient Fine-Tuning for Overcoming Catastrophic
Forgetting
- arxiv url: http://arxiv.org/abs/2402.12220v1
- Date: Mon, 19 Feb 2024 15:26:19 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-20 15:59:59.662951
- Title: Bayesian Parameter-Efficient Fine-Tuning for Overcoming Catastrophic
Forgetting
- Title(参考訳): 破壊的忘れを克服するベイズパラメーター効率の良い微調整法
- Authors: Haolin Chen, Philip N. Garner
- Abstract要約: 既存のベイズ学習手法を応用して,破滅的な忘れ込みを防止できることが示唆された。
以上の結果から,微調整性能を低下させることなく,破滅的な忘れ込みを克服できることが示唆された。
- 参考スコア(独自算出の注目度): 12.474522847102207
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Although motivated by the adaptation of text-to-speech synthesis models, we
argue that more generic parameter-efficient fine-tuning (PEFT) is an
appropriate framework to do such adaptation. However, catastrophic forgetting
remains an issue with PEFT, damaging the pre-trained model's inherent
capabilities. We demonstrate that existing Bayesian learning techniques can be
applied to PEFT to prevent catastrophic forgetting as long as the parameter
shift of the fine-tuned layers can be calculated differentiably. In a
principled series of experiments on language modeling and speech synthesis
tasks, we utilize established Laplace approximations, including diagonal and
Kronecker factored approaches, to regularize PEFT with the low-rank adaptation
(LoRA) and compare their performance in pre-training knowledge preservation.
Our results demonstrate that catastrophic forgetting can be overcome by our
methods without degrading the fine-tuning performance, and using the Kronecker
factored approximations produces a better preservation of the pre-training
knowledge than the diagonal ones.
- Abstract(参考訳): テキスト音声合成モデルの適応に動機付けられるが、より汎用的なパラメータ効率の微調整(PEFT)は、このような適応を行うのに適したフレームワークである。
しかし、悲惨な忘れはPEFTの問題であり、事前訓練されたモデル固有の能力を損なう。
既設のベイズ学習手法をペフトに適用して,微調整層のパラメータシフトを微分的に計算できる限り,壊滅的な忘れを防止できることを実証する。
言語モデルと音声合成タスクに関する一連の実験において,lora (low-rank adapt) とpeft を正則化し,事前学習知識保存における性能を比較するために,ダイアゴナル法とクロネッカー因果法を含むラプラス近似を用いた。
以上の結果から,詳細なチューニング性能を損なうことなく破滅的な放棄を克服できることを示すとともに,クロネッカー因果近似を用いることにより,対角的知識よりも事前学習知識の保存性が向上した。
関連論文リスト
- Parameter Efficient Finetuning for Speech Emotion Recognition and Domain
Adaptation [13.774287532165019]
本稿では,音声感情認識(SER)のためのパラメータ係数ファインタニング(PEFT)について検討する。
様々なPEFT適応器は、離散的な感情カテゴリーの分類と次元的な感情特性の予測の両方のために体系的に研究されている。
行動感情データに基づいて訓練されたモデルに適応する2段階適応戦略を提案する。
論文 参考訳(メタデータ) (2024-02-19T00:21:07Z) - LoRETTA: Low-Rank Economic Tensor-Train Adaptation for
Ultra-Low-Parameter Fine-Tuning of Large Language Models [20.5908375260123]
モデル性能を維持しながら計算効率のよい微調整を実現するために,様々なパラメータ効率の微調整技術が提案されている。
テンソル-トレイン分解によりトレーニング可能なパラメータを大幅に削減するフレームワークであるLoRETTAを提案する。
LoRETTAは、LLaMA-2-7Bモデルで最大100倍のパラメータで、最も広く使われているPEFT法よりも同等または優れた性能を実現している。
論文 参考訳(メタデータ) (2024-02-18T01:20:00Z) - Boosting Inference Efficiency: Unleashing the Power of Parameter-Shared
Pre-trained Language Models [109.06052781040916]
本稿ではパラメータ共有言語モデルの推論効率を向上させる手法を提案する。
また、完全あるいは部分的に共有されたモデルにつながる単純な事前学習手法を提案する。
その結果,本手法が自己回帰的および自己符号化的PLMに与える影響が示された。
論文 参考訳(メタデータ) (2023-10-19T15:13:58Z) - Sensi-BERT: Towards Sensitivity Driven Fine-Tuning for
Parameter-Efficient BERT [6.029590006321152]
本稿では、下流タスクのための感度駆動効率の良いBERTモデルの微調整であるSensi-BERTを提案する。
実験の結果,MNLI,QQP,QNLI,SST-2,SQuADなどの下流タスクに対するSensi-BERTの有効性が示された。
論文 参考訳(メタデータ) (2023-07-14T17:24:15Z) - An Empirical Analysis of Parameter-Efficient Methods for Debiasing
Pre-Trained Language Models [55.14405248920852]
各種言語モデルとバイアスタイプを用いたプレフィックスチューニング,プロンプトチューニング,アダプタチューニングによる実験を行い,その性能評価を行った。
パラメータ効率のよい手法は、適応調整が常に最も効果的であるジェンダーバイアスを軽減するのに有効であることがわかった。
また、早急なチューニングは、BERTよりもGPT-2に適しており、人種的・宗教的偏見に関しては、人種的・宗教的偏見が低いことが判明した。
論文 参考訳(メタデータ) (2023-06-06T23:56:18Z) - Parameter-Efficient Learning for Text-to-Speech Accent Adaptation [58.356667204518985]
本稿では、テキスト音声(TTS)のための低リソースアクセント適応を開発するためのパラメータ効率学習(PEL)を提案する。
冷凍前訓練TSモデルからの資源効率適応は、元のトレーニング可能なパラメータの1.2%から0.8%しか使用していない。
実験結果から,提案手法はパラメータ効率の高いデコーダの微調整により,自然度と競合できることがわかった。
論文 参考訳(メタデータ) (2023-05-18T22:02:59Z) - Strong Baselines for Parameter Efficient Few-Shot Fine-tuning [50.83426196335385]
FSC (Few-shot Classification) は、事前訓練(メタトレーニング)フェーズの後にクラス毎にいくつかの例を与えられた新しいクラスを学習する。
近年の研究では、新しいテストクラスで事前訓練された視覚変換器(ViT)を微調整することが、FSCにとって強力なアプローチであることが示されている。
しかし、微調整のViTは、時間、計算、ストレージに費用がかかる。
これにより、Transformerのパラメータのごく一部だけを微調整するPEFT法が考案された。
論文 参考訳(メタデータ) (2023-04-04T16:14:39Z) - Rethinking Efficient Tuning Methods from a Unified Perspective [34.67645496324432]
我々はPETLの設計パラダイムを再検討し、パラメータ効率の伝達学習のための統一的なフレームワークU-Tuningを導出する。
U-Tuningフレームワークは、既存の手法を同時に包含し、パラメータ効率の移行学習のための新しいアプローチを導出することができる。
論文 参考訳(メタデータ) (2023-03-01T17:38:03Z) - Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。
本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文 参考訳(メタデータ) (2020-06-10T08:22:41Z) - Learnable Bernoulli Dropout for Bayesian Deep Learning [53.79615543862426]
Learnable Bernoulli Dropout (LBD) は、他のモデルパラメータと共に最適化されたパラメータとしてドロップアウト率を考慮する新しいモデルに依存しないドロップアウトスキームである。
LBDは画像分類とセマンティックセグメンテーションにおける精度と不確実性の推定を改善する。
論文 参考訳(メタデータ) (2020-02-12T18:57:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。