論文の概要: Bayesian Parameter-Efficient Fine-Tuning for Overcoming Catastrophic Forgetting

• arxiv url: http://arxiv.org/abs/2402.12220v2
• Date: Mon, 16 Sep 2024 19:31:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-18 22:31:03.672446
• Title: Bayesian Parameter-Efficient Fine-Tuning for Overcoming Catastrophic Forgetting
• Title（参考訳）: 壊滅的埋立を克服するためのベイズパラメーター効率の良い微調整
• Authors: Haolin Chen, Philip N. Garner,
• Abstract要約: 微調整性能を低下させることなく,我々の手法によって破滅的な忘れを克服できることを示す。 以上の結果から,Kronecker-factored approximation を用いることで,対角線よりも学習前の知識の保存性が向上することが示唆された。
• 参考スコア（独自算出の注目度）: 10.559392015748989
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We are motivated primarily by the adaptation of text-to-speech synthesis models; however we argue that more generic parameter-efficient fine-tuning (PEFT) is an appropriate framework to do such adaptation. Nevertheless, catastrophic forgetting remains an issue with PEFT, damaging the pre-trained model's inherent capabilities. We demonstrate that existing Bayesian learning techniques can be applied to PEFT to prevent catastrophic forgetting as long as the parameter shift of the fine-tuned layers can be calculated differentiably. In a principled series of experiments on language modeling and speech synthesis tasks, we utilize established Laplace approximations, including diagonal and Kronecker-factored approaches, to regularize PEFT with the low-rank adaptation (LoRA) and compare their performance in pre-training knowledge preservation. Our results demonstrate that catastrophic forgetting can be overcome by our methods without degrading the fine-tuning performance, and using the Kronecker-factored approximation produces a better preservation of the pre-training knowledge than the diagonal ones.
• Abstract（参考訳）: 我々は、主にテキスト音声合成モデルの適応を動機としているが、より汎用的なパラメータ効率の微調整(PEFT)は、そのような適応を行うのに適したフレームワークであると主張する。 それでも、PEFTでは破滅的な忘れ込みが問題であり、事前訓練されたモデル固有の能力を損なう。 本研究では,既存のベイズ学習手法をPEFTに適用することで,微調整層のパラメータシフトを微分的に計算できる限り,破滅的な忘れ込みを防止することができることを示す。 言語モデリングと音声合成タスクに関する一連の実験では、対角線とクロネッカーによるアプローチを含む確立されたラプラス近似を用いて、PEFTをローランク適応(LoRA)で正規化し、学習前の知識保存におけるそれらの性能を比較する。 以上の結果から, 微調整性能を低下させることなく, 破滅的な忘れ込みを克服できることが示され, クロネッカーによる近似を用いることで, 対角線よりも学習前の知識の保存性が向上することが示唆された。

関連論文リスト

• Fine Tuning without Catastrophic Forgetting via Selective Low Rank Adaptation [13.084333776247743]
  微調整は分散シフトに対する堅牢性を低下させ、アウト・オブ・ディストリビューション(OOD)のパフォーマンスに影響を及ぼす。 本稿では,低ランク適応(LoRA)ブロックを選択的に活性化するインジケータ関数を用いたパラメータ効率細調整(PEFT)手法を提案する。 有効微調整は5%のアクティブブロックで実現でき、効率が大幅に向上することを示した。
  論文  参考訳（メタデータ） (2025-01-26T03:22:22Z)
• Transformed Low-rank Adaptation via Tensor Decomposition and Its Applications to Text-to-image Models [32.68721299475496]
  Low-Rank Adaptation (LoRA)とその変種は、その有効性から大きな注目を集めている。 本稿では,2種類の適応,すなわち変換と残留適応を組み合わせた新しいPEFT法を提案する。 主観駆動・制御可能ジェネレーションにおける微調整安定拡散モデルの実験を行った。
  論文  参考訳（メタデータ） (2025-01-15T11:10:37Z)
• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• SaRA: High-Efficient Diffusion Model Fine-tuning with Progressive Sparse Low-Rank Adaptation [52.6922833948127]
  本研究では,事前学習した拡散モデルにおけるパラメータの重要性について検討する。 本稿では,これらの非効率パラメータをフル活用するための新しいモデル微調整法を提案する。 本手法は,下流アプリケーションにおける事前学習モデルの生成能力を向上する。
  論文  参考訳（メタデータ） (2024-09-10T16:44:47Z)
• Spectrum-Aware Parameter Efficient Fine-Tuning for Diffusion Models [73.88009808326387]
  生成モデルのための新しいスペクトル対応適応フレームワークを提案する。 本手法は,事前学習した重みの特異値とその基底ベクトルを調節する。 本稿では,計算効率と表現能力のバランスをとるスペクトルオーソ分解適応(SODA)を提案する。
  論文  参考訳（メタデータ） (2024-05-31T17:43:35Z)
• SPAFIT: Stratified Progressive Adaptation Fine-tuning for Pre-trained Large Language Models [1.2263658159556594]
  フル微調整は、Transformerベースのトレーニング済みの大規模言語モデルを特定の下流タスクに適応するための一般的なアプローチである。 本研究では,多種多様な言語知識の局所化に基づくSPAFIT(Stratified Progressive Adaptation Fine-tuning)を提案する。 GLUEベンチマークの9つのタスクを用いて実験を行い,提案手法が他のPEFT法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-04-30T21:07:32Z)
• Sparse is Enough in Fine-tuning Pre-trained Large Language Models [98.46493578509039]
  我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。 GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
  論文  参考訳（メタデータ） (2023-12-19T06:06:30Z)
• Boosting Inference Efficiency: Unleashing the Power of Parameter-Shared Pre-trained Language Models [109.06052781040916]
  本稿ではパラメータ共有言語モデルの推論効率を向上させる手法を提案する。 また、完全あるいは部分的に共有されたモデルにつながる単純な事前学習手法を提案する。 その結果,本手法が自己回帰的および自己符号化的PLMに与える影響が示された。
  論文  参考訳（メタデータ） (2023-10-19T15:13:58Z)
• Parameter-Efficient Learning for Text-to-Speech Accent Adaptation [58.356667204518985]
  本稿では、テキスト音声(TTS)のための低リソースアクセント適応を開発するためのパラメータ効率学習(PEL)を提案する。 冷凍前訓練TSモデルからの資源効率適応は、元のトレーニング可能なパラメータの1.2%から0.8%しか使用していない。 実験結果から,提案手法はパラメータ効率の高いデコーダの微調整により,自然度と競合できることがわかった。
  論文  参考訳（メタデータ） (2023-05-18T22:02:59Z)
• Rethinking Efficient Tuning Methods from a Unified Perspective [34.67645496324432]
  我々はPETLの設計パラダイムを再検討し、パラメータ効率の伝達学習のための統一的なフレームワークU-Tuningを導出する。 U-Tuningフレームワークは、既存の手法を同時に包含し、パラメータ効率の移行学習のための新しいアプローチを導出することができる。
  論文  参考訳（メタデータ） (2023-03-01T17:38:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。