論文の概要: IncreLoRA: Incremental Parameter Allocation Method for
Parameter-Efficient Fine-tuning
- arxiv url: http://arxiv.org/abs/2308.12043v1
- Date: Wed, 23 Aug 2023 10:08:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-24 14:36:51.189776
- Title: IncreLoRA: Incremental Parameter Allocation Method for
Parameter-Efficient Fine-tuning
- Title（参考訳）: IncreLoRA:パラメータ効率の良い微調整のためのインクリメンタルパラメータ割り当て法
- Authors: Feiyu Zhang, Liangzhi Li, Junhao Chen, Zhouqiang Jiang, Bowen Wang,
Yiming Qian
- Abstract要約: IncreLoRAは、トレーニング中にトレーニング可能なパラメータを適応的に追加するインクリメンタルパラメータ割り当て手法である。
我々は,IncreLoRAの有効性を示すため,GLUEの広範な実験を行った。
- 参考スコア（独自算出の注目度）: 15.964205804768163
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the increasing size of pre-trained language models (PLMs), fine-tuning
all the parameters in the model is not efficient, especially when there are a
large number of downstream tasks, which incur significant training and storage
costs. Many parameter-efficient fine-tuning (PEFT) approaches have been
proposed, among which, Low-Rank Adaptation (LoRA) is a representative approach
that injects trainable rank decomposition matrices into every target module.
Yet LoRA ignores the importance of parameters in different modules. To address
this problem, many works have been proposed to prune the parameters of LoRA.
However, under limited training conditions, the upper bound of the rank of the
pruned parameter matrix is still affected by the preset values. We, therefore,
propose IncreLoRA, an incremental parameter allocation method that adaptively
adds trainable parameters during training based on the importance scores of
each module. This approach is different from the pruning method as it is not
limited by the initial number of training parameters, and each parameter matrix
has a higher rank upper bound for the same training overhead. We conduct
extensive experiments on GLUE to demonstrate the effectiveness of IncreLoRA.
The results show that our method owns higher parameter efficiency, especially
when under the low-resource settings where our method significantly outperforms
the baselines. Our code is publicly available.
- Abstract（参考訳）: 事前学習された言語モデル(plm)のサイズが大きくなるため、モデル内のすべてのパラメータを微調整することは効率的ではない。
パラメータ効率のよい微調整(PEFT)アプローチが多数提案されており、ローランド適応(LoRA)はトレーニング可能な階数分解行列を各対象モジュールに注入する代表的な手法である。
しかし、LoRAは異なるモジュールにおけるパラメータの重要性を無視している。
この問題に対処するために、LoRAのパラメータを推定する多くの研究が提案されている。
しかし、限られた訓練条件下では、刈り取られたパラメータ行列のランクの上限は、まだ予め設定された値に影響される。
そこで我々は,各モジュールの重要度スコアに基づいて,トレーニング中にトレーニング可能なパラメータを適応的に付加するインクリメンタルパラメータ割り当て手法であるIncreLoRAを提案する。
このアプローチは、初期トレーニングパラメータの数に制限されず、各パラメータ行列が同じトレーニングオーバーヘッドに対してより高いランクの上限を持つため、プルーニング法とは異なる。
我々は,IncreLoRAの有効性を示すため,GLUEの広範な実験を行った。
その結果,本手法がベースラインを著しく上回る低リソース環境下において,パラメータ効率が高いことがわかった。
私たちのコードは公開されています。
関連論文リスト
- LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
Low Rank Adaptation (LoRA) は、下流タスクのための大規模な事前学習モデルに効果的に適応する、PEFT (Efficient Fine Tuning) 手法として人気がある。
モデル更新に低階テンソルパラメトリゼーションを用いる新しい手法を提案する。
提案手法は,大規模言語モデルの微調整に有効であり,比較性能を維持しつつ,パラメータ数の大幅な削減を実現している。
論文 参考訳（メタデータ） (2024-10-05T06:59:50Z) - MoRA: High-Rank Updating for Parameter-Efficient Fine-Tuning [105.11844150736536]
低ランク適応は、大規模言語モデルのためのパラメータ効率の良い微調整法として人気がある。
トレーニング可能なパラメータ数を同じ数に保ちながら、高階更新を実現するために2乗行列を用いるMoRAと呼ばれる新しい手法を提案する。
本手法はメモリ集約型タスクではLoRAより優れ,他のタスクでは同等のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2024-05-20T15:48:32Z) - MELoRA: Mini-Ensemble Low-Rank Adapters for Parameter-Efficient Fine-Tuning [71.50432879573614]
低ランク適応 (LoRA) は、適応過程が本質的に低次元であるという考えに基づいている。
我々は、より高階を維持しながらトレーニング可能なパラメータを少なくするミニアンサンブルな低ランクアダプタMELoRAを提案する。
実験結果から, 自然言語理解タスクの8倍のトレーニングパラメータ, 続くタスクの36倍のトレーニングパラメータが得られた。
論文 参考訳（メタデータ） (2024-02-27T07:14:12Z) - PRILoRA: Pruned and Rank-Increasing Low-Rank Adaptation [65.268245109828]
我々はPRILoRAを導入し、各層ごとに異なるランクを線形に割り当て、トレーニングプロセスを通してプルーニングを行う。
8つのGLUEベンチマークで広範な実験を行い,PRILoRAの有効性を検証する。
論文 参考訳（メタデータ） (2024-01-20T20:25:17Z) - Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。
提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。
実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
論文 参考訳（メタデータ） (2023-11-20T11:56:25Z) - AdaLoRA: Adaptive Budget Allocation for Parameter-Efficient Fine-Tuning [143.23123791557245]
下流タスクで訓練済みの大規模言語モデルを微調整することは、NLPにおいて重要なパラダイムとなっている。
重み行列のパラメータ予算をその重要度に応じて適応的に割り当てるAdaLoRAを提案する。
我々は,AdaLoRAの有効性を検証するために,自然言語処理,質問応答,自然言語生成に関する事前学習モデルを用いた広範囲な実験を行った。
論文 参考訳（メタデータ） (2023-03-18T22:36:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。