論文の概要: Sparse is Enough in Fine-tuning Pre-trained Large Language Model
- arxiv url: http://arxiv.org/abs/2312.11875v1
- Date: Tue, 19 Dec 2023 06:06:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-20 16:47:03.314456
- Title: Sparse is Enough in Fine-tuning Pre-trained Large Language Model
- Title(参考訳): Sparseは、微調整済みの大規模言語モデルで十分である
- Authors: Weixi Song, Zuchao Li, Lefei Zhang, Hai Zhao, Bo Du
- Abstract要約: 我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。
GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
- 参考スコア(独自算出の注目度): 105.63770797908127
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the prevalence of pre-training-fine-tuning paradigm, how to efficiently
adapt the pre-trained model to the downstream tasks has been an intriguing
issue. Parameter-Efficient Fine-Tuning (PEFT) methods have been proposed for
low-cost adaptation, including Adapters, Bia-only, and the recently widely used
Low-Rank Adaptation. Although these methods have demonstrated their
effectiveness to some extent and have been widely applied, the underlying
principles are still unclear. In this paper, we reveal the transition of loss
landscape in the downstream domain from random initialization to pre-trained
initialization, that is, from low-amplitude oscillation to high-amplitude
oscillation. The parameter gradients exhibit a property akin to sparsity, where
a small fraction of components dominate the total gradient norm, for instance,
1% of the components account for 99% of the gradient. This property ensures
that the pre-trained model can easily find a flat minimizer which guarantees
the model's ability to generalize even with a low number of trainable
parameters. Based on this, we propose a gradient-based sparse fine-tuning
algorithm, named Sparse Increment Fine-Tuning (SIFT), and validate its
effectiveness on a range of tasks including the GLUE Benchmark and
Instruction-tuning. The code is accessible at https://github.com/song-wx/SIFT/.
- Abstract(参考訳): 事前学習-微調整パラダイムの普及に伴い、学習済みモデルを下流タスクに効率的に適応させる方法が興味深い問題となっている。
パラメータ効率の良いファインチューニング (PEFT) 法は, 適応器, Bia のみ, 最近広く用いられている低ランク適応など, 低コストな適応法として提案されている。
これらの手法はある程度有効性を実証し、広く適用されてきたが、基礎となる原則はまだ不明である。
本稿では,下流領域における損失景観のランダム初期化から事前学習初期化,すなわち低振幅発振から高振幅発振への移行を明らかにする。
パラメータ勾配はスパーシティに類似した性質を示し、例えば、部品の1%が勾配全体の99%を占める。
この特性により、事前訓練されたモデルは、訓練可能なパラメータの少ないモデルでも、モデルを一般化する能力を保証する平坦な最小化器を容易に見つけることができる。
そこで本研究では,sparse incremental fine-tuning (sift) という,勾配に基づくsparse fine-tuningアルゴリズムを提案し,glueベンチマークや命令チューニングなどのタスクでの有効性を検証する。
コードはhttps://github.com/song-wx/SIFT/でアクセスできる。
関連論文リスト
- Vanishing Gradients in Reinforcement Finetuning of Language Models [14.750767288441017]
本研究は、強化微細化(RFT)における基本最適化障害を特定する。
モデル下での報酬標準偏差が小さい場合には,入力に対する期待勾配が消えることを示す。
次に、報酬標準偏差の小さいため、失効する勾配が一般的であり、有害であることを示す。
論文 参考訳(メタデータ) (2023-10-31T17:59:05Z) - Latent Class-Conditional Noise Model [54.56899309997246]
本稿では,ベイズ的枠組みの下での雑音遷移をパラメータ化するためのLatent Class-Conditional Noise Model (LCCN)を提案する。
次に、Gibs sampler を用いて遅延真のラベルを効率的に推測できる LCCN の動的ラベル回帰法を導出する。
提案手法は,サンプルのミニバッチから事前の任意チューニングを回避するため,ノイズ遷移の安定な更新を保護している。
論文 参考訳(メタデータ) (2023-02-19T15:24:37Z) - Scaling Forward Gradient With Local Losses [117.22685584919756]
フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。
重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。
提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
論文 参考訳(メタデータ) (2022-10-07T03:52:27Z) - Few-Shot Parameter-Efficient Fine-Tuning is Better and Cheaper than
In-Context Learning [81.3514358542452]
ICL (Few-shot in-context Learning) は、予測を行うたびにトレーニング例を全て処理するので、かなりの計算、メモリ、ストレージコストを発生させる。
パラメータ効率の良い微調整は、モデルの新たなタスクの実行を可能にするために、小さなパラメータセットをトレーニングする、代替パラダイムを提供する。
本稿では,少数ショットICLとパラメータ効率の微調整を厳密に比較し,後者が計算コストを劇的に削減できることを示す。
論文 参考訳(メタデータ) (2022-05-11T17:10:41Z) - Self-Tuning Stochastic Optimization with Curvature-Aware Gradient
Filtering [53.523517926927894]
サンプルごとのHessian-vector積と勾配を用いて、自己チューニングの二次構造を構築する。
モデルに基づく手続きが雑音勾配設定に収束することを証明する。
これは自己チューニング二次体を構築するための興味深いステップである。
論文 参考訳(メタデータ) (2020-11-09T22:07:30Z) - Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。
本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文 参考訳(メタデータ) (2020-06-10T08:22:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。