論文の概要: AdaLoRA: Adaptive Budget Allocation for Parameter-Efficient Fine-Tuning

• arxiv url: http://arxiv.org/abs/2303.10512v2
• Date: Wed, 20 Dec 2023 20:56:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-22 19:20:45.521760
• Title: AdaLoRA: Adaptive Budget Allocation for Parameter-Efficient Fine-Tuning
• Title（参考訳）: adalora:パラメータ効率の良い微調整のための適応予算割り当て
• Authors: Qingru Zhang, Minshuo Chen, Alexander Bukharin, Nikos Karampatziakis, Pengcheng He, Yu Cheng, Weizhu Chen, Tuo Zhao
• Abstract要約: 下流タスクで訓練済みの大規模言語モデルを微調整することは、NLPにおいて重要なパラダイムとなっている。 重み行列のパラメータ予算をその重要度に応じて適応的に割り当てるAdaLoRAを提案する。 我々は,AdaLoRAの有効性を検証するために,自然言語処理,質問応答,自然言語生成に関する事前学習モデルを用いた広範囲な実験を行った。
• 参考スコア（独自算出の注目度）: 143.23123791557245
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fine-tuning large pre-trained language models on downstream tasks has become an important paradigm in NLP. However, common practice fine-tunes all of the parameters in a pre-trained model, which becomes prohibitive when a large number of downstream tasks are present. Therefore, many fine-tuning methods are proposed to learn incremental updates of pre-trained weights in a parameter efficient way, e.g., low-rank increments. These methods often evenly distribute the budget of incremental updates across all pre-trained weight matrices, and overlook the varying importance of different weight parameters. As a consequence, the fine-tuning performance is suboptimal. To bridge this gap, we propose AdaLoRA, which adaptively allocates the parameter budget among weight matrices according to their importance score. In particular, AdaLoRA parameterizes the incremental updates in the form of singular value decomposition. Such a novel approach allows us to effectively prune the singular values of unimportant updates, which is essentially to reduce their parameter budget but circumvent intensive exact SVD computations. We conduct extensive experiments with several pre-trained models on natural language processing, question answering, and natural language generation to validate the effectiveness of AdaLoRA. Results demonstrate that AdaLoRA manifests notable improvement over baselines, especially in the low budget settings. Our code is publicly available at https://github.com/QingruZhang/AdaLoRA .
• Abstract（参考訳）: 下流タスクで訓練済みの大規模言語モデルを微調整することは、NLPにおいて重要なパラダイムとなっている。 しかし、多くの下流タスクが存在する場合には、事前訓練されたモデルでパラメータの全てを微調整する。 そのため,事前学習された重みのインクリメンタルな更新をパラメータ効率良く,例えば低ランクのインクリメンタルに学習するために,多くの微調整手法が提案されている。 これらの手法はしばしば、事前訓練された全ての重量行列に漸進的な更新の予算を均等に分配し、異なる重量パラメータの異なる重要性を見落としている。 その結果、微調整性能が準最適となる。 このギャップを埋めるために、重み行列のパラメータ予算をその重要度に応じて適応的に割り当てるAdaLoRAを提案する。 特に、AdaLoRAは特異値分解の形でインクリメンタル更新をパラメータ化する。 このような新しいアプローチにより、重要でない更新の特異値を効果的に創り出すことができ、本質的にはパラメータ予算を削減できるが、正確なSVD計算を回避できる。 adaloraの有効性を検証するために,自然言語処理,質問応答,自然言語生成に関する事前学習モデルをいくつか実施した。 その結果,adaloraは,特に低予算環境において,ベースラインよりも顕著な改善が見られた。 私たちのコードはhttps://github.com/QingruZhang/AdaLoRAで公開されています。

関連論文リスト

• IntLoRA: Integral Low-rank Adaptation of Quantized Diffusion Models [68.55148272295916]
  IntLoRAを提案し、整数型(INT)低ランクパラメータを用いて効率限界を押し上げ、量子化拡散モデルに適応させる。 IntLoRAには3つの大きな利点がある: (i) 微調整の場合、事前トレーニングされた重みは量子化され、メモリ使用量が減少する (ii) ストレージの場合、事前トレーニングされた重みと低ランクの重みの両方が、ディスクスペースを少なく消費するINT内にある; (iii) 推論の場合、IntLoRA重みは、効率的な整数乗算やビットシフトによって自然に量子化された事前トレーニングされた重みにマージできる。
  論文  参考訳（メタデータ） (2024-10-29T05:50:17Z)
• LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
  Low Rank Adaptation (LoRA) は、下流タスクのための大規模な事前学習モデルに効果的に適応する、PEFT (Efficient Fine Tuning) 手法として人気がある。 モデル更新に低階テンソルパラメトリゼーションを用いる新しい手法を提案する。 提案手法は,大規模言語モデルの微調整に有効であり,比較性能を維持しつつ,パラメータ数の大幅な削減を実現している。
  論文  参考訳（メタデータ） (2024-10-05T06:59:50Z)
• NEAT: Nonlinear Parameter-efficient Adaptation of Pre-trained Models [26.808251361020066]
  微調整された事前訓練されたモデルは、リソース集約的で厳しい。 広く採用されているPEFT技術であるLoRA(Lo-Rank Adaptation)は、事前訓練されたモデルの重量を凍結する。 NEATは、トレーニング済みの重みを入力として取り込んだ軽量ニューラルネットワークを導入し、近似累積重み更新のための非線形変換を学習する。
  論文  参考訳（メタデータ） (2024-10-02T17:29:23Z)
• SaRA: High-Efficient Diffusion Model Fine-tuning with Progressive Sparse Low-Rank Adaptation [52.6922833948127]
  本研究では,事前学習した拡散モデルにおけるパラメータの重要性について検討する。 本稿では,これらの非効率パラメータをフル活用するための新しいモデル微調整法を提案する。 本手法は,下流アプリケーションにおける事前学習モデルの生成能力を向上する。
  論文  参考訳（メタデータ） (2024-09-10T16:44:47Z)
• SARA: Singular-Value Based Adaptive Low-Rank Adaption [4.135688713311511]
  パラメータ効率のよい微細チューニング(PEFT)手法としてのLoRAは、推論オーバーヘッドを加算しないために広く用いられている。 本研究ではまず,各層の性能とランクの関係をSVDを用いて解析する。 これに基づいてSARA(Singular-Value Based Adaptive Low-Rank Adaption)を設計する。
  論文  参考訳（メタデータ） (2024-08-06T16:39:42Z)
• RoseLoRA: Row and Column-wise Sparse Low-rank Adaptation of Pre-trained Language Model for Knowledge Editing and Fine-tuning [36.32145845869823]
  事前学習された言語モデルは、様々なNLPタスクにまたがる強力な一般化性を示す。 特定のタスクのためにこれらのモデルを微調整するには、通常、リソース集約的な全てのパラメータを更新する必要がある。 我々は,textbfrowとctextbfolumn-wise spartextbfse textbflow-textbfrank textbfadaptation (RoseLoRA)を実行する新しいPEFT法を提案する。 RoseLoRAは、特定のタスクの最も重要なパラメータのみを特定し、更新し、効率を維持する
  論文  参考訳（メタデータ） (2024-06-16T02:08:49Z)
• MELoRA: Mini-Ensemble Low-Rank Adapters for Parameter-Efficient Fine-Tuning [71.50432879573614]
  低ランク適応 (LoRA) は、適応過程が本質的に低次元であるという考えに基づいている。 我々は、より高階を維持しながらトレーニング可能なパラメータを少なくするミニアンサンブルな低ランクアダプタMELoRAを提案する。 実験結果から, 自然言語理解タスクの8倍のトレーニングパラメータ, 続くタスクの36倍のトレーニングパラメータが得られた。
  論文  参考訳（メタデータ） (2024-02-27T07:14:12Z)
• Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
  本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。 提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。 実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-11-20T11:56:25Z)
• IncreLoRA: Incremental Parameter Allocation Method for Parameter-Efficient Fine-tuning [15.964205804768163]
  IncreLoRAは、トレーニング中にトレーニング可能なパラメータを適応的に追加するインクリメンタルパラメータ割り当て手法である。 我々は,IncreLoRAの有効性を示すため,GLUEの広範な実験を行った。
  論文  参考訳（メタデータ） (2023-08-23T10:08:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。