Fugu-MT 論文翻訳(概要): Riemannian Preconditioned LoRA for Fine-Tuning Foundation Models

論文の概要: Riemannian Preconditioned LoRA for Fine-Tuning Foundation Models

arxiv url: http://arxiv.org/abs/2402.02347v3
Date: Wed, 5 Jun 2024 06:36:45 GMT
ステータス: 処理完了
システム内更新日: 2024-06-07 03:25:10.405976
Title: Riemannian Preconditioned LoRA for Fine-Tuning Foundation Models
Title（参考訳）: ファインチューニング基礎モデルのためのリーマン事前条件付きLORA
Authors: Fangzhao Zhang, Mert Pilanci,
Abstract要約: Low-Rank Adaptation (LoRA) は、パラメータ効率のよい微細チューニング(PEFT)法として人気がある。本研究では,各勾配ステップに$r倍r$プレコンディショナーを導入することにより,LoRAトレーニングの強化について検討する。
参考スコア（独自算出の注目度）: 45.72323731094864
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Low-Rank Adaptation (LoRA) emerges as a popular parameter-efficient fine-tuning (PEFT) method, which proposes to freeze pretrained model weights and update an additive low-rank trainable matrix. In this work, we study the enhancement of LoRA training by introducing an $r \times r$ preconditioner in each gradient step where $r$ is the LoRA rank. We theoretically verify that the proposed preconditioner stabilizes feature learning with LoRA under infinite-width NN setting. Empirically, the implementation of this new preconditioner requires a small change to existing optimizer code and creates virtually minuscule storage and runtime overhead. Our experimental results with both large language models and text-to-image diffusion models show that with this new preconditioner, the convergence and reliability of SGD and AdamW can be significantly enhanced. Moreover, the training process becomes much more robust to hyperparameter choices such as learning rate. The new preconditioner can be derived from a novel Riemannian metric in low-rank matrix field. Code can be accessed at https://github.com/pilancilab/Riemannian_Preconditioned_LoRA.
Abstract（参考訳）: Low-Rank Adaptation (LoRA) は、事前学習したモデルの重みを凍結し、付加的な低ランクトレーニング可能な行列を更新することを提案するPEFT法として人気がある。本稿では,LoRA トレーニングの強化について,各勾配ステップに $r \times r$ preconditioner を導入することで検討する。提案したプリコンディショナは,無限幅NN設定下でのLoRAによる特徴学習を安定化する。経験的に、この新しいプリコンディショナーの実装は、既存のオプティマイザコードに小さな変更を必要とし、事実上最小のストレージとランタイムオーバーヘッドを生成する。大規模言語モデルとテキスト・ツー・イメージ拡散モデルによる実験結果から,この新しいプレコンディショナーにより,SGDとAdamWの収束性と信頼性が著しく向上できることが示唆された。さらに、トレーニングプロセスは、学習率などのハイパーパラメータ選択に対して、より堅牢になる。新しいプレコンディショナーは、ローランク行列場における新しいリーマン計量から導出することができる。コードはhttps://github.com/pilancilab/Riemannian_Preconditioned_LoRAでアクセスすることができる。

関連論文リスト

SBoRA: Low-Rank Adaptation with Regional Weight Updates [19.979815469273476]
本稿では,SBORA(Standard Basis LoRA)を提案する。 SBoRAはローランド適応 (LoRA) とオルソゴン適応 (Orthogonal Adaptation) の先駆的な作品に基づいている。本研究は, 各種微調整作業におけるLoRAよりもSBoRA-FAの方が優れていることを示す。
論文参考訳（メタデータ） (2024-07-07T15:37:13Z)
DoRA: Enhancing Parameter-Efficient Fine-Tuning with Dynamic Rank Distribution [28.589498108609202]
Low-Rank Adaptation (LoRA) は、ウェイト行列の差分パラメータ予算要件を無視したバイパスフレームワークに依存している。 DoRAは、高ランクのLoRA層を構造化シングルランクコンポーネントに分解し、パラメータ予算の動的プルーニングを可能にする。実験結果から,LORAやフルモデルファインチューニングと比較して,DoRAの競争性能が向上することが示された。
論文参考訳（メタデータ） (2024-05-27T17:02:27Z)
MoRA: High-Rank Updating for Parameter-Efficient Fine-Tuning [105.11844150736536]
低ランク適応は、大規模言語モデルのためのパラメータ効率の良い微調整法として人気がある。トレーニング可能なパラメータ数を同じ数に保ちながら、高階更新を実現するために2乗行列を用いるMoRAと呼ばれる新しい手法を提案する。本手法はメモリ集約型タスクではLoRAより優れ,他のタスクでは同等のパフォーマンスを実現している。
論文参考訳（メタデータ） (2024-05-20T15:48:32Z)
DoRA: Weight-Decomposed Low-Rank Adaptation [57.68678247436207]
本稿では,FTとLoRAの相違点を明らかにするために,新しい重み分解解析法を提案する。本研究は、FTの学習能力に類似することを目的として、重量分解低ランク適応(DoRA)を提案する。 DoRAは、事前訓練された重量を、微調整のための大きさと方向の2つの構成要素に分解する。
論文参考訳（メタデータ） (2024-02-14T17:59:34Z)
Flora: Low-Rank Adapters Are Secretly Gradient Compressors [30.224822087562163]
低ランク適応(LoRA)は、少ないパラメータをトレーニングすることで最適化状態を低減するために提案される。 LoRAは全体の重量更新行列を低ランクに制限し、モデル性能を制限している。本稿では,プロジェクション行列を再サンプリングすることで高階更新を実現する Flora を提案する。
論文参考訳（メタデータ） (2024-02-05T18:50:39Z)
Chain of LoRA: Efficient Fine-tuning of Language Models via Residual Learning [31.036465632204663]
本稿では,Frank-Wolfeアルゴリズムにインスパイアされた反復最適化フレームワークであるLoRAのChainを紹介する。計算コストやメモリコストを増大させることなく,COLA が LoRA を一貫して上回ることを示す。
論文参考訳（メタデータ） (2024-01-08T14:26:49Z)
Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
論文参考訳（メタデータ） (2023-11-20T11:56:25Z)
The Expressive Power of Low-Rank Adaptation [11.371811534310078]
パラメータ効率のよい微調整法である低ランク適応は、微調整事前学習モデルの代表的な手法として登場した。本稿では,LoRAの表現力を理論的に解析することで,ギャップを埋める第一歩を踏み出す。トランスフォーマーネットワークでは、任意のモデルが、ランク=$(fractextembedding size2)$ LoRAで同じサイズのターゲットモデルに適応可能であることを示す。
論文参考訳（メタデータ） (2023-10-26T16:08:33Z)
AdaLoRA: Adaptive Budget Allocation for Parameter-Efficient Fine-Tuning [143.23123791557245]
下流タスクで訓練済みの大規模言語モデルを微調整することは、NLPにおいて重要なパラダイムとなっている。重み行列のパラメータ予算をその重要度に応じて適応的に割り当てるAdaLoRAを提案する。我々は,AdaLoRAの有効性を検証するために,自然言語処理,質問応答,自然言語生成に関する事前学習モデルを用いた広範囲な実験を行った。
論文参考訳（メタデータ） (2023-03-18T22:36:25Z)
LoRA: Low-Rank Adaptation of Large Language Models [71.75808607987281]
Low-Rank Adaptation (LoRA)はトレーニング済みモデルの重みを凍結し、トレーニング可能な階数分解をTransformerアーキテクチャの各層に注入する。 GPT-3では、LoRAはトレーニング可能なパラメータの数を1万倍に減らし、計算ハードウェアの要求をフル微調整の3倍に削減できる。
論文参考訳（メタデータ） (2021-06-17T17:37:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。