論文の概要: HRP: High-Rank Preheating for Superior LoRA Initialization

• arxiv url: http://arxiv.org/abs/2502.07739v2
• Date: Mon, 17 Feb 2025 13:39:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:10:03.270831
• Title: HRP: High-Rank Preheating for Superior LoRA Initialization
• Title（参考訳）: HRP:上ロラ初期化のための高速予熱
• Authors: Yuzhu Chen, Yingjie Wang, Shi Fu, Li Shen, Yongcheng Jing, Xinmei Tian, Dacheng Tao,
• Abstract要約: 微調整低域適応(LoRA)のための高域予熱法(HRP)の提案 HRPはLoRAの様々なモデルやタスクにおける一般化の有効性を大幅に向上させる。
• 参考スコア（独自算出の注目度）: 58.3319586613105
• License:
• Abstract: This paper studies the crucial impact of initialization on the convergence properties of Low-Rank Adaptation (LoRA). We theoretically demonstrate that random initialization, a widely used schema, will likely lead LoRA to random low-rank results, rather than the best low-rank result. While this issue can be mitigated by adjusting initialization towards a well-informed direction, it relies on prior knowledge of the target, which is typically unknown in real-world scenarios. To approximate this well-informed initial direction, we propose High-Rank Preheating (HRP), which fine-tunes high-rank LoRA for a few steps and uses the singular value decomposition of the preheated result as a superior initialization. HRP initialization is theory-supported to combine the convergence strengths of high-rank LoRA and the generalization strengths of low-rank LoRA. Extensive experiments demonstrate that HRP significantly enhances LoRA's effectiveness across various models and tasks, achieving performance comparable to full-parameter fine-tuning and outperforming other initialization strategies.
• Abstract（参考訳）: 本稿では,Lo-Rank Adaptation (LoRA) の収束特性に対する初期化の影響について検討する。 理論的には、広く使われているスキーマであるランダム初期化は、最良な低ランク結果ではなく、LoRAをランダムな低ランク結果へと導く可能性が高い。 この問題は、初期化をよく表現された方向に向けて調整することで緩和できるが、現実のシナリオでは知られていないターゲットの事前の知識に依存している。 そこで本研究では,高階LoRAをいくつかのステップで微調整し,予熱結果の特異値分解を優れた初期化として用いる高ランク予熱法を提案する。 HRP の初期化は、高階 LoRA の収束強度と低階 LoRA の一般化強度を組み合わせるために理論支持される。 大規模な実験により、HRPはLoRAの有効性を様々なモデルやタスクで著しく向上させ、全パラメータの微調整に匹敵する性能を達成し、他の初期化戦略よりも優れていることが示された。

関連論文リスト

• Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
  微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。 Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。 本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
  論文  参考訳（メタデータ） (2024-10-25T17:07:13Z)
• Randomized Asymmetric Chain of LoRA: The First Meaningful Theoretical Framework for Low-Rank Adaptation [58.288682735160585]
  Low-Rank Adaptation (LoRA) は、ファインチューニングモデルの一般的なテクニックである。 LoRAは、フルパラメータの微調整と比較すると、しばしば実行されます。 本稿では,LoRA手法の適応率を厳密に分析するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-10T18:51:53Z)
• LoRA-Pro: Are Low-Rank Adapters Properly Optimized? [121.0693322732454]
  LoRAとしても知られる低ランク適応は、基礎モデルのパラメータ効率の細かい調整のための顕著な手法として登場した。 計算効率にもかかわらず、LoRAは完全な微調整に比べて性能が劣っている。 低ランク行列の勾配を戦略的に調整することでLoRAの性能を向上させる手法であるLoRA-Proを導入する。
  論文  参考訳（メタデータ） (2024-07-25T17:57:12Z)
• Enhancing Parameter Efficiency and Generalization in Large-Scale Models: A Regularized and Masked Low-Rank Adaptation Approach [10.980433187379868]
  低ランク適応(LoRA)は、良好な微調整結果を維持しつつ、資源消費を減らすために開発された。 本稿では,LoRA法により近似された行列更新の本質的な次元について検討し,本質的な次元を増大させることによる性能上の利点を明らかにする。
  論文  参考訳（メタデータ） (2024-07-16T15:26:31Z)
• ALoRA: Allocating Low-Rank Adaptation for Fine-tuning Large Language Models [8.251547772610301]
  低ランク適応 (LoRA) の方法論を、低ランク適応 (AloRA) と呼ぶ革新的なアプローチに拡張する。 まず,各ランクの重要度を効果的に推定できる新しい手法であるAB-LoRAを提案する。 第2に、AB-LoRAによって導かれ、我々は徐々にLoRAのランクに多く負の影響を及ぼし、高いランクを必要とする重要なトランスフォーマーモジュールにローラの予算を割り当てる。
  論文  参考訳（メタデータ） (2024-03-24T15:09:55Z)
• PRoLoRA: Partial Rotation Empowers More Parameter-Efficient LoRA [45.38491644250814]
  部分回転型低ランク適応(PRoLoRA)は層内共有機構である。 PRoLoRAはその利点を保ち、ピアパラメータ共有手法の欠点を効果的に回避する。 実験によりPRoLoRAのパラメータ効率が著しく向上した。
  論文  参考訳（メタデータ） (2024-02-24T13:39:05Z)
• PRILoRA: Pruned and Rank-Increasing Low-Rank Adaptation [65.268245109828]
  我々はPRILoRAを導入し、各層ごとに異なるランクを線形に割り当て、トレーニングプロセスを通してプルーニングを行う。 8つのGLUEベンチマークで広範な実験を行い,PRILoRAの有効性を検証する。
  論文  参考訳（メタデータ） (2024-01-20T20:25:17Z)
• Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
  本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。 提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。 実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-11-20T11:56:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。