論文の概要: LoRASuite: Efficient LoRA Adaptation Across Large Language Model Upgrades

• arxiv url: http://arxiv.org/abs/2505.13515v1
• Date: Sat, 17 May 2025 04:11:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-21 14:49:52.35542
• Title: LoRASuite: Efficient LoRA Adaptation Across Large Language Model Upgrades
• Title（参考訳）: LoRASuite: 大規模言語モデルのアップグレードにおける効率的なLoRA適応
• Authors: Yanan Li, Fanxu Meng, Muhan Zhang, Shiai Zhu, Shangguang Wang, Mengwei Xu,
• Abstract要約: LLM(Large Language Models)の更新に特化して設計されたモジュール型アプローチであるLoRASuiteを提案する。 LoRASuiteは、小さなバニラのLoRAメソッドを一貫して上回っている。 メモリ消費を5.5GB、計算時間を78.23%削減する。
• 参考スコア（独自算出の注目度）: 21.91864562492083
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: As Large Language Models (LLMs) are frequently updated, LoRA weights trained on earlier versions quickly become obsolete. The conventional practice of retraining LoRA weights from scratch on the latest model is costly, time-consuming, and environmentally detrimental, particularly as the diversity of LLMs and downstream tasks expands. This motivates a critical question: "How can we efficiently leverage existing LoRA weights to adapt to newer model versions?" To address this, we propose LoRASuite, a modular approach tailored specifically to various types of LLM updates. First, we compute a transfer matrix utilizing known parameters from both old and new LLMs. Next, we allocate corresponding layers and attention heads based on centered kernel alignment and cosine similarity metrics, respectively. A subsequent small-scale, skillful fine-tuning step ensures numerical stability. Experimental evaluations demonstrate that LoRASuite consistently surpasses small-scale vanilla LoRA methods. Notably, on backbone LLMs such as MiniCPM and Qwen, LoRASuite even exceeds the performance of full-scale LoRA retraining, with average improvements of +1.4 and +6.6 points on math tasks, respectively. Additionally, LoRASuite significantly reduces memory consumption by 5.5 GB and computational time by 78.23%.
• Abstract（参考訳）: LLM(Large Language Models)が頻繁に更新されるため、以前のバージョンでトレーニングされたLoRA重みはすぐに時代遅れになる。 特にLLMや下流タスクの多様性が拡大するにつれて、最新のモデルでスクラッチからLoRA重量をトレーニングする従来の慣行はコスト、時間、環境的に有害である。 新しいモデルバージョンに適応するために、既存のLoRA重みを効率的に活用するにはどうすればよいのか? そこで本稿では,LLM更新に特化して設計されたモジュール型アプローチであるLoRASuiteを提案する。 まず,古い LLM と新しい LLM の両方の既知パラメータを用いた転送行列の計算を行う。 次に、それぞれ中央のカーネルアライメントとコサイン類似度測定値に基づいて、対応するレイヤとアテンションヘッドを割り当てる。 その後の小規模で巧妙な微調整によって数値安定性が確保される。 実験により、LoRASuiteは小さなバニラロラ法を一貫して超越していることが示された。 特に MiniCPM や Qwen のようなバックボーン LLM では、LoRASuite はフルスケールの LoRA 再訓練のパフォーマンスを上回り、数学のタスクでは +1.4 と +6.6 の点が平均的に改善されている。 さらに、LoRASuiteはメモリ消費を5.5GB、計算時間を78.23%削減する。

関連論文リスト

• LoRA Done RITE: Robust Invariant Transformation Equilibration for LoRA Optimization [78.93425154518705]
  低ランク適応 (LoRA) は、メモリ要求を低減し、LLMのパラメータ効率の高い微調整法である。 本稿では,LoRA最適化のための適応行列プレコンディショニング手法であるLoRA-RITEを紹介する。
  論文  参考訳（メタデータ） (2024-10-27T22:57:12Z)
• LoRA-Flow: Dynamic LoRA Fusion for Large Language Models in Generative Tasks [72.88244322513039]
  LoRAは、ダウンストリームタスクやドメイン毎に大きな言語モデル(LLM)をカスタマイズするために軽量モジュールを使用している。 動的重みを利用して異なるLoRAの影響を調整するLoRA-Flowを提案する。 6つの生成タスクに対する実験により、我々の手法はタスクレベルの融合重みでベースラインを一貫して上回ることを示した。
  論文  参考訳（メタデータ） (2024-02-18T04:41:25Z)
• Chain of LoRA: Efficient Fine-tuning of Language Models via Residual Learning [31.036465632204663]
  本稿では,Frank-Wolfeアルゴリズムにインスパイアされた反復最適化フレームワークであるLoRAのChainを紹介する。 計算コストやメモリコストを増大させることなく,COLA が LoRA を一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2024-01-08T14:26:49Z)
• NOLA: Compressing LoRA using Linear Combination of Random Basis [22.76088132446952]
  我々は、ロラに存在するランク1の下界を克服するNOLAを導入する。 NOLAは、ランク1のLoRAと比較してパラメータ数がはるかに少ないLoRAモデルと同様に、最高の圧縮LoRAをアーカイブできる。
  論文  参考訳（メタデータ） (2023-10-04T03:30:24Z)
• CA-LoRA: Adapting Existing LoRA for Compressed LLMs to Enable Efficient Multi-Tasking on Personal Devices [78.16679232748196]
  本稿では,Large Language Models (LLM) を他のタスクに転送するための圧縮対応 LoRA (CA-LoRA) フレームワークを提案する。 実験の結果,CA-LoRAは圧縮LDMに適用したバニラロラ法よりも優れていた。 CA-LoRAのソースコードはhttps://github.com/thunlp/CA-LoRAで公開されている。
  論文  参考訳（メタデータ） (2023-07-15T04:37:11Z)
• LoRAPrune: Structured Pruning Meets Low-Rank Parameter-Efficient Fine-Tuning [56.88751562302793]
  低ランク適応 (LoRA) が大型言語モデル (LLM) に登場した。 LoRAPruneは、高度にメモリ効率の良い正確な構造化プルーンドモデルを提供する新しいフレームワークである。 LoRAPruneはWikiText2では4.81、TBでは3.46、メモリ使用量は52.6%減少している。
  論文  参考訳（メタデータ） (2023-05-28T15:15:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。