論文の概要: RefLoRA: Refactored Low-Rank Adaptation for Efficient Fine-Tuning of Large Models
- arxiv url: http://arxiv.org/abs/2505.18877v1
- Date: Sat, 24 May 2025 21:33:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-27 16:58:42.714516
- Title: RefLoRA: Refactored Low-Rank Adaptation for Efficient Fine-Tuning of Large Models
- Title（参考訳）: RefLoRA:大規模モデルの効率的な微調整のためのリファクタリングされた低ランク適応
- Authors: Yilang Zhang, Bingcong Li, Georgios B. Giannakis,
- Abstract要約: Low-Rank Adaptation (LoRA)は、事前訓練された重み行列の低次元部分空間を更新することにより、微調整された大型モデルの計算およびメモリオーバーヘッドを下げる。
本稿では、損失の上限を最小化するステップ毎の最適低ランク因子化について述べる。
結果として得られた低ランク適応(RefLoRA)法は、一貫した重量とバランスの取れた重量の更新とともに、より平坦な損失景観を促進する。
- 参考スコア（独自算出の注目度）: 39.656014609027494
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Low-Rank Adaptation (LoRA) lowers the computational and memory overhead of fine-tuning large models by updating a low-dimensional subspace of the pre-trained weight matrix. Albeit efficient, LoRA exhibits suboptimal convergence and noticeable performance degradation, due to inconsistent and imbalanced weight updates induced by its nonunique low-rank factorizations. To overcome these limitations, this article identifies the optimal low-rank factorization per step that minimizes an upper bound on the loss. The resultant refactored low-rank adaptation (RefLoRA) method promotes a flatter loss landscape, along with consistent and balanced weight updates, thus speeding up stable convergence. Extensive experiments evaluate RefLoRA on natural language understanding, and commonsense reasoning tasks with popular large language models including DeBERTaV3, LLaMA-7B, LLaMA2-7B and LLaMA3-8B. The numerical tests corroborate that RefLoRA converges faster, outperforms various benchmarks, and enjoys negligible computational overhead compared to state-of-the-art LoRA variants.
- Abstract（参考訳）: Low-Rank Adaptation (LoRA)は、事前訓練された重み行列の低次元部分空間を更新することにより、微調整された大型モデルの計算およびメモリオーバーヘッドを下げる。
効率的ではあるが、LoRAは非特異な低ランク分解によって引き起こされる不整合および不均衡な重み更新により、最適収束と顕著な性能劣化を示す。
これらの制限を克服するために、この論文は損失の上限を最小化するステップ毎の最適低ランク分解を特定する。
結果として、リファクタリングされた低ランク適応(RefLoRA)法は、一貫性とバランスの取れた重量の更新とともに、より平坦な損失景観を促進し、安定した収束を加速する。
DeBERTaV3, LLaMA-7B, LLaMA2-7B, LLaMA3-8Bなど, 一般的な大言語モデルを用いたRefLoRAの評価を行った。
数値テストでは、RefLoRAはより高速に収束し、様々なベンチマークを上回り、最先端のLoRAよりも計算オーバーヘッドが無視できる。
関連論文リスト
- SRLoRA: Subspace Recomposition in Low-Rank Adaptation via Importance-Based Fusion and Reinitialization [2.594346658179846]
Low-Rank Adaptation (LoRA)は、固定された低ランク部分空間への更新を制約する。
本稿では,低ランク適応(SRLoRA)における部分空間再構成について,重要性に基づく融合と再初期化を用いて紹介する。
SRLoRAは標準のLoRAよりも高速な収束と精度の向上を実現している。
論文 参考訳（メタデータ） (2025-05-18T14:12:40Z) - BeamLoRA: Beam-Constraint Low-Rank Adaptation [51.52097743781401]
Low-Rank Adaptation (LoRA) はパラメータ効率の良い微調整法として広く採用されている。
本研究では,各LoRAモジュールを,各ランクが潜在的サブソリューションに対応するビームとして概念化するビームロラを提案する。
論文 参考訳（メタデータ） (2025-02-19T10:33:22Z) - GeLoRA: Geometric Adaptive Ranks For Efficient LoRA Fine-tuning [2.7446241148152253]
微調整された大言語モデル(LLM)は、全てのパラメータを更新する必要があるため、計算集約的である。
Low-Rank Adaptation (LoRA)は、重みのサブセットだけを変更することで効率を向上するが、表現性と計算コストのトレードオフをもたらす。
隠れ状態表現の内在的次元を計算し,LoRAランクを適応的に選択する新しいフレームワークGeLoRAを提案する。
論文 参考訳（メタデータ） (2024-12-12T13:04:54Z) - LoRA Done RITE: Robust Invariant Transformation Equilibration for LoRA Optimization [78.93425154518705]
低ランク適応 (LoRA) は、メモリ要求を低減し、LLMのパラメータ効率の高い微調整法である。
本稿では,LoRA最適化のための適応行列プレコンディショニング手法であるLoRA-RITEを紹介する。
論文 参考訳（メタデータ） (2024-10-27T22:57:12Z) - Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。
Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。
本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
論文 参考訳（メタデータ） (2024-10-25T17:07:13Z) - Randomized Asymmetric Chain of LoRA: The First Meaningful Theoretical Framework for Low-Rank Adaptation [58.288682735160585]
Low-Rank Adaptation (LoRA) は、ファインチューニングモデルの一般的なテクニックである。
LoRAは、フルパラメータの微調整と比較すると、しばしば実行されます。
本稿では,LoRA手法の適応率を厳密に分析するフレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-10T18:51:53Z) - Flat-LoRA: Low-Rank Adaptation over a Flat Loss Landscape [52.98187034726091]
フルパラメータ空間の平坦領域に位置する低ランク適応を同定することを目的としたFlat-LoRAを提案する。
また、Flat-LoRAはドメイン内とドメイン外の両方の一般化を改善していることを示す。
論文 参考訳（メタデータ） (2024-09-22T11:24:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。