Fugu-MT 論文翻訳(概要): The Primacy of Magnitude in Low-Rank Adaptation

論文の概要: The Primacy of Magnitude in Low-Rank Adaptation

arxiv url: http://arxiv.org/abs/2507.06558v1
Date: Wed, 09 Jul 2025 05:25:24 GMT
ステータス: 翻訳完了
システム内更新日: 2025-07-10 17:37:43.481809
Title: The Primacy of Magnitude in Low-Rank Adaptation
Title（参考訳）: 低ランク適応におけるマグニチュードの優位性
Authors: Zicheng Zhang, Haoran Li, Yifeng Zhang, Guoqiang Gong, Jiaxing Wang, Pengzhang Liu, Qixia Jiang, Junxing Hu,
Abstract要約: Low-Rank Adaptation (LoRA) は、大きなモデルをチューニングするためのパラメータ効率のパラダイムを提供する。非効率なスペクトル法にマッチする等級駆動型Basis & BasisスキームであるLoRAMを提案する。
参考スコア（独自算出の注目度）: 15.583380841988868
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Low-Rank Adaptation (LoRA) offers a parameter-efficient paradigm for tuning large models. While recent spectral initialization methods improve convergence and performance over the naive "Noise & Zeros" scheme, their extra computational and storage overhead undermines efficiency. In this paper, we establish update magnitude as the fundamental driver of LoRA performance and propose LoRAM, a magnitude-driven "Basis & Basis" initialization scheme that matches spectral methods without their inefficiencies. Our key contributions are threefold: (i) Magnitude of weight updates determines convergence. We prove low-rank structures intrinsically bound update magnitudes, unifying hyperparameter tuning in learning rate, scaling factor, and initialization as mechanisms to optimize magnitude regulation. (ii) Spectral initialization succeeds via magnitude amplification. We demystify that the presumed knowledge-driven benefit of the spectral component essentially arises from the boost in the weight update magnitude. (iii) A novel and compact initialization strategy, LoRAM, scales deterministic orthogonal bases using pretrained weight magnitudes to simulate spectral gains. Extensive experiments show that LoRAM serves as a strong baseline, retaining the full efficiency of LoRA while matching or outperforming spectral initialization across benchmarks.
Abstract（参考訳）: Low-Rank Adaptation (LoRA) は、大きなモデルをチューニングするためのパラメータ効率のパラダイムを提供する。最近のスペクトル初期化法は「ノイズ・アンド・ゼロ」方式よりも収束と性能を改善するが、その余分な計算と記憶のオーバーヘッドは効率を損なう。本稿では,LoRA性能の基本的な要因として更新等級を確立し,その非効率性のないスペクトル手法に適合する等級駆動型"Basis & Basis"初期化スキームであるLoRAMを提案する。私たちの重要な貢献は3つあります。 i)重み更新のマグニチュードが収束を決定する。低ランク構造を本質的に制限した更新度,学習速度のハイパーパラメータチューニング,スケーリング係数,初期化を最大化するためのメカニズムとして証明する。 (ii)スペクトル初期化は等級増幅によって成功する。推定知識によるスペクトル成分の利点は、本質的に重み更新量の増大から生じると推測される。 3) 新規でコンパクトな初期化戦略であるLoRAMは, スペクトルゲインをシミュレートするために, 事前学習した重み度を用いて決定論的直交基底をスケールする。大規模な実験により、LoRAMは強力なベースラインとして機能し、LoRAの完全な効率を維持しながら、ベンチマーク間のスペクトル初期化をマッチングまたは上回っていることが示された。

関連論文リスト

Initialization using Update Approximation is a Silver Bullet for Extremely Efficient Low-Rank Fine-Tuning [13.823795660384262]
低ランク部分空間内での完全な微調整を近似するLoRA Silver BulletあるいはLoRA-SBを提案する。これらの結果から,低ランク部分空間において,性能を犠牲にすることなく完全な微調整をシミュレートできることが示唆された。
論文参考訳（メタデータ） (2024-11-29T09:10:30Z)
Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。 Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
論文参考訳（メタデータ） (2024-10-25T17:07:13Z)
On the Crucial Role of Initialization for Matrix Factorization [40.834791383134416]
この研究は古典的低ランク行列分解問題を再考し、整合率の形成における初期化の重要な役割を明らかにする。我々はNystrom NyGDを対称非対称行列分解タスクに導入し、ローランクアダプタ(LoRA)に拡張する。提案手法は,大規模言語および拡散モデルにおいて,1Bから7Bパラメータに至るまで,様々なダウンストリームおよびモデルスケールで優れた性能を示す。
論文参考訳（メタデータ） (2024-10-24T17:58:21Z)
Randomized Asymmetric Chain of LoRA: The First Meaningful Theoretical Framework for Low-Rank Adaptation [58.288682735160585]
Low-Rank Adaptation (LoRA) は、ファインチューニングモデルの一般的なテクニックである。 LoRAは、フルパラメータの微調整と比較すると、しばしば実行されます。本稿では,LoRA手法の適応率を厳密に分析するフレームワークを提案する。
論文参考訳（メタデータ） (2024-10-10T18:51:53Z)
Search for Efficient Large Language Models [52.98684997131108]
大規模言語モデル(LLMs)は、人工知能研究の領域で長い間停滞してきた。軽量プルーニング、量子化、蒸留がLLMの圧縮に取り入れられ、メモリの削減と推論の加速を狙った。ほとんどのモデル圧縮技術は、最適アーキテクチャの探索を見越して重量最適化に重点を置いている。
論文参考訳（メタデータ） (2024-09-25T21:32:12Z)
MiLoRA: Harnessing Minor Singular Components for Parameter-Efficient LLM Finetuning [16.67302585857681]
重み行列の小さな特異成分のみを更新する単純なLLM微調整手法であるMiLoRAを提案する。主行列は重要な知識を含むのに対し、マイナー行列はノイズ情報またはロングテール情報に対応することが観察された。微調整の間、MiLoRAはラベル付きデータセットを学習するために最適化されていないサブスペースを最大限に活用する。
論文参考訳（メタデータ） (2024-06-13T12:30:02Z)
FedNAR: Federated Optimization with Normalized Annealing Regularization [54.42032094044368]
ウェイト崩壊の選択を探索し、ウェイト崩壊値が既存のFLアルゴリズムの収束に有意な影響を及ぼすことを確かめる。我々は,既存のFLアルゴリズムにシームレスに統合可能なプラグインであるFederated Optimization with Normalized Annealing Regularization (FedNAR)を開発した。
論文参考訳（メタデータ） (2023-10-04T21:11:40Z)
AdaLoRA: Adaptive Budget Allocation for Parameter-Efficient Fine-Tuning [143.23123791557245]
下流タスクで訓練済みの大規模言語モデルを微調整することは、NLPにおいて重要なパラダイムとなっている。重み行列のパラメータ予算をその重要度に応じて適応的に割り当てるAdaLoRAを提案する。我々は,AdaLoRAの有効性を検証するために,自然言語処理,質問応答,自然言語生成に関する事前学習モデルを用いた広範囲な実験を行った。
論文参考訳（メタデータ） (2023-03-18T22:36:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。