Fugu-MT 論文翻訳(概要): Normalized Low-Rank Adaptation

論文の概要: Normalized Low-Rank Adaptation

arxiv url: http://arxiv.org/abs/2608.31036v1
Date: Mon, 31 Aug 2026 16:15:36 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-01 18:31:31.501786
Title: Normalized Low-Rank Adaptation
Title（参考訳）: 正規化低ランク適応
Abstract要約: トレーニング中の下降行列を正規化するための簡易かつ効果的な手法である正規化低ランク適応(NoRA)を導入する。 NoRAは一貫して収束を加速し、パフォーマンスとトレーニングの安定性を改善し、破滅的な忘れを緩和する。
参考スコア（独自算出の注目度）: 18.076347530341426
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: While low-rank adaptation (LoRA) is widely used for parameter-efficient model adaptation, how to regularize its training dynamics for stable and effective optimization remains underexplored. Because LoRA initializes the up-projection to zero, its early optimization dynamics are largely governed by the down-projection. Building on this observation, we introduce Normalized Low-Rank Adaptation (NoRA), a simple yet effective method that normalizes the down-projection matrices during training. We further show that the same normalization can be applied only at initialization, improving standard LoRA without requiring repeated normalization throughout training. Across pretraining, supervised finetuning, and reinforcement learning, NoRA consistently accelerates convergence, improves performance and training stability, and mitigates catastrophic forgetting. These benefits require neither additional trainable parameters nor inference-time computation, making NoRA a simple and broadly applicable enhancement to LoRA.
Abstract（参考訳）: 低ランク適応(LoRA)はパラメータ効率のよいモデル適応に広く用いられているが、安定かつ効果的な最適化のためのトレーニング力学の規則化方法はまだ未定である。 LoRAはアッププロジェクションをゼロに初期化するので、初期最適化のダイナミクスはダウンプロジェクションによって支配される。この観測に基づいて、トレーニング中の下降行列を正規化する単純かつ効果的な方法である正規化低ランク適応(NoRA)を導入する。さらに,同じ正規化は初期化時にのみ適用可能であることを示し,トレーニングを通じて繰り返し正規化を必要とせず,標準のLoRAを改善した。プレトレーニング、教師付き微調整、強化学習などを通じて、NoRAは一貫して収束を加速し、パフォーマンスとトレーニングの安定性を改善し、破滅的な忘れを緩和する。これらの利点はトレーニング可能なパラメータや推論時間計算を必要とせず、NoRAをLoRAにシンプルで広く適用することができる。

関連論文リスト

TaRA: Training-Aware Low-Rank Adaptation Initialization [15.468502643386962]
Low-Rank Adaptation (LoRA) はパラメータ効率の良い微調整のデファクトスタンダードとなっている。トレーニング対応低ランク適応初期化(TaRA)は、ローランク因子によって誘導される勾配が対応するフルランク重み行列の勾配に近似するようにLoRAを初期化する手法である。
論文参考訳（メタデータ） (2026-09-02T14:15:22Z)
Strategic Over-Parameterization for Generalizable Low-Rank Adaptation [14.867641913391779]
大規模言語モデルへの完全な微調整による下流タスクへの適応は、計算とメモリの要求のため、ますます現実的ではない。 LoRA-Overは単純な原則に基づくフレームワークで、トレーニング中に最適化の風景を豊かにし、推論時に豊かにする。 LLaMA 2-7B と LLaMA 3.1-8B を用いた言語理解 (GLUE, T5-Base), 対話 (MT-Bench), 算術的推論 (GSM8K), コード生成 (HumanEval) に基づく LoRA-Over の評価を行った。
論文参考訳（メタデータ） (2026-05-15T12:26:17Z)
Curvature-Guided LoRA: Steering in the pretrained NTK subspace [60.35296431630704]
本稿では,PEFTを用いて得られた予測器と,出力レベルにおける完全微調整の予測器との整合性を考慮した予測アライメント問題を提案する。我々は、この目的が自然に、ニュートンのような、曲率ホワイトの勾配に対応する最適な低ランク更新を行う、曲率対応の2階定式化につながることを示した。この知見に基づいて、局所曲率情報を用いて適応方向を選択し、スケールする曲率誘導LoRA(CG-LoRA)を提案する。
論文参考訳（メタデータ） (2026-03-31T14:46:39Z)
Taming Momentum: Rethinking Optimizer States Through Low-Rank Approximation [85.89510825889168]
効率的な事前学習のための新しい低ランクシステムであるLoRA-Preを紹介する。 LoRA-Pre オンライン線形学習器内のコンパクトな低ランク部分空間に運動量行列を分解する。 Llama アーキテクチャファミリーのモデルを事前学習することで,LoRA-Preの有効性を実証的に検証する。
論文参考訳（メタデータ） (2026-02-27T18:57:06Z)
ODELoRA: Training Low-Rank Adaptation by Solving Ordinary Differential Equations [54.886931928255564]
低ランク適応(LoRA)は、深層移動学習においてパラメータ効率の高い微調整法として広く採用されている。常微分方程式(ODE)の形でLoRA因子行列に対する新しい連続時間最適化ダイナミクスを提案する。 ODELoRAは,問題次元の異なるスケールのディープニューラルネットワークのトレーニングに不可欠な特性である,安定した特徴学習を実現する。
論文参考訳（メタデータ） (2026-02-07T10:19:36Z)
DoRAN: Stabilizing Weight-Decomposed Low-Rank Adaptation via Noise Injection and Auxiliary Networks [47.58150560549918]
重み分解低ランク適応(DoRA)は,バニラ低ランク適応(LoRA)法の学習能力と訓練安定性の両方を改善することが示されている。そこで本研究では,DoRAのトレーニングを安定化し,サンプル効率を向上させるため,新しいDoRAの派生型であるDoRANを提案する。
論文参考訳（メタデータ） (2025-10-05T19:27:48Z)
Beyond Low-Rank Tuning: Model Prior-Guided Rank Allocation for Effective Transfer in Low-Data and Large-Gap Regimes [9.4848188271008]
Low-Rank Adaptation (LoRA) は、完全に微調整された基礎モデルに匹敵する性能を維持しながら、計算コストを削減できることが証明されている。現在の適応LoRA法は、ランクを動的に拡張または選択的に割り当てることで、この制限を克服しようとする。本稿では, 既訓練重量行列の安定なランクを, 階層的ランクアロケーションの自然な先行として活用する新しいフレームワークSR-LoRAを紹介する。
論文参考訳（メタデータ） (2025-06-30T23:54:23Z)
ElaLoRA: Elastic & Learnable Low-Rank Adaptation for Efficient Model Fine-Tuning [6.657174308208715]
ElaLoRA は適応的な低ランク適応フレームワークであり、勾配依存の重要度スコアに基づいて動的に順応し、ランクを拡大する。 ElaLoRAは、異なるパラメータ予算で既存のPEFTメソッドを一貫して上回っている。原則的かつ適応的なランク割り当て機構を導入することで、ElaLoRAはスケーラブルで効率的な微調整ソリューションを提供する。
論文参考訳（メタデータ） (2025-03-31T21:58:25Z)
Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。 Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
論文参考訳（メタデータ） (2024-10-25T17:07:13Z)
PRILoRA: Pruned and Rank-Increasing Low-Rank Adaptation [65.268245109828]
我々はPRILoRAを導入し、各層ごとに異なるランクを線形に割り当て、トレーニングプロセスを通してプルーニングを行う。 8つのGLUEベンチマークで広範な実験を行い,PRILoRAの有効性を検証する。
論文参考訳（メタデータ） (2024-01-20T20:25:17Z)
Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
論文参考訳（メタデータ） (2023-11-20T11:56:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。