論文の概要: On the Convergence Rate of LoRA Gradient Descent

• arxiv url: http://arxiv.org/abs/2512.18248v1
• Date: Sat, 20 Dec 2025 07:20:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-23 18:54:32.253424
• Title: On the Convergence Rate of LoRA Gradient Descent
• Title（参考訳）: LoRAグラディエントDescentの収束速度について
• Authors: Siqiao Mu, Diego Klabjan,
• Abstract要約: 本稿では,テキスト起源のLoRA勾配降下アルゴリズムの非漸近収束解析について述べる。 我々は、LoRA勾配降下が、反復数として$O(frac1log T)$で定常点に収束することを証明している。
• 参考スコア（独自算出の注目度）: 22.183624306817563
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The low-rank adaptation (LoRA) algorithm for fine-tuning large models has grown popular in recent years due to its remarkable performance and low computational requirements. LoRA trains two ``adapter" matrices that form a low-rank representation of the model parameters, thereby massively reducing the number of parameters that need to be updated at every step. Although LoRA is simple, its convergence is poorly understood due to the lack of Lipschitz smoothness, a key condition for classic convergence analyses. As a result, current theoretical results only consider asymptotic behavior or assume strong boundedness conditions which artificially enforce Lipschitz smoothness. In this work, we provide for the first time a non-asymptotic convergence analysis of the \textit{original LoRA gradient descent} algorithm, which reflects widespread practice, without such assumptions. Our work relies on three key steps: i) reformulating the problem in terms of the outer product of the stacked adapter matrices, ii) a modified descent lemma for the ``Lipschitz-like" reparametrized function, and iii) controlling the step size. With this approach, we prove that LoRA gradient descent converges to a stationary point at rate $O(\frac{1}{\log T})$, where $T$ is the number of iterations.
• Abstract（参考訳）: 微調整大型モデルに対するローランク適応(LoRA)アルゴリズムは, 性能と計算能力の低さから近年人気が高まっている。 LoRAはモデルパラメータの低ランク表現を形成する2つの `<adapter" 行列をトレーニングする。 LoRAは単純ではあるが、古典的な収束解析の重要な条件であるリプシッツの滑らかさが欠如していることから、その収束は理解されていない。 その結果、現在の理論的結果は漸近的な振る舞いのみを考慮するか、リプシッツの滑らかさを人工的に強制する強い有界性条件を仮定する。 本研究では、このような仮定を伴わずに広く実践されたことを反映した、textit{ Original LoRA gradient descent} アルゴリズムの非漸近収束解析を初めて提供する。 私たちの仕事は3つの重要なステップに依存しています。 一 積み重ねたアダプタ行列の外積の点で問題を改定すること。 二 「Lipschitz様」再計量関数の修飾降下補題及び 三 ステップサイズを制御すること。 このアプローチでは、LoRA勾配勾配勾配が、反復数である$O(\frac{1}{\log T})$で定常点に収束することが証明される。

関連論文リスト

• Randomized Asymmetric Chain of LoRA: The First Meaningful Theoretical Framework for Low-Rank Adaptation [58.288682735160585]
  Low-Rank Adaptation (LoRA) は、ファインチューニングモデルの一般的なテクニックである。 LoRAは、フルパラメータの微調整と比較すると、しばしば実行されます。 本稿では,LoRA手法の適応率を厳密に分析するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-10T18:51:53Z)
• Computational Limits of Low-Rank Adaptation (LoRA) Fine-Tuning for Transformer Models [10.827800772359844]
  微粒化複雑性理論を用いた変圧器モデルにおけるローランド適応(LoRA)の計算限界について検討する。 我々のキーとなる観察は、LoRA適応の勾配計算における低ランク分解の存在がアルゴリズムの高速化につながることである。
  論文  参考訳（メタデータ） (2024-06-05T10:44:08Z)
• Riemannian Preconditioned LoRA for Fine-Tuning Foundation Models [45.72323731094864]
  Low-Rank Adaptation (LoRA) は、パラメータ効率のよい微細チューニング(PEFT)法として人気がある。 本研究では,各勾配ステップに$r倍r$プレコンディショナーを導入することにより,LoRAトレーニングの強化について検討する。
  論文  参考訳（メタデータ） (2024-02-04T05:05:43Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Smoothing ADMM for Sparse-Penalized Quantile Regression with Non-Convex Penalties [8.294148737585543]
  本稿では,非二次絶対および非平滑収束ペナルティの存在下での凹凸および切断された量子レグレッションについて検討する。 本稿では,スパース回帰に特化してSIADと呼ばれるペナルティ乗算器が増加する新しいループADMアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-09-04T21:48:51Z)
• Convergence of Adam Under Relaxed Assumptions [72.24779199744954]
  我々は、アダムがより現実的な条件下で、$O(epsilon-4)$勾配複雑性で$epsilon$-定常点に収束することを示している。 また、Adamの分散還元版を$O(epsilon-3)$の加速勾配複雑性で提案する。
  論文  参考訳（メタデータ） (2023-04-27T06:27:37Z)
• A Retrospective Approximation Approach for Smooth Stochastic Optimization [0.2867517731896504]
  グラディエント(グラディエント、英: Gradient、SG)とは、最適化(SO)問題をスムーズ(ノンフィクション)な目標値で解くための補足的反復手法である。
  論文  参考訳（メタデータ） (2021-03-07T16:29:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。