On the Convergence of Stochastic Low-Rank Adaptation
Abstractの概要
本論文は、凍結された事前学習済み重み行列を要素BとAによってパラメータ化された低ランク更新を通じて適応させる、同時2要素LoRA（Low-Rank Adaptation）の最適化理論を研究している。著者らは、要素空間における勾配が一般に大域的なリプシッツ連続を満たさないため、標準的な滑らかな非凸理論が直接適用できないことを強調しつつ、非凸な要素分解された目的関数に対する決定論的および確率論的最適化の双方を分析している。決定論的なLoRA-GDに対する先行研究の分析を改良するとともに、標準的な不偏・有限分散の仮定の下で2つの確率的手法（LoRA-NSGDMとLoRA-STORM）を導入しており、LoRA-STORMではさらに平均二乗平滑性も用いている。また、実際の収束挙動を検証するため、事前学習済み特徴量上でのロジスティック回帰、CIFAR-10でのResNet-18の学習、およびTinyLlama-1.1Bのファインチューニングに関する実験も含まれている。
新規性
主な新規性は、比較的標準的な確率的オラクルの仮定に基づく同時の確率的LoRAに対する有限時間収束解析であり、有限分散の仮定のみでは通常のLoRA-SGDが失敗する可能性があることの証明も含まれている。また、LoRA-GDに対する既知の決定論的保証を指数関数的な依存から多項式オーダーの計算量バウンドへと鋭くし、証明されたオラクル計算量を持つ、正規化モメンタムおよび分散低減の確率的LoRAバリアントを提案している。
成果
決定論的LoRA-GDは、O(epsilon^-4)回のフル勾配評価でイプシロン停留点に到達できることが示され、以前に報告された指数関数的バウンドを改善している。確率的最適化においては、LoRA-NSGDMが不偏・有限分散勾配の下でO(epsilon^-8)の確率的オラクル計算量を達成する一方、LoRA-STORMは平均二乗平滑性の条件を追加することでこれをO(epsilon^-6)に改善する。実験的には、CIFAR-10でのロジスティック回帰、ResNet-18の学習、TinyLlamaのファインチューニングにおいて、LoRA-NSGDMがLoRA-GDのベースラインよりも迅速かつ安定して収束することが報告されており、LoRA-STORMはロジスティック回帰の最終更新期間において最も低い平均損失を達成している。
論文の注目点
- 本論文は、決定論的および確率論的設定の双方において、同時2要素LoRAに対する多項式オーダーの収束保証を確立している。
- 有限分散の仮定の下では通常の同時LoRA-SGDが期待値において発散する可能性があることを証明し、LoRA-NSGDMの正規化モメンタム設計の動機付けとしている。
- 分散低減の拡張であるLoRA-STORMは、平均二乗平滑性の下で確率的オラクル計算量をさらに改善し、画像および言語タスクでの収束実験によって支持されている。