論文の概要: Beyond SGD, Without SVD: Proximal Subspace Iteration LoRA with Diagonal Fractional K-FAC

• arxiv url: http://arxiv.org/abs/2602.16456v1
• Date: Wed, 18 Feb 2026 13:41:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-19 15:58:30.603195
• Title: Beyond SGD, Without SVD: Proximal Subspace Iteration LoRA with Diagonal Fractional K-FAC
• Title（参考訳）: SVDのないSGDを超える: 対角線分断K-FACを用いた近位部分空間反復ロラ
• Authors: Abdulla Jasem Almansoori, Maria Ivanova, Andrey Veprikov, Aleksandr Beznosikov, Samuel Horváth, Martin Takáč,
• Abstract要約: Low-Rank Adaptation (LoRA) は、凍結重量の上の低ランク更新を学習することで、大きなモデルを微調整する。 本研究では,ローランクプロジェクション(SVDLoRA)とローラファインチューニング(LoRAファインタニング)のフルステップでのトレーニングのギャップに対処する。 勾配降下のギャップを埋めるメモリ効率の良いサブルーチンであるLoRSumを提案する。
• 参考スコア（独自算出の注目度）: 50.36542772932594
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Low-Rank Adaptation (LoRA) fine-tunes large models by learning low-rank updates on top of frozen weights, dramatically reducing trainable parameters and memory. In this work, we address the gap between training with full steps with low-rank projections (SVDLoRA) and LoRA fine-tuning. We propose LoRSum, a memory-efficient subroutine that closes this gap for gradient descent by casting LoRA optimization as a proximal sub-problem and solving it efficiently with alternating least squares updates, which we prove to be an implicit block power method. We recover several recently proposed preconditioning methods for LoRA as special cases, and show that LoRSum can also be used for updating a low-rank momentum. In order to address full steps with preconditioned gradient descent, we propose a scaled variant of LoRSum that uses structured metrics such as K-FAC and Shampoo, and we show that storing the diagonal of these metrics still allows them to perform well while remaining memory-efficient. Experiments on a synthetic task, CIFAR-100, and language-model fine-tuning on GLUE, SQuAD v2, and WikiText-103, show that our method can match or improve LoRA baselines given modest compute overhead, while avoiding full-matrix SVD projections and retaining LoRA-style parameter efficiency.
• Abstract（参考訳）: Low-Rank Adaptation (LoRA) は、凍結重量の上の低ランク更新を学習することで、トレーニング可能なパラメータとメモリを劇的に削減する。 本研究では,ローランクプロジェクション(SVDLoRA)とローラファインチューニング(LoRAファインタニング)のフルステップでのトレーニングのギャップに対処する。 本稿では,LoRA最適化を近似サブプロブレムとしてキャストし,最小二乗更新を交互に行うことで,勾配降下のギャップを埋めるメモリ効率の高いサブルーチンであるLoRSumを提案する。 最近提案されたLoRAの条件付きプレコンディショニング手法を特殊事例として回収し,ローランク運動量更新にもLoRSumが有効であることを示す。 そこで本研究では, K-FAC や Shampoo などの構造化メトリクスを用いた LoRSum のスケールバリエーションを提案する。 GLUE, SQuAD v2, WikiText-103 の合成タスク CIFAR-100 および言語モデル微調整実験により,本手法は全行列SVDプロジェクションを回避し, LoRA スタイルのパラメータ効率を保ちながら, 最小の計算オーバヘッドを与えられた LoRA ベースラインに適合または改善できることを示した。

関連論文リスト

• Faster Than SVD, Smarter Than SGD: The OPLoRA Alternating Update [50.36542772932594]
  Low-Rank Adaptation (LoRA) は、凍結重量の上の低ランク更新を学習することで、大きなモデルを微調整する。 ローランクプロジェクションによる完全なトレーニング(SVDLoRA)とLoRAファインチューニングの間にはまだギャップがあり、LoRAのステップをさらに改善できることを示している。
  論文  参考訳（メタデータ） (2025-09-24T10:32:50Z)
• Initialization using Update Approximation is a Silver Bullet for Extremely Efficient Low-Rank Fine-Tuning [20.74016978787039]
  低ランク部分空間内で完全な微調整を近似する手法を提案する。 我々は、LoRA-XSのアーキテクチャを活用し、高階勾配更新のための最適なスケーリングを実現する。 この結果から,低ランク部分空間における完全微調整のシミュレートが可能であることが判明した。
  論文  参考訳（メタデータ） (2024-11-29T09:10:30Z)
• Flat-LoRA: Low-Rank Adaptation over a Flat Loss Landscape [52.98187034726091]
  フルパラメータ空間の平坦領域に位置する低ランク適応を同定することを目的としたFlat-LoRAを提案する。 また、Flat-LoRAはドメイン内とドメイン外の両方の一般化を改善していることを示す。
  論文  参考訳（メタデータ） (2024-09-22T11:24:10Z)
• LoRA-Pro: Are Low-Rank Adapters Properly Optimized? [121.0693322732454]
  LoRAとしても知られる低ランク適応は、基礎モデルのパラメータ効率の細かい調整のための顕著な手法として登場した。 計算効率にもかかわらず、LoRAは完全な微調整に比べて性能が劣っている。 低ランク行列の勾配を戦略的に調整することでLoRAの性能を向上させる手法であるLoRA-Proを導入する。
  論文  参考訳（メタデータ） (2024-07-25T17:57:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。