論文の概要: LoRA-GA$^2$: Low Rank Adaptation with Multi-step Gradient Adaptive Alignment

• arxiv url: http://arxiv.org/abs/2608.19800v1
• Date: Thu, 20 Aug 2026 08:55:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-21 20:28:51.5151
• Title: LoRA-GA$^2$: Low Rank Adaptation with Multi-step Gradient Adaptive Alignment
• Title（参考訳）: LoRA-GA$^2$:多段階勾配適応アライメントを用いた低ランク適応
• Abstract要約: Low-Rank Adaptation (LoRA) は、大型モデルのための卓越した微調整法である。 LoRA-GA$2$は、多段階勾配情報を完全に活用する効果的な微調整アルゴリズムである。
• 参考スコア（独自算出の注目度）: 3.934797837010563
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Low-Rank Adaptation (LoRA) is a prominent fine-tuning method for large models, achieving competitive performance with reduced memory overhead. However, a persistent performance gap remains between LoRA and full fine-tuning. Recent studies have sought to narrow this gap by employing one-step gradient approximations of pretrained weights to align LoRA updates with the principal directions or intrinsic dimensionalities of full fine-tuning updates. Nevertheless, these approaches fail to capture the full dynamics of the gradients. In this paper, we propose LoRA-GA$^2$, an effective fine-tuning algorithm that fully leverages multi-step gradient information. Specifically, we introduce a lightweight probe for multi-step gradients of pretrained weights that incurs no additional GPU memory cost and only marginal time overhead. We further employ a spectrum-aware, importance-based rank allocation and optimal initialization derived from multi-step gradients. Extensive experimental results demonstrate that LoRA-GA$^2$ consistently outperforms existing LoRA variants while preserving the efficiency advantages of vanilla LoRA. For instance, LoRA-GA$^2$ surpasses the leading baseline by an average of 0.66 points on the GLUE benchmark, and outperforms the strongest baseline by 1.03 points on GSM8K and 0.87 points on HumanEval, respectively.
• Abstract（参考訳）: Low-Rank Adaptation (LoRA) は大きなモデルのための優れた微調整手法であり、メモリオーバーヘッドを減らして競合性能を達成する。 しかし、LoRAとフル微調整の間には、持続的なパフォーマンスギャップが残っている。 近年の研究では、LoRA更新を全微調整更新の主方向や内在次元と整合させるために、事前訓練した重みの1ステップ勾配近似を用いて、このギャップを狭めようとしている。 しかしながら、これらのアプローチは勾配のフルダイナミックスを捉えることに失敗している。 本稿では,多段階勾配情報を完全に活用した効率的な微調整アルゴリズムであるLoRA-GA$^2$を提案する。 具体的には、追加のGPUメモリコストと限界時間オーバーヘッドを伴わず、事前訓練した重みの多段階勾配を求める軽量プローブを提案する。 さらに、多段階勾配から導いたスペクトル認識、重要度に基づくランク割り当てと最適初期化を用いる。 ロラ-GA$^2$は、バニラロラの効率性を維持しつつ、既存のロラ変種よりも一貫して優れていた。 例えば、LoRA-GA$^2$はGLUEベンチマークで平均0.66ポイント、GSM8Kでは1.03ポイント、HumanEvalでは0.87ポイントを上回っている。

関連論文リスト

• LoRA-TSD: Tangent-Space Spectral Descent for LoRA via Muon-Style Updates [48.87937677659571]
  低ランク適応(LoRA)は、大型モデルを微調整する標準的な方法である。 固定ランク行列多様体に対してすべてのLoRAステップを接として扱うアダプタであるLoRA-TSDを導入する。 LoRA-Pro と LoRA-TSD の両方に対して最初のグローバル収束保証を与える。
  論文  参考訳（メタデータ） (2026-09-02T15:41:45Z)
• SOS-LoRA: Static Orthogonal-Subspace Low-Rank Adaptation with Fixed Multi-Scale Scaling [17.873016968298483]
  Low-Rank Adaptation (LoRA) は、大規模言語モデルのためのパラメータ効率の高い微調整法である。 我々は,静的な専門家の和としてランクレット更新を再パラメータ化するドロップイン拡張である静的直交部分空間LoRA(SOS-LoRA)を提案する。
  論文  参考訳（メタデータ） (2026-06-27T03:25:36Z)
• Taming Momentum: Rethinking Optimizer States Through Low-Rank Approximation [85.89510825889168]
  効率的な事前学習のための新しい低ランクシステムであるLoRA-Preを紹介する。 LoRA-Pre オンライン線形学習器内のコンパクトな低ランク部分空間に運動量行列を分解する。 Llama アーキテクチャファミリーのモデルを事前学習することで,LoRA-Preの有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2026-02-27T18:57:06Z)
• Beyond SGD, Without SVD: Proximal Subspace Iteration LoRA with Diagonal Fractional K-FAC [50.36542772932594]
  Low-Rank Adaptation (LoRA) は、凍結重量の上の低ランク更新を学習することで、大きなモデルを微調整する。 本研究では,ローランクプロジェクション(SVDLoRA)とローラファインチューニング(LoRAファインタニング)のフルステップでのトレーニングのギャップに対処する。 勾配降下のギャップを埋めるメモリ効率の良いサブルーチンであるLoRSumを提案する。
  論文  参考訳（メタデータ） (2026-02-18T13:41:41Z)
• Faster Than SVD, Smarter Than SGD: The OPLoRA Alternating Update [50.36542772932594]
  Low-Rank Adaptation (LoRA) は、凍結重量の上の低ランク更新を学習することで、大きなモデルを微調整する。 ローランクプロジェクションによる完全なトレーニング(SVDLoRA)とLoRAファインチューニングの間にはまだギャップがあり、LoRAのステップをさらに改善できることを示している。
  論文  参考訳（メタデータ） (2025-09-24T10:32:50Z)
• AltLoRA: Towards Better Gradient Approximation in Low-Rank Adaptation with Alternating Projections [42.88697930464368]
  Low-Rank Adaptation (LoRA) は、微調整された大規模言語モデルにおいて、メモリオーバーヘッドを低減する効果的な手法として登場した。 低ランク空間で更新が制限されているため、完全な微調整に比べて、しばしば準最適パフォーマンスに悩まされる。 共同更新設計による勾配近似の難しさを回避するための交互投影法AltLoRAを提案する。
  論文  参考訳（メタデータ） (2025-05-18T15:10:38Z)
• Flat-LoRA: Low-Rank Adaptation over a Flat Loss Landscape [52.98187034726091]
  フルパラメータ空間の平坦領域に位置する低ランク適応を同定することを目的としたFlat-LoRAを提案する。 また、Flat-LoRAはドメイン内とドメイン外の両方の一般化を改善していることを示す。
  論文  参考訳（メタデータ） (2024-09-22T11:24:10Z)
• LoRA-Pro: Are Low-Rank Adapters Properly Optimized? [121.0693322732454]
  LoRAとしても知られる低ランク適応は、基礎モデルのパラメータ効率の細かい調整のための顕著な手法として登場した。 計算効率にもかかわらず、LoRAは完全な微調整に比べて性能が劣っている。 低ランク行列の勾配を戦略的に調整することでLoRAの性能を向上させる手法であるLoRA-Proを導入する。
  論文  参考訳（メタデータ） (2024-07-25T17:57:12Z)
• LoRA-GA: Low-Rank Adaptation with Gradient Approximation [5.685201910521295]
  微調整された大規模事前訓練モデルは、計算とメモリコストの点で極めて高価である。 LoRAは、パラメータが著しく少ない補助的な低ランクモデルを微調整することで、コスト効率のよい代替手段を提供する。 LoRAは完全な微調整に比べてかなり遅い速度で収束し、全体的な計算能力が向上し、しばしばテスト性能が悪化する。
  論文  参考訳（メタデータ） (2024-07-06T08:37:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。