論文の概要: AdaPreLoRA: Adafactor Preconditioned Low-Rank Adaptation

• arxiv url: http://arxiv.org/abs/2605.08734v1
• Date: Sat, 09 May 2026 06:37:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:49.845848
• Title: AdaPreLoRA: Adafactor Preconditioned Low-Rank Adaptation
• Title（参考訳）: AdaPreLoRA: Adafactor事前条件付き低ランク適応
• Authors: Ziyun Liu, Fengmiao Bian, Jian-Feng Cai,
• Abstract要約: 低ランク適応(LoRA)は2つの低ランク要因の積として重み更新をモデル化する。 AdaPreLoRAは、$W$にAdaeckerプリコンディショナー$H_t$を採用し、その結果のファクタ空間ソリューションファミリから選択することで、このギャップを埋める。
• 参考スコア（独自算出の注目度）: 1.9996763865817948
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Low-Rank Adaptation (LoRA) reparameterizes a weight update as a product of two low-rank factors, but the Jacobian $J_{G}$ of the generator mapping the factors to the weight matrix is rank-deficient, so the factor-space preconditioner $J_{G}^* {F}_t J_{G}$ induced by any ${W}$-space preconditioner ${F}_t$ is singular, and consequently the standard chain rule cannot be uniquely inverted to map a preconditioned ${W}$-space direction back to a factor-space update. We cast existing LoRA optimizers in a unified framework parameterized by two choices: (i) which invertible surrogate for $J_{G}^* {F}_t J_{G}$ to use, and (ii) which ${F}_t$ on ${W}$ to use. Existing methods occupy four families along these axes: factor-space adaptive updates, block-diagonal surrogates for $J_{G}^* J_{G}$, Frobenius-residual pseudoinverse methods, and Riemannian manifold constraint. Within this design space, a gradient-statistics-aware ${F}_t$ paired with a closed-form factor-space solve at ${O}((m+n)r)$ memory remains underexplored. We propose \textbf{AdaPreLoRA}, which fills this gap by adopting the Adafactor diagonal Kronecker preconditioner ${H}_t$ on ${W}$ and selecting from the resulting factor-space solution family the element minimizing an ${H}_t$-weighted imbalance between the two factor contributions; by construction, the resulting factor update is the closest LoRA approximation to the preconditioned ${W}$-space direction under the ${H}_t$-weighted norm. Across GPT-2 (E2E), Mistral-7B and Qwen2-7B (GLUE, ARC, GSM8K), and diffusion-model personalization, AdaPreLoRA is competitive with or improves over a representative set of LoRA optimizers while keeping peak GPU memory at the LoRA optimizer level.
• Abstract（参考訳）: Low-Rank Adaptation (LoRA) は2つの低ランク因子の積として重み更新を再パラメータ化するが、ジャコビアン$J_{G}$のジェネレータのジャコビアン$J_{G}$の重み行列へのマッピングは階数不足であるので、{W}$-space preconditioner $J_{G}^* {F}_t J_{G}$の誘導は任意の${W}$-space preconditioner ${F}_t$が特異であり、従って標準鎖則を一意に逆転して、プリコンディションされた${W}$-spaceの方向をファクター空間更新にマッピングすることはできない。 既存のLoRAオプティマイザを2つの選択肢でパラメータ化した統一フレームワークにキャストしました。 i)$J_{G}^* {F}_t J_{G}$を代用し、かつ (ii)${F}_t$ on ${W}$を使用する。 既存の方法はこれらの軸に沿った4つの族を占有する:因子空間適応更新、$J_{G}^* J_{G}$, Frobenius-residual pseudo inverse method, Riemannian manifold constraint。 この設計空間内では、勾配統計学を意識した${F}_t$と閉形式因子空間の${O}((m+n)r)$メモリとのペアは、まだ探索されていない。 Adafactor diagonal Kronecker preconditioner ${H}_t$ on ${W}$と結果の因子空間解族から選択した要素を2つの要因間の不均衡を最小化することにより、このギャップを埋める。 GPT-2 (E2E)、Mistral-7B、Qwen2-7B (GLUE, ARC, GSM8K)、拡散モデルパーソナライゼーションの他、AdaPreLoRAはLoRAオプティマイザの代表セットと競合するか改善し、ピークGPUメモリをLoRAオプティマイザレベルに維持する。

関連論文リスト

• Group Representational Position Encoding [66.33026480082025]
  グループ行動に基づく位置符号化のための統一的なフレームワークであるGRAPEを提案する。 i)乗法回転 (Multiplicative GRAPE) in $mathrmSO(d)$ と (ii)加法ロジットバイアス (Additive GRAPE) は一般線型群 $mathrmGL$ における一等作用から生じる。
  論文  参考訳（メタデータ） (2025-12-08T18:39:13Z)
• Evolution Strategies at the Hyperscale [57.75314521465674]
  本稿では,大集団にバックプロップフリーな最適化を拡大するための進化戦略(ES)アルゴリズムEGGROLLを紹介する。 ESは、微分不可能またはノイズの多い目的を処理できる強力なブラックボックス最適化手法のセットである。 EGGROLLはランダム行列を$Ain mathbbRmtimes r, Bin mathbbRntimes r$ with $rll min(m,n)$ とすることでこれらのボトルネックを克服し、低ランク行列摂動を$A Btop$とする。
  論文  参考訳（メタデータ） (2025-11-20T18:56:05Z)
• Parameter-free Algorithms for the Stochastically Extended Adversarial Model [59.81852138768642]
  拡張逆数(SEA)モデルの既存のアプローチは、ドメインの直径$D$や損失関数のリプシッツ定数$G$といった問題固有のパラメータの事前知識を必要とする。 パラメータを不要にするためにOptimistic Online Newton Step (OONS) アルゴリズムを利用するパラメータフリー手法を開発した。
  論文  参考訳（メタデータ） (2025-10-06T10:53:37Z)
• BoRA: Towards More Expressive Low-Rank Adaptation with Block Diversity [23.25105718896569]
  低ランク適応(LoRA)は、大規模言語モデルで広く使われているパラメータ効率のよい微調整(PEFT)手法である。 本稿では,LoRA重みのランクを,少数のパラメータで改善するBlock Diversified Low-Rank Adaptation (BoRA)を提案する。
  論文  参考訳（メタデータ） (2025-08-09T11:58:39Z)
• FedSVD: Adaptive Orthogonalization for Private Federated Learning with LoRA [68.44043212834204]
  Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。 Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。
  論文  参考訳（メタデータ） (2025-05-19T07:32:56Z)
• Efficient Over-parameterized Matrix Sensing from Noisy Measurements via Alternating Preconditioned Gradient Descent [17.422662003404586]
  雑音行列検出問題に対する交互事前条件勾配降下法(APGD)を提案する。 APGDは、既存の代替法と比較して、最も早く収束し、最も低い計算時間を達成する。
  論文  参考訳（メタデータ） (2025-02-01T15:44:39Z)
• CoRA: Optimizing Low-Rank Adaptation with Common Subspace of Large Language Models [7.108651381160281]
  Low-Rank Adaptation (LoRA) 戦略は、微調整された大型モデルにおける効率と性能のバランスをとる。 我々は、共有知識を活用してLoRAトレーニングを最適化するtextbfCoRAを提案する。 実験の結果,最初のアプローチは,パラメータの半減よりも効率が良く,元のLoRAファインチューニングと同じ効果が得られることがわかった。
  論文  参考訳（メタデータ） (2024-08-31T12:48:27Z)
• Efficient Frameworks for Generalized Low-Rank Matrix Bandit Problems [61.85150061213987]
  一般化線形モデル (GLM) フレームワークを用いて, citelu2021low で提案した一般化低ランク行列帯域問題について検討する。 既存のアルゴリズムの計算不可能性と理論的制約を克服するため,まずG-ESTTフレームワークを提案する。 G-ESTT は $tildeO(sqrt(d_1+d_2)3/2Mr3/2T)$ bound of regret を達成でき、G-ESTS は $tildeO を達成できることを示す。
  論文  参考訳（メタデータ） (2024-01-14T14:14:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。