論文の概要: How Finite-Rank Bottlenecks Shape the Low-Rank Adaptation Landscape

• arxiv url: http://arxiv.org/abs/2610.23343v1
• Date: Fri, 16 Oct 2026 11:50:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.907786
• Title: How Finite-Rank Bottlenecks Shape the Low-Rank Adaptation Landscape
• Title（参考訳）: フィニットランドのボトルネックはどのようにして低ランク適応景観を形作っているか
• Abstract要約: 低ランク適応(LoRA)は、大きな事前訓練されたモデルのパラメータ効率の高い微調整の標準手法となっている。 バックボーンが凍結されると、損失は、凍結活性化によって誘導される有限ランク線型写像を通してのみ、各重み行列を見ることができる。 これにより、この写像の階数によって階数が制御される大域最小化器が得られる。
• 参考スコア（独自算出の注目度）: 3.769109917964208
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Low-rank adaptation (LoRA) has become the standard method for parameter-efficient fine-tuning of large pretrained models, yet theoretical explanations for why low-rank updates suffice remain incomplete. Most existing analyses rely on the Neural Tangent Kernel (NTK) regime, which linearizes the network around the pretrained weights. In this work, we take a different approach that requires no linearization: our key observation is that, once the backbone is frozen, the loss sees each adapted weight matrix only through a finite-rank linear map induced by the frozen activations. Trace-norm regularization then forces the optimizer to pick a low-rank matrix among all matrices that produce the same observed output. This yields global minimizers whose ranks are controlled by the rank of this map, which we call the \emph{bottleneck rank}, rather than the sample size. For multi-head attention, we obtain tighter rank upper bounds by exploiting two additional invariances: row-wise softmax is insensitive to additive row constants in the score matrix, and value updates are observable only after attention weighting and frozen output projection. For the factorized LoRA objective with weight decay, we prove a complementary result on the nonconvex side: after an arbitrarily small generic positive semidefinite perturbation, every first-order stationary point is rank-deficient once the LoRA rank exceeds a threshold determined by the bottleneck rank. Finally, we show that global minimizers of the perturbed objective are near-optimal for the original trace-norm problem, and we provide uniform generalization bounds governed by the spectral structure of the frozen features.
• Abstract（参考訳）: 低ランク適応(LoRA)は、大きな事前訓練されたモデルのパラメータ効率の良い微調整の標準手法となっているが、なぜ低ランク更新が不完全であるのかは理論的に説明されている。 既存の分析のほとんどは、事前訓練された重みの周りのネットワークを線形化するニューラル・タンジェント・カーネル(NTK)方式に依存している。 この研究において、線形化を必要としない別のアプローチをとる:我々のキーとなる観察は、バックボーンが凍結されると、凍結活性化によって誘導される有限ランク線型写像を通してのみ、それぞれの適応された重み行列を見ることである。 トレースノルム正規化は、オプティマイザに同じ出力を生成するすべての行列の中で低ランク行列を選択するように強制する。 これにより、この写像の階数によって階数が制御される大域最小化器が得られるが、これはサンプルサイズではなく、'emph{bottleneck rank} と呼ばれる。 重み付けと凍結出力プロジェクションの後にのみ値更新が観測可能である。 重み劣化を伴う因子化 LoRA の目的に対して、非凸面上の相補的な結果が証明される: 任意に小さな正の半定値摂動の後、LoRA ランクがボトルネックランクで決定されたしきい値を超えると、各一階定常点がランク不足となる。 最後に、摂動対象の大域的最小化器が元のトレースノルム問題に対してほぼ最適であることを示し、凍結した特徴のスペクトル構造に支配される一様一般化境界を提供する。

関連論文リスト

• Weighted Empirical Risk Minimization for Machine Learning under Long-Range Dependence: Exact Pathwise Rates and Learning-Error Geometry [0.0]
  我々は、長距離依存データに対して、定期的に重み付けされた経験的リスクによって訓練された滑らかなパラメトリックモデルに対して、正確な概日理論を開発する。 トレーニング観測は、定常ガウス列の固定有限ウィンドウから生成される。 許容電力指数に対する大域的最適化は、全ての指数が正であることを示す。
  論文  参考訳（メタデータ） (2026-09-09T19:16:17Z)
• SDS-LoRA: Overcoming Anisotropic Gradient Scaling in Low-Rank Adaptation [64.33799467286265]
  Low-Rank Adaptation (LoRA)は、大規模な事前訓練されたモデルの下流タスクへの効率的な適応を可能にする。 完全な微調整勾配が低ランク行列に逆伝播すると,その特異値によって誘導される異方性スケーリングを受けることを示す。 本稿では,後方パスから特異値を構造的に分離する新しい低ランクパラメータ化SDS-LoRAを提案する。
  論文  参考訳（メタデータ） (2026-06-15T09:27:50Z)
• Gradient Clipping Beyond Vector Norms: A Spectral Approach for Matrix-Valued Parameters [48.3175117923623]
  ほとんどの勾配クリッピング規則は、全てのパラメータを重ベクトルとして扱い、現代のベクトルの行列構造を無視する。 実験により、データのアウトリーチは、少数のリード特異値のみを増幅することを示した。 この現象を動機として,特異値で安定化するクリッピングを提案する。
  論文  参考訳（メタデータ） (2026-05-12T09:24:59Z)
• Regularized Online RLHF with Generalized Bilinear Preferences [68.44113000390544]
  一般的な嗜好を伴う文脈的オンラインRLHFの問題を考える。 一般化された双線形選好モデルを用いて、低ランクなスキュー対称行列による選好を捉える。 グリーディポリシーの双対ギャップは推定誤差の正方形によって有界であることを示す。
  論文  参考訳（メタデータ） (2026-02-26T15:27:53Z)
• Matrix Completion via Nonsmooth Regularization of Fully Connected Neural Networks [7.349727826230864]
  ディープニューラルネットワークのような非線形推定器を使うことで、性能の向上が達成できることが示されている。 本稿では,標準中間表現の観点から,FCNNモデルの正規化によるオーバーフィット制御を行う。 本シミュレーションは,既存の線形および非線形アルゴリズムと比較して,提案アルゴリズムの優位性を示す。
  論文  参考訳（メタデータ） (2024-03-15T12:00:37Z)
• The Inductive Bias of Flatness Regularization for Deep Matrix Factorization [58.851514333119255]
  この研究は、ディープ線形ネットワークにおけるヘッセン解の最小トレースの帰納バイアスを理解するための第一歩となる。 測定値の標準等尺性(RIP)が1より大きいすべての深さについて、ヘッセンのトレースを最小化することは、対応する終端行列パラメータのシャッテン 1-ノルムを最小化するのとほぼ同値であることを示す。
  論文  参考訳（メタデータ） (2023-06-22T23:14:57Z)
• Global Convergence of Sub-gradient Method for Robust Matrix Recovery: Small Initialization, Noisy Measurements, and Over-parameterization [4.7464518249313805]
  サブグラディエント法(Sub-gradient method, SubGM)は, 限られた測定値から低ランク行列を復元するために用いられる。 我々は、SubGMが任意の大きさの高密度ノイズ値の下でも、真の解に収束することを示す。
  論文  参考訳（メタデータ） (2022-02-17T17:50:04Z)
• Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
  カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。 我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。 MRP のサブクラスに対する minimax の下位境界を証明する。
  論文  参考訳（メタデータ） (2021-09-24T14:48:20Z)
• On Linear Stochastic Approximation: Fine-grained Polyak-Ruppert and Non-Asymptotic Concentration [115.1954841020189]
  The inequality and non-asymptotic properties of approximation procedure with Polyak-Ruppert averaging。 一定のステップサイズと無限大となる反復数を持つ平均的反復数に対する中心極限定理(CLT)を証明する。
  論文  参考訳（メタデータ） (2020-04-09T17:54:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。