論文の概要: Singular Geometry of Low-Rank Adaptation

• arxiv url: http://arxiv.org/abs/2610.32854v1
• Date: Fri, 23 Oct 2026 16:27:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.606568
• Title: Singular Geometry of Low-Rank Adaptation
• Title（参考訳）: 低ランク適応の特異幾何
• Abstract要約: ローランク適応(ローランク適応、LoRA)は、大規模ニューラルネットワークのパラメータ効率の高い微調整に対する標準的なアプローチである。 特異学習理論から実対数標準しきい値(RLCT)を用いて,この複雑性について検討する。 多層パーセプトロンとトランスフォーマーアーキテクチャの実験では、強い層依存の前方幾何学が示される。
• 参考スコア（独自算出の注目度）: 0.9176056742068813
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Low-rank adaptation (LoRA) is now a standard approach to parameter-efficient fine-tuning of large neural networks. Its low-rank factorization is inherently non-identifiable, making LoRA a singular statistical model whose learning complexity cannot be described by parameter dimension alone. We study this complexity using the real log canonical threshold (RLCT) from singular learning theory and how it depends on both the low-rank parameterization and the pretrained network. Under a local linearization, LoRA induces a low-rank trace regression model whose Kullback--Leibler geometry is controlled by a forward-backward covariance, constructed from activations and backpropagated sensitivities at the adapted layer. This covariance determines which low-rank perturbations are statistically observable. When it is nondegenerate along the relevant low-rank directions, we recover the classical learning complexity of reduced-rank regression; when its kernel meets these directions, additional statistically indistinguishable parameters change the singular geometry. We characterize this geometry locally through observable tangent directions and a residual singularity, and globally through affine linear sections of determinantal varieties. The global learning complexity need not be determined at a ground-truth parameter, as singularities on another rank stratum can dominate. We also introduce a curvature-corrected multi-temperature estimator of the RLCT. Experiments on multilayer perceptron and transformer architectures reveal strongly layer-dependent forward-backward geometry and show that ambient covariance degeneracy does not imply degeneracy along the low-rank directions relevant to adaptation.
• Abstract（参考訳）: ローランク適応(ローランク適応、LoRA)は、大規模ニューラルネットワークのパラメータ効率の高い微調整に対する標準的なアプローチである。 その低ランク因子化は本質的には識別不可能であり、LoRAは学習の複雑さをパラメータ次元だけでは説明できない特異な統計モデルである。 我々は,この複雑性を特異学習理論から実対数標準しきい値(RLCT)を用いて検討し,低ランクパラメータ化と事前学習ネットワークに依存する方法について検討した。 局所線形化の下では、LoRAはKulback-Leibler幾何学が前向きの共分散によって制御される低ランクなトレース回帰モデルを誘導する。 この共分散は、どの低ランク摂動が統計的に観測可能であるかを決定する。 関連する低ランク方向に沿って非退化すると、縮小ランク回帰の古典的な学習複雑性を回復し、そのカーネルがこれらの方向を満たすと、追加の統計的に区別できないパラメータが特異幾何を変化させる。 我々は、この幾何学を観測可能な接角方向と残留特異点を通して局所的に特徴付け、世界規模で行列多様体のアフィン線型部分を通して特徴付ける。 グローバルな学習の複雑さは、他の階級層上の特異点が支配的であるため、地平線パラメータで決定する必要はない。 RLCTの曲率補正多温度推定器も導入した。 多層パーセプトロンおよびトランスフォーマーアーキテクチャの実験では、強い層依存の前方方向幾何学が示され、環境共分散縮退が適応に関連する低ランク方向に沿って縮退しないことを示す。

関連論文リスト

• Learning Bidirectional Causal Interactions with Heteroscedastic Neural Networks [1.0356094515229846]
  本稿では,ヘテロセダスティックなニューラル同時方程式推定器であるSEM-DNNを提案する。 外部機器を使わずに相互構造相互作用を学習する。 シーレアルスキャナーデータへの応用は、同時期の価格-セールフィードバックを研究する方法を示している。
  論文  参考訳（メタデータ） (2026-07-24T13:53:58Z)
• Bypassing Minimization Bias: A Shift-Invariant Variance Estimator for Off-Equilibrium Local Learning Coefficients [0.0]
  シフト不変変数推定器(SIVE) SIVE は分散に基づく局所 LLC プローブで、分散演算子を通して未知の加法基底線を構造的に除去する。 ディープニューラルネットワークの適用により、SIVEは、トレーニング全体を通して構造的なフェーズ遷移を追跡する、堅牢でローカライズされたオンライン診断を提供する。
  論文  参考訳（メタデータ） (2026-06-21T08:32:34Z)
• SDS-LoRA: Overcoming Anisotropic Gradient Scaling in Low-Rank Adaptation [64.33799467286265]
  Low-Rank Adaptation (LoRA)は、大規模な事前訓練されたモデルの下流タスクへの効率的な適応を可能にする。 完全な微調整勾配が低ランク行列に逆伝播すると,その特異値によって誘導される異方性スケーリングを受けることを示す。 本稿では,後方パスから特異値を構造的に分離する新しい低ランクパラメータ化SDS-LoRAを提案する。
  論文  参考訳（メタデータ） (2026-06-15T09:27:50Z)
• Generalization in Nonlinear Least Squares via Learned Feature Geometry [15.966075413898336]
  リッジ規則化非線形最小二乗モデルのオンアレージアルゴリズムによる一般化について検討する。 勾配モデルの幾何学を反映したデータ依存実効次元を用いて局所最小化器の誤差境界を導出する。
  論文  参考訳（メタデータ） (2026-06-07T19:33:36Z)
• VIKING: Deep variational inference with stochastic projections [48.946143517489496]
  変分平均場近似は、現代の過度にパラメータ化されたディープニューラルネットワークと競合する傾向がある。 パラメータ空間の2つの独立線型部分空間を考える単純な変分族を提案する。 これにより、オーバーパラメトリゼーションを反映した、完全に相関した近似後部を構築することができる。
  論文  参考訳（メタデータ） (2025-10-27T15:38:35Z)
• A U-turn on Double Descent: Rethinking Parameter Counting in Statistical Learning [68.76846801719095]
  二重降下がいつどこで起こるのかを正確に示し、その位置が本質的に閾値 p=n に結び付けられていないことを示す。 これは二重降下と統計的直観の間の緊張を解消する。
  論文  参考訳（メタデータ） (2023-10-29T12:05:39Z)
• Machine learning in and out of equilibrium [58.88325379746631]
  我々の研究は、統計物理学から適応したフォッカー・プランク法を用いて、これらの平行線を探索する。 我々は特に、従来のSGDでは平衡が切れている長期的限界におけるシステムの定常状態に焦点を当てる。 本稿では,ミニバッチの置き換えを伴わない新しいランゲヴィンダイナミクス(SGLD)を提案する。
  論文  参考訳（メタデータ） (2023-06-06T09:12:49Z)
• On the Implicit Geometry of Cross-Entropy Parameterizations for Label-Imbalanced Data [26.310275682709776]
  ラベインバランスデータの重み付きCE大モデルに代わるものとして,クロスエントロピー(CE)損失のロジット調整パラメータ化が提案されている。 マイノリティ不均衡比に関係なく,ロジット調整パラメータ化を適切に調整して学習することができることを示す。
  論文  参考訳（メタデータ） (2023-03-14T03:04:37Z)
• Implicit Regularization for Group Sparsity [33.487964460794764]
  正方形回帰損失に対する勾配勾配は, 明示的な正則化を伴わずに, 群間隔構造を持つ解に偏りを示す。 一般雑音設定における回帰問題の勾配ダイナミクスを解析し,最小最適誤差率を求める。 サイズ 1 群の退化の場合、我々の手法は疎線形回帰の新しいアルゴリズムを生み出す。
  論文  参考訳（メタデータ） (2023-01-29T20:54:03Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。