論文の概要: What Does the Rank Buy? A Spectral and Distributional Analysis of Low-Rank Adaptation

• arxiv url: http://arxiv.org/abs/2609.32002v1
• Date: Fri, 25 Sep 2026 21:06:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 03:53:44.865513
• Title: What Does the Rank Buy? A Spectral and Distributional Analysis of Low-Rank Adaptation
• Title（参考訳）: ランクとは何か? : 低ランク適応のスペクトルと分布分析
• Abstract要約: 因子単位の標準予算の下では、重みの減衰とノルム制御の理想化が破滅することを示します。 このような予算の下では、LoRAが到達できる更新は、原子力ノームボール内の最高級の行列である。 製品上で、要素単位の予算を共同予算に置き換えることで、データ依存の、ランクに敏感な複雑さが回復することを示す。
• 参考スコア（独自算出の注目度）: 0.8675989121264287
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The rank $r$ in LoRA is widely treated as a capacity control: a smaller rank is assumed to yield a simpler model that generalizes better. We show that, under hard per-factor norm budgets---the idealization of the weight decay and norm control used in practice---this intuition breaks down. The reason is structural: under such budgets, the updates LoRA can reach are exactly the matrices of rank at most $r$ inside a nuclear-norm ball, and every complexity and displacement functional we analyze is maximized over this set by a rank-one update---so the rank cap never binds. The consequences follow directly. The linear-readout model class we study is identical for every $r \ge 1$, its Rademacher complexity carries no dependence on $r$, and the distance the adaptation can move the source distribution obeys a rank-independent upper bound that we show is sharp. If rank does not control capacity, where does it act? We identify two places. Statistically, replacing the per-factor budgets with a joint budget on the product restores a data-dependent, rank-sensitive complexity bound---though the gain appears only for well-spread feature distributions, and the worst case remains rank-free. Spectrally, rank sets the price of adaptation: canceling the leading singular directions of the pretrained weight requires both sufficient rank and sufficient budget. We bound the smallest rank achieving a desired source--target alignment, with upper and lower bounds that match under two-sided spectral decay. Together, these results recast rank as governing which updates are reachable and what cancellation costs---not how much capacity the model has.
• Abstract（参考訳）: LoRAの$r$はキャパシティコントロールとして広く扱われる:より小さなランクはより単純なモデルをもたらすと仮定される。 因子ごとの基準予算の下では、------実践で使われる重みの減衰とノルム制御の理想化------ この直観は崩壊する。 そのような予算の下では、LoRAが到達できる更新は、核のノームボール内のランクの行列で、我々が分析する複雑さと変位関数は、ランク1の更新によってこのセットで最大化されます。 結果はそのまま続く。 線形可読モデルクラスは $r \ge 1$ ごとに同一であり、Radecher の複雑性は $r$ に依存しない。 ランクがキャパシティを制御していない場合、どこで動作しますか? 私たちは2つの場所を特定します。 統計的には、要素単位の予算を製品上の共同予算に置き換えることで、データに依存した、ランクに敏感な複雑性が回復する。 事前訓練された重量の先頭の特異な方向をキャンセルするには十分なランクと十分な予算が必要である。 所望のソースアライメントを達成する最小のランクを、両面のスペクトル減衰の下で一致する上と下の境界で有界とする。 これらの結果は、どの更新が到達可能か、どのキャンセルコストがモデルにどの程度のキャパシティがあるのかを規定していると再認識する。

関連論文リスト

• How Much Rank Does LoRA Need? Rank-Error Bounds for Transformer Attention [0.0]
  本稿では,Transformer の注目のために各 LoRA ランクで達成可能な近似誤差のタスク依存理論を提案する。 また、この分析を融合したマルチヘッドLoRAや、共同クエリ/キー更新にも拡張する。
  論文  参考訳（メタデータ） (2026-08-26T17:25:03Z)
• Tight Sample Complexity for Low-Rank Adaptation: Matching Bounds and Rank Selection [0.0]
  Low-Rank Adaptation (LoRA) は、大規模な事前訓練モデルを微調整するための標準的なメカニズムとなっている。 ロラ階数 r をどうやって選ぶかという問題には正式な答えがない。 ランクr LoRA に対する経験的リスク最小化器の過大なリスクに対する O(rd/n) の上限を証明した。
  論文  参考訳（メタデータ） (2026-07-30T04:56:27Z)
• SMoA: Spectrum Modulation Adapter for Parameter-Efficient Fine-Tuning [57.85676271833619]
  低ランク適応 (LoRA) は、全パラメータの微調整をシミュレートするために低ランク更新法を用いる。 ランクが大きくなるにつれて、より主特異な方向が保存され、一般にモデルの性能が向上する。 textbfSpectrum textbfModulation textbfAdapterを提案する。
  論文  参考訳（メタデータ） (2026-05-20T13:19:28Z)
• AR1-ZO: Topology-Aware Rank-1 Zeroth-Order Queries for High-Rank LoRA Fine-Tuning [17.98348342954707]
  本稿では,このボトルネックが外部部分空間の必要性というよりも,測定トポロジの問題であることを示す。 AR1-ZOペアは、階数不変のアクティブシグナルを復元する、トポロジ対応のスケール$=r$と1$の原子クエリを交互に行う。 OPTモデルとQwen3モデルの実験により、信号機構が検証され、AR1-ZOが高ランクのLoRAを効果的にすることを示す。
  論文  参考訳（メタデータ） (2026-05-19T12:39:30Z)
• MatryoshkaLoRA: Learning Accurate Hierarchical Low-Rank Representations for LLM Fine-Tuning [45.41768510181293]
  MatryoshkaLoRAは、固定された慎重に作られた対角行列を既存のLoRAアダプタ間で$P$で挿入することで、正確な階層的な低ランク表現を学習する。 以上の結果から,MatryoshkaLoraは従来のランク適応手法よりも,より正確な階層的な低ランク表現を学習できることが示唆された。
  論文  参考訳（メタデータ） (2026-05-08T15:13:01Z)
• Rethinking the Rank Threshold for LoRA Fine-Tuning [4.221888521641282]
  ニューラルタンジェントカーネル機構におけるLoRAファインチューニングの最近のランドスケープ解析では、二乗誤差損失下での急激な局所最小値の欠如に対して、LoRAランクの$r(r+1)/2 > KN$が十分条件$r(r+1)/2 となる。 この状態において、所定のランクを$r = 1$に下げる3つの結果を与える。
  論文  参考訳（メタデータ） (2026-05-05T13:09:46Z)
• Reinforcement Learning from Multi-Source Imperfect Preferences: Best-of-Both-Regimes Regret [71.69884486156359]
  我々は, 累積的不完全化予算を用いて, エンフルティソースの不完全性選好からエピソードRLを考察した。 我々は,最良な登録行動を示す,後悔$tildeO(sqrtK/M+)$の統一アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2026-03-20T19:34:53Z)
• A Relative-Budget Theory for Reinforcement Learning with Verifiable Rewards in Large Language Model Reasoning [48.70183357021465]
  強化学習(Reinforcement Learning, RL)は、大規模言語モデルの推論能力を改善するための主要なパラダイムである。 本稿では, 相対予算$:= H/mathbbE[T]$という単一の量を用いて, この変動を説明する式式予算理論を提案する。 報奨の分散と情報トラジェクトリの確率を制御して,$$がサンプル効率を決定することを示す。
  論文  参考訳（メタデータ） (2026-02-02T01:31:52Z)
• Automatic Rank Determination for Low-Rank Adaptation via Submodular Function Maximization [56.78271181959529]
  SubLoRAは、サブモジュール関数に基づくローランド適応(LoRA)のランク決定方法である。 提案手法は, 理論的基礎, 2次精度, 実用計算効率の両立を図っている。
  論文  参考訳（メタデータ） (2025-07-02T15:56:40Z)
• The Best of Both Worlds: Reinforcement Learning with Logarithmic Regret and Policy Switches [84.54669549718075]
  漸進的強化学習(RL)における後悔の最小化問題について検討する。 一般関数クラスと一般モデルクラスで学ぶことに集中する。 対数的後悔境界は$O(log T)$スイッチングコストのアルゴリズムによって実現可能であることを示す。
  論文  参考訳（メタデータ） (2022-03-03T02:55:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。