論文の概要: Rethinking the Rank Threshold for LoRA Fine-Tuning

• arxiv url: http://arxiv.org/abs/2605.03724v1
• Date: Tue, 05 May 2026 13:09:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-06 19:35:43.94376
• Title: Rethinking the Rank Threshold for LoRA Fine-Tuning
• Title（参考訳）: LoRAファインチューニングにおけるランク閾値の再考
• Authors: Juneyoung Park,
• Abstract要約: ニューラルタンジェントカーネル機構におけるLoRAファインチューニングの最近のランドスケープ解析では、二乗誤差損失下での急激な局所最小値の欠如に対して、LoRAランクの$r(r+1)/2 > KN$が十分条件$r(r+1)/2 となる。 この状態において、所定のランクを$r = 1$に下げる3つの結果を与える。
• 参考スコア（独自算出の注目度）: 4.221888521641282
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: A recent landscape analysis of LoRA fine-tuning in the neural tangent kernel regime establishes a sufficient condition $r(r+1)/2 > KN$ on the LoRA rank $r$ for the absence of spurious local minima under squared-error loss, prescribing $r \geq 12$ on canonical few-shot RoBERTa setups. The condition is stated for general output dimension $K$, so its sharpness in any particular regime, and its practical implication for the cross-entropy loss actually used in fine-tuning, are open. We give three results that together reduce the prescribed rank to $r = 1$ for binary classification in this regime. First, replacing the symmetric Sard-form count with the non-symmetric LoRA manifold dimension yields a strictly weaker capacity requirement, $r(m+n) - r^2 > C^* \cdot KN$ with $C^* \approx 1.35$ under Gaussian-iid features, satisfied at $r = 1$ on canonical setups. Second, in the cross-entropy setting the Polyak--Łojasiewicz inequality removes the rank threshold entirely. Third, a Rademacher-complexity bound predicts rank-one variance optimality precisely when the bias term is saturated, which is the case for binary classification but not for $K > 2$. Empirically, across four GLUE-style binary tasks, three encoder architectures, and at scale on RoBERTa-large, rank one is competitive with the existing prescription $r = 12$; on multi-class MNLI the optimal rank shifts above one, also as predicted. The binary-regime guarantees are conditional on standard NTK assumptions; the multi-class extension is left to future work.
• Abstract（参考訳）: ニューラルタンジェントカーネル機構におけるLoRAファインチューニングの最近のランドスケープ解析では、正方形エラー損失下でのスプリアス局所ミニマの欠如に対して、LoRAランクの$r(r+1)/2 > KN$が十分条件$r(r+1)/2 となり、標準的数ショットのRoBERTaセットアップでは$r \geq 12$が規定される。 この条件は一般的な出力次元$K$に対して記述されるので、特定の状態におけるシャープさと、実際に微調整に使用されるクロスエントロピー損失に対する実践的意味は開である。 この状態において、所定のランクを$r = 1$に下げる3つの結果を与える。 まず、対称サード形式を非対称ロラ多様体次元に置き換えると、$r(m+n) - r^2 > C^* \cdot KN$をガウスイド特徴の下で$C^* \approx 1.35$とし、標準設定で$r = 1$で満足する。 第二に、クロスエントロピー設定において、ポリアック-ジョジャシエヴィチの不等式はランク閾値を完全に除去する。 第3に、Radecher-complexity 境界は、バイアス項が飽和しているとき、正確にランク1の変分最適性を予測する。 実証的には、4つのGLUEスタイルのバイナリタスク、3つのエンコーダアーキテクチャ、そしてRoBERTa-largeのスケールにおいて、ランク1は既存の処方料$r = 12$と競合する。 バイナリ登録保証は標準のNTK仮定で条件付きであり、マルチクラス拡張は将来の作業に委ねられる。

関連論文リスト

• Logistic Bandits with $\tilde{O}(\sqrt{dT})$ Regret without Context Diversity Assumptions [1.0098114696565863]
  SupSplitLogは、コンテキストの多様性を仮定せずに$tildemathcalO(sqrtdT)$ regretを達成するロジスティックバンディットのための最初のアルゴリズムである。 SupSplitLogは、後悔の上限における次元$d$への依存の観点から、既存のアルゴリズムを厳密に改善する。
  論文  参考訳（メタデータ） (2026-04-24T02:21:59Z)
• Regularized Online RLHF with Generalized Bilinear Preferences [68.44113000390544]
  一般的な嗜好を伴う文脈的オンラインRLHFの問題を考える。 一般化された双線形選好モデルを用いて、低ランクなスキュー対称行列による選好を捉える。 グリーディポリシーの双対ギャップは推定誤差の正方形によって有界であることを示す。
  論文  参考訳（メタデータ） (2026-02-26T15:27:53Z)
• Optimal Unconstrained Self-Distillation in Ridge Regression: Strict Improvements, Precise Asymptotics, and One-Shot Tuning [61.07540493350384]
  自己蒸留(英: Self-distillation, SD)とは、教師自身の予測と地道の混合で学生を訓練する過程である。 任意の予測リスクに対して、各正規化レベルにおいて、最適に混合された学生がリッジ教師に改善されることが示される。 本稿では,グリッド探索やサンプル分割,再構成なしに$star$を推定する一貫したワンショットチューニング手法を提案する。
  論文  参考訳（メタデータ） (2026-02-19T17:21:15Z)
• Provably Efficient Algorithms for S- and Non-Rectangular Robust MDPs with General Parameterization [85.91302339486673]
  我々は、s-正方形および非正方形不確実性集合の下で、一般的な政策パラメータ化を伴うロバストマルコフ決定過程(RMDP)について検討する。 無限状態空間に拡張する一般政策パラメタライゼーションに対する新しいリプシッツ・リプシッツ・スムースネス特性を証明した。 本研究では,S-正方形不確かさに対する勾配降下アルゴリズムと非正方形不確かさに対するFrank-Wolfeアルゴリズムを設計する。
  論文  参考訳（メタデータ） (2026-02-11T21:44:20Z)
• Best-of-Both-Worlds Algorithms for Linear Contextual Bandits [11.94312915280916]
  両世界のベスト・オブ・ワールドズ・アルゴリズムを$K$武器付き線形文脈包帯に対して検討する。 我々のアルゴリズムは、敵対的体制と敵対的体制の両方において、ほぼ最適の後悔の限界を提供する。
  論文  参考訳（メタデータ） (2023-12-24T08:27:30Z)
• Variance-aware robust reinforcement learning with linear function approximation with heavy-tailed rewards [6.932056534450556]
  AdaOFUL と VARA という2つのアルゴリズムを,重み付き報酬の存在下でのオンラインシーケンシャルな意思決定のために提案する。 AdaOFULは、$widetildemathcalObigの最先端の後悔境界を達成する。 VarA は $widetildemathcalO(dsqrtHmathcalG*K)$ のより厳密な分散を考慮した後悔境界を達成する。
  論文  参考訳（メタデータ） (2023-03-09T22:16:28Z)
• Provably Breaking the Quadratic Error Compounding Barrier in Imitation Learning, Optimally [58.463668865380946]
  状態空間 $mathcalS$ を用いたエピソードマルコフ決定過程 (MDPs) における模擬学習の統計的限界について検討する。 rajaraman et al (2020) におけるmdアルゴリズムを用いた準最適性に対する上限 $o(|mathcals|h3/2/n)$ を定式化する。 Omega(H3/2/N)$ $mathcalS|geq 3$ であるのに対して、未知の遷移条件はよりシャープレートに悩まされる。
  論文  参考訳（メタデータ） (2021-02-25T15:50:19Z)
• Sharp Statistical Guarantees for Adversarially Robust Gaussian Classification [54.22421582955454]
  逆向きに頑健な分類の過剰リスクに対する最適ミニマックス保証の最初の結果を提供する。 結果はAdvSNR(Adversarial Signal-to-Noise Ratio)の項で述べられており、これは標準的な線形分類と逆数設定との類似の考え方を一般化している。
  論文  参考訳（メタデータ） (2020-06-29T21:06:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。