論文の概要: Sharp Generalization Bounds for Foundation Models with Asymmetric Randomized Low-Rank Adapters

• arxiv url: http://arxiv.org/abs/2506.14530v1
• Date: Tue, 17 Jun 2025 13:55:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-18 17:34:59.499204
• Title: Sharp Generalization Bounds for Foundation Models with Asymmetric Randomized Low-Rank Adapters
• Title（参考訳）: 非対称ランダム化低ランク適応器を用いた基礎モデルのシャープ一般化境界
• Authors: Anastasis Kratsios, Tin Sum Cheng, Aurelien Lucchi, Haitz Sáez de Ocáriz Borde,
• Abstract要約: Low-Rank Adaptation (LoRA) は、基礎モデルのパラメータ効率の高い微調整技術として広く採用されている。 最近の研究は、LoRAの低ランク因子の初期化において固有の非対称性を強調している。 本稿では,凍結ランダム因子をもつ非対称ロラの包括的理論的特徴付けに焦点をあてる。
• 参考スコア（独自算出の注目度）: 7.687215328455751
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Low-Rank Adaptation (LoRA) has emerged as a widely adopted parameter-efficient fine-tuning (PEFT) technique for foundation models. Recent work has highlighted an inherent asymmetry in the initialization of LoRA's low-rank factors, which has been present since its inception and was presumably derived experimentally. This paper focuses on providing a comprehensive theoretical characterization of asymmetric LoRA with frozen random factors. First, while existing research provides upper-bound generalization guarantees based on averages over multiple experiments, the behaviour of a single fine-tuning run with specific random factors remains an open question. We address this by investigating the concentration of the typical LoRA generalization gap around its mean. Our main upper bound reveals a sample complexity of $\tilde{\mathcal{O}}\left(\frac{\sqrt{r}}{\sqrt{N}}\right)$ with high probability for rank $r$ LoRAs trained on $N$ samples. Additionally, we also determine the fundamental limits in terms of sample efficiency, establishing a matching lower bound of $\mathcal{O}\left(\frac{1}{\sqrt{N}}\right)$. By more closely reflecting the practical scenario of a single fine-tuning run, our findings offer crucial insights into the reliability and practicality of asymmetric LoRA.
• Abstract（参考訳）: Low-Rank Adaptation (LoRA)は、基礎モデルに広く採用されているパラメータ効率細調整(PEFT)技術である。 近年の研究では、LoRAの低ランク因子の初期化に固有の非対称性が強調されている。 本稿では,凍結ランダム因子をもつ非対称ロラの包括的理論的特徴付けに焦点をあてる。 第一に、既存の研究は複数の実験の平均に基づいて上向きの一般化を保証するが、特定のランダム要因を持つ単一微調整ランの挙動は未解決の問題である。 この問題に対処するためには、その平均付近の典型的な LoRA 一般化ギャップの濃度を調査する。 我々の主上限は、$N$サンプルで訓練された$r$LoRAsのランクの高い$\tilde{\mathcal{O}}\left(\frac{\sqrt{r}}{\sqrt{N}}\right)$のサンプル複雑性を明らかにする。 さらに、サンプル効率の観点から基本的な限界も決定し、一致する$\mathcal{O}\left(\frac{1}{\sqrt{N}}\right)$を確立する。 単一微調整ランの実践シナリオをより深く反映することにより,非対称LoRAの信頼性と実用性に関する重要な知見を提供する。

関連論文リスト

• How many measurements are enough? Bayesian recovery in inverse problems with general distributions [0.7366405857677226]
  一般先行演算子,フォワード演算子,雑音分布の逆問題に対するベイズ復元のサンプル複雑性について検討した。 そこではDeep Neural Network (DNN) による潜伏分布のプッシュフォワードとして $mathcalP$ が用いられる。
  論文  参考訳（メタデータ） (2025-05-15T18:11:54Z)
• Randomized Asymmetric Chain of LoRA: The First Meaningful Theoretical Framework for Low-Rank Adaptation [58.288682735160585]
  Low-Rank Adaptation (LoRA) は、ファインチューニングモデルの一般的なテクニックである。 LoRAは、フルパラメータの微調整と比較すると、しばしば実行されます。 本稿では,LoRA手法の適応率を厳密に分析するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-10T18:51:53Z)
• Sparse PCA with Oracle Property [115.72363972222622]
  新規な正規化を伴うスパースPCAの半定緩和に基づく推定器群を提案する。 我々は、家族内の別の推定器が、スパースPCAの標準半定緩和よりも、より急激な収束率を達成することを証明した。
  論文  参考訳（メタデータ） (2023-12-28T02:52:54Z)
• Optimal Multi-Distribution Learning [88.3008613028333]
  マルチディストリビューション学習は、$k$の異なるデータ分散における最悪のリスクを最小限に抑える共有モデルを学ぶことを目指している。 本稿では, (d+k)/varepsilon2の順に, サンプルの複雑さを伴って, ヴァレプシロン最適ランダム化仮説を導出するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-12-08T16:06:29Z)
• The Expressive Power of Low-Rank Adaptation [11.371811534310078]
  パラメータ効率のよい微調整法である低ランク適応は、微調整事前学習モデルの代表的な手法として登場した。 本稿では,LoRAの表現力を理論的に解析することで,ギャップを埋める第一歩を踏み出す。 トランスフォーマーネットワークでは、任意のモデルが、ランク=$(fractextembedding size2)$ LoRAで同じサイズのターゲットモデルに適応可能であることを示す。
  論文  参考訳（メタデータ） (2023-10-26T16:08:33Z)
• Model-Based Multi-Agent RL in Zero-Sum Markov Games with Near-Optimal Sample Complexity [67.02490430380415]
  モデルに基づくMARLは、Nash平衡値(NE)を求めるために$tilde O(|S||B|(gamma)-3epsilon-2)$のサンプル複雑性を実現する。 また、アルゴリズムが報酬に依存しない場合、そのようなサンプル境界は最小値(対数因子まで)であり、アルゴリズムは報酬知識のない遷移サンプルを問合せする。
  論文  参考訳（メタデータ） (2020-07-15T03:25:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。