論文の概要: LoRA-DA: Data-Aware Initialization for Low-Rank Adaptation via Asymptotic Analysis

• arxiv url: http://arxiv.org/abs/2510.24561v1
• Date: Tue, 28 Oct 2025 15:55:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-29 15:35:37.262231
• Title: LoRA-DA: Data-Aware Initialization for Low-Rank Adaptation via Asymptotic Analysis
• Title（参考訳）: LoRA-DA:漸近解析による低ランク適応のためのデータ認識初期化
• Authors: Qingyue Zhang, Chang Chu, Tianren Peng, Qi Li, Xiangyang Luo, Zhihao Jiang, Shao-Lun Huang,
• Abstract要約: データ認識型LoRAの理論的枠組みを確立した。 そこで我々は,目標領域の少数のサンプルから最適化問題の項を推定するアルゴリズムLoRA-DAを開発した。 さらなる研究により、より速く、より安定な収束、ランク間の堅牢性、LoRA-DAのオーバーヘッドはわずかである。
• 参考スコア（独自算出の注目度）: 33.708800231646606
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the widespread adoption of LLMs, LoRA has become a dominant method for PEFT, and its initialization methods have attracted increasing attention. However, existing methods have notable limitations: many methods do not incorporate target-domain data, while gradient-based methods exploit data only at a shallow level by relying on one-step gradient decomposition, which remains unsatisfactory due to the weak empirical performance of the one-step fine-tuning model that serves as their basis, as well as the fact that these methods either lack a rigorous theoretical foundation or depend heavily on restrictive isotropic assumptions. In this paper, we establish a theoretical framework for data-aware LoRA initialization based on asymptotic analysis. Starting from a general optimization objective that minimizes the expectation of the parameter discrepancy between the fine-tuned and target models, we derive an optimization problem with two components: a bias term, which is related to the parameter distance between the fine-tuned and target models, and is approximated using a Fisher-gradient formulation to preserve anisotropy; and a variance term, which accounts for the uncertainty introduced by sampling stochasticity through the Fisher information. By solving this problem, we obtain an optimal initialization strategy for LoRA. Building on this theoretical framework, we develop an efficient algorithm, LoRA-DA, which estimates the terms in the optimization problem from a small set of target domain samples and obtains the optimal LoRA initialization. Empirical results across multiple benchmarks demonstrate that LoRA-DA consistently improves final accuracy over existing initialization methods. Additional studies show faster, more stable convergence, robustness across ranks, and only a small initialization overhead for LoRA-DA. The source code will be released upon publication.
• Abstract（参考訳）: LLMの普及に伴い、LoRAはPEFTの主要な手法となり、その初期化手法が注目されている。 しかし、既存の手法では、多くの手法がターゲットドメインデータを組み込んでいないが、勾配に基づく手法は1ステップの勾配分解に頼り、基礎となる1ステップの微調整モデルの弱い経験的性能や、厳密な理論的基礎が欠如している、あるいは制限的な等方的仮定に大きく依存しているという事実により、不満足なままである。 本稿では,漸近解析に基づくデータ認識型LoRAの初期化のための理論的枠組みを確立する。 微調整モデルと対象モデル間のパラメータ差の期待を最小化する汎用最適化目標から、微調整モデルと対象モデル間のパラメータ距離に関連するバイアス項と、異方性を保存するためにフィッシャー勾配の定式化を用いて近似された偏差項と、フィッシャー情報を通して確率性をサンプリングすることによって生じる不確実性を説明する分散項の2つの成分を用いて最適化問題を導出する。 この問題を解決することで、LoRAの最適初期化戦略を得る。 この理論的枠組みに基づいて、最適化問題の項を少数の対象領域サンプルから推定し、最適なLoRA初期化を求める効率的なアルゴリズムであるLoRA-DAを開発する。 複数のベンチマークにまたがる実験結果から、LoRA-DAは既存の初期化手法よりも常に最終的な精度を向上することが示された。 さらなる研究により、より速く、より安定な収束、ランク間の堅牢性、そしてLoRA-DAの小さな初期化オーバーヘッドのみが示される。 ソースコードは公開時に公開される。

関連論文リスト

• LoRA meets Riemannion: Muon Optimizer for Parametrization-independent Low-Rank Adapters [43.04933165005961]
  ローランド適応(LoRA)のための新しいフレームワークを提案する。 LoRAは、固定階多様体上で直接最適化することで、低階アダプタを幾何学的に扱う。 私たちのフレームワークは、これを実現するために3つの重要なコンポーネントを統合しています。
  論文  参考訳（メタデータ） (2025-07-16T11:17:12Z)
• Automatic Rank Determination for Low-Rank Adaptation via Submodular Function Maximization [56.78271181959529]
  SubLoRAは、サブモジュール関数に基づくローランド適応(LoRA)のランク決定方法である。 提案手法は, 理論的基礎, 2次精度, 実用計算効率の両立を図っている。
  論文  参考訳（メタデータ） (2025-07-02T15:56:40Z)
• Understanding the Learning Dynamics of LoRA: A Gradient Flow Perspective on Low-Rank Adaptation in Matrix Factorization [7.940066909711888]
  我々は、勾配流(GF)下での行列分解のためのローランド適応(LoRA)の学習ダイナミクスを解析する。 解析の結果,最終誤差は,事前学習されたモデルの特異空間と対象行列との間の不整合によって影響を受けることがわかった。
  論文  参考訳（メタデータ） (2025-03-10T06:57:10Z)
• Refining Adaptive Zeroth-Order Optimization at Ease [24.327161891577727]
  本稿では,Refined Adaptive Zeroth-Order Optimization (R-AdaZO)を紹介する。 まず、ZO勾配推定における第1モーメント推定の未解決分散低減効果を示す。 次に、これらの分散誘導勾配推定に基づいて第2モーメント推定を洗練し、最適化ランドスケープの幾何をより正確に把握する。
  論文  参考訳（メタデータ） (2025-02-03T03:10:44Z)
• Randomized Asymmetric Chain of LoRA: The First Meaningful Theoretical Framework for Low-Rank Adaptation [58.288682735160585]
  Low-Rank Adaptation (LoRA) は、ファインチューニングモデルの一般的なテクニックである。 LoRAは、フルパラメータの微調整と比較すると、しばしば実行されます。 本稿では,LoRA手法の適応率を厳密に分析するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-10T18:51:53Z)
• Generalization Bounds of Surrogate Policies for Combinatorial Optimization Problems [53.03951222945921]
  我々はスムーズな(摂動された)ポリシーを解析し、線形オラクルが使用する方向に対して制御されたランダムな摂動を付加する。 我々の主な貢献は、過剰リスクを摂動バイアス、統計的推定誤差、最適化誤差に分解する一般化境界である。 車両のスケジューリングやスムーズ化がトラクタブルトレーニングと制御された一般化の両方を可能にしていることを示す。
  論文  参考訳（メタデータ） (2024-07-24T12:00:30Z)
• Provably Mitigating Overoptimization in RLHF: Your SFT Loss is Implicitly an Adversarial Regularizer [52.09480867526656]
  人間の嗜好を学習する際の分布変化と不確実性の一形態として,不一致の原因を同定する。 過度な最適化を緩和するために、まず、逆選択された報酬モデルに最適なポリシーを選択する理論アルゴリズムを提案する。 報奨モデルとそれに対応する最適ポリシーの等価性を用いて、優先最適化損失と教師付き学習損失を組み合わせた単純な目的を特徴とする。
  論文  参考訳（メタデータ） (2024-05-26T05:38:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。