論文の概要: Mitigating Forgetting in Low Rank Adaptation

• arxiv url: http://arxiv.org/abs/2512.17720v1
• Date: Fri, 19 Dec 2025 15:54:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-22 19:25:54.470136
• Title: Mitigating Forgetting in Low Rank Adaptation
• Title（参考訳）: 低位適応における予測の誤用
• Authors: Joanna Sliwa, Frank Schneider, Philipp Hennig, Jose Miguel Hernandez-Lobato,
• Abstract要約: 本稿では、Low-Rank AdaptationにLaplace近似を適用する重み空間正規化手法であるLaLoRAを提案する。 提案手法は,各パラメータに対するモデルの信頼度を推定し,高曲率方向の更新を制約する。 数学的推論のためのLlamaモデルの微調整によりLaLoRAを評価し,学習鍛造トレードオフの改善を実証した。
• 参考スコア（独自算出の注目度）: 17.859306837144732
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Parameter-efficient fine-tuning methods, such as Low-Rank Adaptation (LoRA), enable fast specialization of large pre-trained models to different downstream applications. However, this process often leads to catastrophic forgetting of the model's prior domain knowledge. We address this issue with LaLoRA, a weight-space regularization technique that applies a Laplace approximation to Low-Rank Adaptation. Our approach estimates the model's confidence in each parameter and constrains updates in high-curvature directions, preserving prior knowledge while enabling efficient target-domain learning. By applying the Laplace approximation only to the LoRA weights, the method remains lightweight. We evaluate LaLoRA by fine-tuning a Llama model for mathematical reasoning and demonstrate an improved learning-forgetting trade-off, which can be directly controlled via the method's regularization strength. We further explore different loss landscape curvature approximations for estimating parameter confidence, analyze the effect of the data used for the Laplace approximation, and study robustness across hyperparameters.
• Abstract（参考訳）: Low-Rank Adaptation (LoRA) のようなパラメータ効率のよい微調整手法は、大規模な事前学習モデルの異なる下流アプリケーションへの迅速な特殊化を可能にする。 しかし、このプロセスは、しばしばモデルの以前のドメイン知識を壊滅的に忘れてしまう。 この問題は、Low-Rank AdaptationにLaplace近似を適用する重み空間正規化手法であるLaLoRAを用いて解決する。 提案手法は,各パラメータに対するモデルの信頼度を推定し,精度の高い方向の更新を制約し,事前知識を保ちながら,効率的なターゲットドメイン学習を実現する。 Laplace近似をLoRA重みにのみ適用することにより、この手法は軽量のままである。 数学的推論のためのLlamaモデルの微調整によりLaLoRAを評価するとともに,本手法の正則化強度を直接制御可能な学習鍛造トレードオフの改善を実証する。 さらに、パラメータ信頼度を推定するための異なる損失ランドスケープ曲率近似、ラプラス近似に使用されるデータの効果の分析、ハイパーパラメータ間のロバスト性について検討する。

関連論文リスト

• LoRA-DA: Data-Aware Initialization for Low-Rank Adaptation via Asymptotic Analysis [33.708800231646606]
  データ認識型LoRAの理論的枠組みを確立した。 そこで我々は,目標領域の少数のサンプルから最適化問題の項を推定するアルゴリズムLoRA-DAを開発した。 さらなる研究により、より速く、より安定な収束、ランク間の堅牢性、LoRA-DAのオーバーヘッドはわずかである。
  論文  参考訳（メタデータ） (2025-10-28T15:55:36Z)
• Localized LoRA: A Structured Low-Rank Approximation for Efficient Fine-Tuning [12.174849960744211]
  局所化LoRAは、重み行列の構造ブロックに適用された低ランク近似の合成として重み更新をモデル化するフレームワークである。 提案手法は,一致したパラメータの予算下での低い近似誤差を連続的に達成することを示す。
  論文  参考訳（メタデータ） (2025-05-30T21:13:23Z)
• SD-LoRA: Scalable Decoupled Low-Rank Adaptation for Class Incremental Learning [73.93639228235622]
  基礎モデルによる継続的な学習は、シーケンシャルなタスクに取り組むための事前トレーニング中に得られた豊富な知識を活用するための有望なパラダイムとして現れてきた。 既存のプロンプトベースおよびローランク適応ベース(LoRAベース)メソッドでは、プロンプト/ローラプールの拡張や、以前のタスクのサンプルの保持がしばしば必要である。 クラスインクリメンタル学習のためのスケーラブルデカップリングLoRA(SD-LoRA)を提案する。
  論文  参考訳（メタデータ） (2025-01-22T20:00:41Z)
• Randomized Asymmetric Chain of LoRA: The First Meaningful Theoretical Framework for Low-Rank Adaptation [58.288682735160585]
  Low-Rank Adaptation (LoRA) は、ファインチューニングモデルの一般的なテクニックである。 LoRAは、フルパラメータの微調整と比較すると、しばしば実行されます。 本稿では,LoRA手法の適応率を厳密に分析するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-10T18:51:53Z)
• Flat-LoRA: Low-Rank Adaptation over a Flat Loss Landscape [52.98187034726091]
  フルパラメータ空間の平坦領域に位置する低ランク適応を同定することを目的としたFlat-LoRAを提案する。 また、Flat-LoRAはドメイン内とドメイン外の両方の一般化を改善していることを示す。
  論文  参考訳（メタデータ） (2024-09-22T11:24:10Z)
• Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
  本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。 提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。 実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-11-20T11:56:25Z)
• Model-Based Reparameterization Policy Gradient Methods: Theory and Practical Algorithms [88.74308282658133]
  Reization (RP) Policy Gradient Methods (PGM) は、ロボット工学やコンピュータグラフィックスにおける連続的な制御タスクに広く採用されている。 近年の研究では、長期強化学習問題に適用した場合、モデルベースRP PGMはカオス的かつ非滑らかな最適化環境を経験する可能性があることが示されている。 本稿では,長期モデルアンロールによる爆発的分散問題を緩和するスペクトル正規化法を提案する。
  論文  参考訳（メタデータ） (2023-10-30T18:43:21Z)
• Bayesian Low-rank Adaptation for Large Language Models [28.86048553596652]
  低ランク適応(LoRA)は、大規模言語モデル(LLM)のコスト効率の高い微調整のための新しいパラダイムとして登場した。 本稿では,LoRAパラメータにベイズ的アプローチを適用するLaplace-LoRAを紹介する。
  論文  参考訳（メタデータ） (2023-08-24T23:06:21Z)
• Variational Linearized Laplace Approximation for Bayesian Deep Learning [11.22428369342346]
  変分スパースガウス過程(GP)を用いた線形ラプラス近似(LLA)の近似法を提案する。 本手法はGPの2つのRKHSの定式化に基づいており、予測平均として元のDNNの出力を保持する。 効率のよい最適化が可能で、結果としてトレーニングデータセットのサイズのサブ線形トレーニング時間が短縮される。
  論文  参考訳（メタデータ） (2023-02-24T10:32:30Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。