Fugu-MT 論文翻訳(概要): PaLoRA: Paced Low-Rank Adaptation for Continual Learning

論文の概要: PaLoRA: Paced Low-Rank Adaptation for Continual Learning

arxiv url: http://arxiv.org/abs/2610.04226v1
Date: Sat, 03 Oct 2026 02:35:24 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-12 19:15:00.069712
Title: PaLoRA: Paced Low-Rank Adaptation for Continual Learning
Title（参考訳）: PaLoRA: 継続的学習のための低ランク適応
Abstract要約: LoRAに基づく連続学習法は、様々なメカニズムを通して破滅的な忘れ方をする。有限精度更新は必然的に蓄積された事前知識のサブ空間に漏れることを示す。本稿では,適応的なSVDトランケーションによって歴史的知識を圧縮するPaLoRAを提案する。
参考スコア（独自算出の注目度）: 18.910832042297923
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: LoRA-based continual learning methods mitigate catastrophic forgetting through various mechanisms, yet nearly all complement these with small learning rates as a heuristic to restrict gradient scaling magnitude. Such fixed heuristics lack theoretical guidance on how the strength of this restriction should evolve as tasks accumulate. We reveal that even under directional constraints such as nullspace projection, finite-precision updates inevitably leak into the subspace of accumulated prior knowledge along multiple directions. While small learning rates attenuate such leakage, they cannot prevent the accumulated forgetting from intensifying as the effective rank of historical knowledge grows. We show that the optimal magnitude restriction should adaptively increase with this effective rank to balance stability and plasticity, i.e., preservation of previous knowledge and acquisition of new task information. Under an anisotropic leakage model, we derive a pacing law $s^*=\sqrt{R/c}$ that characterizes the optimal scaling of gradient steps, i.e., the magnitude restriction itself, where $R$ is the effective rank of past updates. Based on this insight, we propose PaLoRA, which compresses historical knowledge via adaptive SVD truncation, projects gradients onto the nullspace of prior tasks, and applies rank-aware adaptive pacing. Experiments demonstrate consistent improvements over prior methods, with particularly strong performance in long-horizon settings, achieving substantial gains of 4% accuracy on challenging 50-task ImageNet-A and ImageNet-R benchmarks.
Abstract（参考訳）: LoRAに基づく連続学習法は、様々なメカニズムを通じて破滅的な忘れを緩和するが、ほとんど全ては勾配スケーリングの規模を制限するためのヒューリスティックな学習速度でこれらを補完する。このような固定ヒューリスティックスは、タスクが蓄積するにつれて、この制限の強さがどのように進化するかに関する理論的ガイダンスを欠いている。ヌル空間射影のような方向的制約下であっても、有限精度更新は必然的に複数の方向に沿って蓄積された事前知識のサブ空間に漏れる。少ない学習率でそのような漏洩は抑制されるが、歴史知識の効果的なランクが高まるにつれて、蓄積した忘れ物が激しさを増すのを防ぐことはできない。最適等級制限は、安定性と可塑性のバランスをとるために、すなわち、過去の知識の保存と新しいタスク情報の取得のために、適応的に増加すべきであることを示す。異方的リークモデルの下では、pcing law $s^*=\sqrt{R/c}$ が導出され、これは勾配ステップの最適スケーリングを特徴付ける。この知見に基づいて,適応的なSVDトランケーションによって歴史的知識を圧縮するPaLoRAを提案する。実験では、従来手法よりも一貫した改善が示され、特に長距離設定での強いパフォーマンスが示され、50タスクのImageNet-AとImageNet-Rベンチマークに挑戦すると、4%の精度で大幅に向上した。

関連論文リスト

Selective Backpropagation for Efficient Few-Shot Class-Incremental Learning [4.243926243206826]
FSCIL(Few-Shot Class-Incremental Learning)は、限られたサンプルから新しいクラスを継続的に学習するモデルを必要とする。単純な微調整は計算的に効率的だが、破滅的な忘れ込みに悩まされている。本稿では,このギャップを埋める決定論的パラメータ予算フレームワークである選択的バックプロパゲーション(SBP)を提案する。
論文参考訳（メタデータ） (2026-10-02T20:06:45Z)
Fine-Tuning Without Forgetting via Loss-Adaptive Learning Rates [10.06646055401747]
新しいデータに微調整された大きな言語モデルは、タスクパフォーマンスを改善するが、事前トレーニング中に学んだ能力は低下する。既存の方法は、高損失トークンやシーケンスを抑えるために微調整の目的を変更することで、これを緩和する。 FINCHは、標準微調整のタスク性能に適合しながら、平均93%の忘れを減らし、損失適応型学習率スケジュールである。
論文参考訳（メタデータ） (2026-05-19T15:36:52Z)
Semantic Tube Prediction: Beating LLM Data Efficiency with JEPA [50.494504099850325]
我々は、トークン列が滑らかな意味多様体上の測地線を辿り、従って局所線型であることを示す測地論仮説を導入する。本稿では,この制約により信号対雑音比が向上し,軌道中の衝突を防止することにより多様性が保たれることを示す。幾何学的先行性は、ブルートフォーススケーリングを超越できることを実証する。
論文参考訳（メタデータ） (2026-02-26T04:45:07Z)
Spectral Imbalance Causes Forgetting in Low-Rank Continual Adaptation [58.3773038915023]
継続的な学習は、事前訓練されたモデルを、以前取得した知識を忘れずにシーケンシャルなタスクに適応することを目的としている。既存のほとんどのアプローチは、現在のタスク固有の更新が以前取得した知識を自然に保存するプロパティを考慮せずに、継続的な学習を過去の更新への干渉を避けるものとして扱う。本稿では,視覚言語モデルで使用される標準深度ドットと互換性のある一階述語法を用いてこの問題に対処する。
論文参考訳（メタデータ） (2026-01-31T13:27:02Z)
SPEAR++: Scaling Gradient Inversion via Sparsely-Used Dictionary Learning [48.41770886055744]
Federated Learningは最近、現実世界のシナリオへのデプロイが増えている。いわゆる勾配反転攻撃の導入は、プライバシー保護特性に挑戦している。本稿では,ReLU活性化を伴う線形層の勾配の理論的解析に基づくSPEARを紹介する。新たな攻撃であるSPEAR++は、DPノイズに対する堅牢性やFedAvgアグリゲーションなど、SPEARの望ましい特性をすべて保持しています。
論文参考訳（メタデータ） (2025-10-28T09:06:19Z)
Sculpting Subspaces: Constrained Full Fine-Tuning in LLMs for Continual Learning [19.27175827358111]
大規模言語モデル(LLM)における継続的な学習は破滅的な忘れがちである。適応特異値分解(SVD)を利用した連続的完全微調整手法を提案する。我々は,Encoder-decoder (T5-Large) モデルとdecoder-only (LLaMA-2 7B) モデルの両方を用いて,標準連続学習ベンチマークを広範囲に評価した。
論文参考訳（メタデータ） (2025-04-09T17:59:42Z)
LoRA Subtraction for Drift-Resistant Space in Exemplar-Free Continual Learning [5.438329886561997]
本稿では,機能モデリングや前処理の保存を必要とせず,機能ドリフトを効果的に処理するDrift-Resistant Space(DRS)を提案する。提案手法は,複数のデータセットにまたがって,特に長いタスクシーケンスに対して,最先端の結果を一貫して達成する。
論文参考訳（メタデータ） (2025-03-23T07:38:53Z)
Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [93.90047628101155]
ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。これを解決するために、新しいタスク学習中に過去のタスクからのデータを再生する手法を提案する。しかし、メモリの制約やデータプライバシーの問題により、実際には期待できない。
論文参考訳（メタデータ） (2024-01-12T12:51:12Z)
Fine-Grained Knowledge Selection and Restoration for Non-Exemplar Class Incremental Learning [64.14254712331116]
非典型的なクラスインクリメンタル学習は、過去のトレーニングデータにアクセスすることなく、新しいタスクと古いタスクの両方を学ぶことを目的としている。本稿では, きめ細かい知識選択と復元のための新しい枠組みを提案する。
論文参考訳（メタデータ） (2023-12-20T02:34:11Z)
Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。