論文の概要: Energy-Structured Low-Rank Adaptation for Continual Learning
- arxiv url: http://arxiv.org/abs/2605.27482v1
- Date: Tue, 26 May 2026 12:55:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-28 17:38:55.365333
- Title: Energy-Structured Low-Rank Adaptation for Continual Learning
- Title（参考訳）: 連続学習のためのエネルギー変動型低ランク適応
- Authors: Longhua Li, Lei Qi, Qi Tian, Xin Geng,
- Abstract要約: textbfEnergy-Concentrated and textbfEnergy-Ordered textbfLow-textbfRank textbfAdaptation (E$2$-LoRA)を提案する。
E$2$-LoRAは、知識を明示的に順序付けして上位のランクに集約することにより、その後のタスクの容量を解放する。
- 参考スコア（独自算出の注目度）: 78.5390284258307
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While orthogonal subspace methods try to mitigate task interference in Continual Learning (CL), they often suffer from energy diffusion across the basis, hindering knowledge compaction and exhausting capacity for future tasks. We observe that output feature drift induced by parameter updates is inherently low-rank, and theoretically prove that preserving parameters along the principal directions of this drift minimizes the output reconstruction error. Motivated by this, we propose \textbf{E}nergy-Concentrated and \textbf{E}nergy-Ordered \textbf{Lo}w-\textbf{R}ank \textbf{A}daptation (E$^2$-LoRA). By explicitly ordering and concentrating knowledge into leading ranks, E$^2$-LoRA frees capacity for subsequent tasks. Furthermore, we design a dynamic rank allocation strategy to balance stability and plasticity by jointly optimizing energy retention and model plasticity. Extensive experiments across multiple benchmarks demonstrate that E$^2$-LoRA achieves state-of-the-art performance.
- Abstract（参考訳）: 直交部分空間法は、連続学習(CL)におけるタスク干渉を緩和しようとするが、それらはしばしばエネルギー拡散に悩まされ、知識のコンパクト化や将来のタスクの消耗を妨げている。
パラメータ更新によって引き起こされる出力特性のドリフトは本質的に低ランクであり、このドリフトの主方向に沿ってパラメータを保存することが出力再構成誤差を最小限に抑えることを理論的に証明する。
これに触発されて、我々は \textbf{E}nergy-Concentrated と \textbf{E}nergy-Ordered \textbf{Lo}w-\textbf{R}ank \textbf{A}daptation (E$^2$-LoRA)を提案する。
E$^2$-LoRAは、明示的に知識を上位のランクに順序付けして集中することにより、その後のタスクの能力を解放する。
さらに,エネルギー保持とモデル可塑性を協調的に最適化することにより,安定性と可塑性のバランスをとるための動的ランク割り当て戦略を設計する。
複数のベンチマークにわたる大規模な実験により、E$^2$-LoRAが最先端のパフォーマンスを達成することが示された。
関連論文リスト
- Janus-LoRA: A Balanced Low-Rank Adaptation for Continual Learning [122.06915301391616]
Low-Rank Adaptation (LoRA)は、継続的学習のための有望なパラダイムとして登場した。
このバランスを2つの新しいコンポーネントを通して復元するフレームワークである textbfJanus-LoRA を提案する。
論文 参考訳（メタデータ） (2026-05-27T13:53:14Z) - DiffusionOPD: A Unified Perspective of On-Policy Distillation in Diffusion Models [55.01951088768769]
DiffusionOPDはオンライン政策蒸留(OPD)に基づく拡散モデルのための新しいマルチタスクトレーニングパラダイムである
本研究では,DiffusionOPDがトレーニング効率と最終性能において,マルチリワードRLとカスケードRLのベースラインを一貫して上回っていることを示す。
論文 参考訳（メタデータ） (2026-05-14T16:49:09Z) - Energy-Regularized Spatial Masking: A Novel Approach to Enhancing Robustness and Interpretability in Vision Models [3.609252563305193]
深部畳み込みニューラルネットワークは、密集した空間特徴写像を徹底的に処理することで、顕著な性能を達成する。
このブルートフォース戦略は、大きな計算冗長性を導入し、急激な背景相関に依存している。
本稿では,エネルギーの最小化問題として特徴選択を再構成する新しいフレームワークであるEnergy-Regularized Space Masking (ERSM)を提案する。
論文 参考訳（メタデータ） (2026-04-08T09:48:31Z) - High-Rank Structured Modulation for Parameter-Efficient Fine-Tuning [57.85676271833619]
低ランク適応 (LoRA) は、全パラメータの微調整をシミュレートするために低ランク更新法を用いる。
textbfStructured textbfMOdulation textbfAdapterは、より高いランクを維持しながらトレーニング可能なパラメータを少なくする。
論文 参考訳（メタデータ） (2026-01-12T13:06:17Z) - Continual Gradient Low-Rank Projection Fine-Tuning for LLMs [20.978406031958965]
Low-Rank Adaptation (LoRA)は効率性を提供するが、モデルが新しいタスクを学習し、知識を伝達する能力を制限する。
本稿では,これらの制約を克服する新たな学習戦略であるGORP(Gradient Low Rank Projection)を提案する。
連続学習ベンチマークの実験では、GORPは既存の最先端のアプローチよりも優れた性能を示している。
論文 参考訳（メタデータ） (2025-07-03T10:11:22Z) - Efficient Diffusion as Low Light Enhancer [63.789138528062225]
RATR(Reflectance-Aware Trajectory Refinement)は、イメージの反射成分を用いて教師の軌跡を洗練するための、シンプルで効果的なモジュールである。
textbfReDDiT (textbfDistilled textbfTrajectory) は低照度画像強調(LLIE)に適した効率的で柔軟な蒸留フレームワークである。
論文 参考訳（メタデータ） (2024-10-16T08:07:18Z) - Shedding More Light on Robust Classifiers under the lens of Energy-based Models [3.953603590878949]
我々は、敵対的訓練(AT)のダイナミクスについて、新しい視点を提供する。
ATにおけるエネルギー環境の分析により、標的外攻撃は、モデルの観点からの本来のデータよりも、より分散した(低エネルギー)敵画像を生成することが明らかとなった。
厳格なエビデンスを動機とした重エネルギー教育(WEAT)の提案
論文 参考訳（メタデータ） (2024-07-08T18:31:19Z) - Targeted free energy estimation via learned mappings [66.20146549150475]
自由エネルギー摂動 (FEP) は60年以上前にズワンツィヒによって自由エネルギー差を推定する方法として提案された。
FEPは、分布間の十分な重複の必要性という厳しい制限に悩まされている。
目標自由エネルギー摂動(Targeted Free Energy Perturbation)と呼ばれるこの問題を緩和するための1つの戦略は、オーバーラップを増やすために構成空間の高次元マッピングを使用する。
論文 参考訳（メタデータ） (2020-02-12T11:10:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。