論文の概要: Janus-LoRA: A Balanced Low-Rank Adaptation for Continual Learning

• arxiv url: http://arxiv.org/abs/2605.28495v1
• Date: Wed, 27 May 2026 13:53:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-28 17:38:56.093066
• Title: Janus-LoRA: A Balanced Low-Rank Adaptation for Continual Learning
• Title（参考訳）: Janus-LoRA: 継続的な学習のためのバランスのとれた低ランク適応
• Authors: Cheng Chen, Pengpeng Zeng, Yuyu Guo, Lianli Gao, Hengtao Shen, Jingkuan Song,
• Abstract要約: Low-Rank Adaptation (LoRA)は、継続的学習のための有望なパラダイムとして登場した。 このバランスを2つの新しいコンポーネントを通して復元するフレームワークである textbfJanus-LoRA を提案する。
• 参考スコア（独自算出の注目度）: 122.06915301391616
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Low-Rank Adaptation (LoRA) has emerged as a promising paradigm for Continual Learning. It independently updates its low-rank factors ($A$ and $B$), creating a composite update to the full weight matrix through their interaction. To prevent catastrophic forgetting, this update should remain orthogonal to the task-specific subspace that contains previously learned knowledge. However, we identify that this composite update systematically violates this orthogonality, reintroducing interference and undermining stability. Furthermore, naively enforcing this orthogonality compromises plasticity, disrupting the delicate stability-plasticity trade-off. To resolve these issues, we propose \textbf{Janus-LoRA}, a framework that restores this balance through two novel components. Specifically, we first introduce Gradient Rectification, a closed-form solution that mathematically decouples LoRA's factor updates, enforcing orthogonality against the historical knowledge subspace identified by an efficient Online Estimation. Next, to enhance plasticity, we introduce a Decoupled Margin Loss that promotes feature-level separation by pushing new feature representations away from old ones, thus creating distinct, low-interference regions for new learning. Comprehensive experiments on challenging benchmarks demonstrate that by harmonizing parameter-level orthogonality with feature-level separation, Janus-LoRA achieves a superior balance and establishes new state-of-the-art performance.
• Abstract（参考訳）: Low-Rank Adaptation (LoRA)は、継続的学習のための有望なパラダイムとして登場した。 低ランクの要素(A$とB$)を独立に更新し、インタラクションを通じてフルウェイトマトリックスを複合的に更新する。 破滅的な忘れを防止するために、この更新は、以前学習された知識を含むタスク固有のサブスペースに直交するべきである。 しかし、この複合的な更新は、この直交性に体系的に違反し、干渉を再導入し、安定性を損なう。 さらに、この直交性を導入することで可塑性が損なわれ、微妙な安定性と塑性のトレードオフが破壊される。 これらの問題を解決するために,このバランスを2つの新しいコンポーネントを通して復元するフレームワークである「textbf{Janus-LoRA}」を提案する。 具体的には,LoRAの因子を数学的に分解する閉形式解であるGradient Rectificationを導入し,効率的なオンライン推定によって同定された歴史的知識部分空間に対して直交性を強制する。 次に, 可塑性を高めるために, 特徴表現を古いものから切り離して特徴レベルの分離を促進するデカップリング・マージン・ロスを導入し, 新たな学習領域を創出する。 挑戦的なベンチマークに関する総合的な実験は、パラメータレベルの直交性と特徴レベルの分離とを調和させることで、Janus-LoRAは優れたバランスを達成し、新しい最先端のパフォーマンスを確立することを実証している。

関連論文リスト

• Energy-Structured Low-Rank Adaptation for Continual Learning [78.5390284258307]
  textbfEnergy-Concentrated and textbfEnergy-Ordered textbfLow-textbfRank textbfAdaptation (E$2$-LoRA)を提案する。 E$2$-LoRAは、知識を明示的に順序付けして上位のランクに集約することにより、その後のタスクの容量を解放する。
  論文  参考訳（メタデータ） (2026-05-26T12:55:02Z)
• SR$^2$-LoRA: Self-Rectifying Inter-layer Relations in Low-Rank Adaptation for Class-Incremental Learning [3.9562791462574602]
  本稿では, 層間関係ドリフトの解析を通して, 破滅的な忘れ方について考察する。 我々は、アンダーラインSelf-underlineRectifying inter-layer underline Relation Low-Rank Adaptation (SR$2$-LoRA)を提案する。 標準CILベンチマークの実験では、SR$2$-LoRAは破滅的な忘れを効果的に緩和することを示した。
  論文  参考訳（メタデータ） (2026-05-08T08:14:50Z)
• Decomposing and Composing: Towards Efficient Vision-Language Continual Learning via Rank-1 Expert Pool in a Single LoRA [50.97792275353563]
  単一低ランク適応 (LoRA) モジュールを分解可能な Rank-1 エキスパートプールとして再構成する,新しいフレームワークを提案する。 本手法では,このエキスパートプールから[Guided]トークンのセマンティクスに導かれて,疎結合でタスク固有の更新を動的に作成することを学ぶ。
  論文  参考訳（メタデータ） (2026-01-30T10:54:51Z)
• Efficient Continual Learning in Neural Machine Translation: A Low-Rank Adaptation Approach [0.4870012761464388]
  ニューラルネットワーク翻訳(NMT)における継続的な学習は、破滅的な忘れ込みと、再訓練の計算コストの増大という2つの課題に直面している。 本研究は,これらの課題に対処するためのパラメータ効率の高いフレームワークとしてローランド適応(LoRA)を確立する。
  論文  参考訳（メタデータ） (2025-12-10T18:37:57Z)
• Resolving Conflicts in Lifelong Learning via Aligning Updates in Subspaces [12.630494786258842]
  Low-Rank Adaptation (LoRA)は効果的な継続的学習を可能にするが、しばしば破滅的な忘れ込みに悩まされる。 そこで我々は,PS-LoRAを提案する。PS-LoRAは最適化サブ空間内で更新を調整することで競合を解決するためのフレームワークである。 提案手法では,先行知識との整合性を確保するために,矛盾する方向と大小偏差をペナルティ化する二重正則化手法を用いている。
  論文  参考訳（メタデータ） (2025-11-28T15:34:36Z)
• SplitLoRA: Balancing Stability and Plasticity in Continual Learning Through Gradient Space Splitting [68.00007494819798]
  継続的な学習には、安定性を保ちながら複数のタスクを連続的に学習するモデルが必要である。 グラディエント・プロジェクションはCLにおいて有効で一般的なパラダイムとして現れ、以前に学習したタスクの勾配空間を2つの部分空間に分割する。 新しいタスクは小部分空間内で効果的に学習され、これにより以前取得した知識との干渉が軽減される。 既存の勾配射影法は、勾配空間を適切に分割することが困難であるため、塑性と安定性の最適なバランスを達成するのに苦労する。
  論文  参考訳（メタデータ） (2025-05-28T13:57:56Z)
• Aggregation on Learnable Manifolds for Asynchronous Federated Optimization [3.8208848658169763]
  曲線学習としてアグリゲーションを取り入れた幾何学的枠組みを導入する。 そこで我々は,線形アグリゲーションを低次曲率成分に置き換えたAsyncBezierを提案する。 これらの利得は、他の方法がより高いローカルな計算予算に割り当てられた場合でも維持されることを示す。
  論文  参考訳（メタデータ） (2025-03-18T16:36:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。