論文の概要: Representation Finetuning for Continual Learning

• arxiv url: http://arxiv.org/abs/2603.11201v1
• Date: Wed, 11 Mar 2026 18:15:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-13 14:46:25.573681
• Title: Representation Finetuning for Continual Learning
• Title（参考訳）: 連続学習のための表現ファインタニング
• Authors: Haihua Luo, Xuming Ran, Tommi Kärkkäinen, Huiyan Xue, Zhonghua Chen, Qi Xu, Fengyu Cong,
• Abstract要約: 本稿では,連続表現学習(Continuous Representation Learning, CoRe)を紹介する。 低ランクな部分空間に更新を制限することにより、CoReは例外的なパラメータ効率を達成する。 我々の研究は、連続学習のための新しい、より効果的で解釈可能なパラダイムとして表現微調整を導入している。
• 参考スコア（独自算出の注目度）: 21.63273394445167
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The world is inherently dynamic, and continual learning aims to enable models to adapt to ever-evolving data streams. While pre-trained models have shown powerful performance in continual learning, they still require finetuning to adapt effectively to downstream tasks. However, prevailing Parameter-Efficient Fine-Tuning (PEFT) methods operate through empirical, black-box optimization at the weight level. These approaches lack explicit control over representation drift, leading to sensitivity to domain shifts and catastrophic forgetting in continual learning scenarios. In this work, we introduce Continual Representation Learning (CoRe), a novel framework that for the first time shifts the finetuning paradigm from weight space to representation space. Unlike conventional methods, CoRe performs task-specific interventions within a low-rank linear subspace of hidden representations, adopting a learning process with explicit objectives, which ensures stability for past tasks while maintaining plasticity for new ones. By constraining updates to a low-rank subspace, CoRe achieves exceptional parameter efficiency. Extensive experiments across multiple continual learning benchmarks demonstrate that CoRe not only preserves parameter efficiency but also significantly outperforms existing state-of-the-art methods. Our work introduces representation finetuning as a new, more effective and interpretable paradigm for continual learning.
• Abstract（参考訳）: 世界は本質的に動的であり、継続的な学習は、モデルが絶え間なく進化するデータストリームに適応できるようにすることを目的としています。 事前訓練されたモデルは継続的な学習において強力なパフォーマンスを示しているが、下流のタスクに効果的に適応するためには微調整が必要である。 しかし、パラメータ効率の良いファインチューニング(PEFT)法は、実験的なブラックボックス最適化を通じて重量レベルで動作している。 これらのアプローチには表現のドリフトに対する明確な制御が欠如しており、連続的な学習シナリオにおけるドメインシフトへの感受性と破滅的な忘れ込みにつながっている。 本研究では,連続表現学習(Continuous Representation Learning, CoRe)を紹介する。 従来の方法とは異なり、CoReは隠れ表現の低ランク線形部分空間内でタスク固有の介入を行い、明示的な目的を持つ学習プロセスを採用し、新しいタスクの可塑性を維持しながら過去のタスクの安定性を確保する。 低ランクな部分空間に更新を制限することにより、CoReは例外的なパラメータ効率を達成する。 複数の連続学習ベンチマークによる大規模な実験により、CoReはパラメータ効率を保っているだけでなく、既存の最先端の手法よりも大幅に優れていることが示された。 我々の研究は、連続学習のための新しい、より効果的で解釈可能なパラダイムとして表現微調整を導入している。

関連論文リスト

• Continual Learning in Vision-Language Models via Aligned Model Merging [84.47520899851557]
  塑性を保ちながら安定性を維持するために,モデルマージに基づく新しい視点を提案する。 マージプロセスの有効性を最大化するために,従来のものと一致した重みの学習を促進するシンプルなメカニズムを提案する。
  論文  参考訳（メタデータ） (2025-05-30T20:52:21Z)
• SplitLoRA: Balancing Stability and Plasticity in Continual Learning Through Gradient Space Splitting [68.00007494819798]
  継続的な学習には、安定性を保ちながら複数のタスクを連続的に学習するモデルが必要である。 グラディエント・プロジェクションはCLにおいて有効で一般的なパラダイムとして現れ、以前に学習したタスクの勾配空間を2つの部分空間に分割する。 新しいタスクは小部分空間内で効果的に学習され、これにより以前取得した知識との干渉が軽減される。 既存の勾配射影法は、勾配空間を適切に分割することが困難であるため、塑性と安定性の最適なバランスを達成するのに苦労する。
  論文  参考訳（メタデータ） (2025-05-28T13:57:56Z)
• Sculpting Subspaces: Constrained Full Fine-Tuning in LLMs for Continual Learning [19.27175827358111]
  大規模言語モデル(LLM)における継続的な学習は破滅的な忘れがちである。 適応特異値分解(SVD)を利用した連続的完全微調整手法を提案する。 我々は,Encoder-decoder (T5-Large) モデルとdecoder-only (LLaMA-2 7B) モデルの両方を用いて,標準連続学習ベンチマークを広範囲に評価した。
  論文  参考訳（メタデータ） (2025-04-09T17:59:42Z)
• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
  そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。 自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。 筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)
• InfLoRA: Interference-Free Low-Rank Adaptation for Continual Learning [12.004172212239848]
  連続学習では、複数のタスクを逐次学習する必要がある。 本研究では,連続学習のための干渉のない低ランク適応(InfLoRA)と呼ばれる新しいPEFT手法を提案する。
  論文  参考訳（メタデータ） (2024-03-30T03:16:37Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• Continual Learning with Pretrained Backbones by Tuning in the Input Space [44.97953547553997]
  ディープラーニングモデルを非定常環境に適用することの本質的な困難さは、ニューラルネットワークの実際のタスクへの適用性を制限している。 ネットワークの事前学習部分の更新を回避し、通常の分類ヘッドだけでなく、新たに導入した学習可能なパラメータのセットも学習することで、微調整手順をより効果的にするための新しい戦略を提案する。
  論文  参考訳（メタデータ） (2023-06-05T15:11:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。