論文の概要: PLAN: Proactive Low-Rank Allocation for Continual Learning

• arxiv url: http://arxiv.org/abs/2510.21188v1
• Date: Fri, 24 Oct 2025 06:37:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 09:00:15.401449
• Title: PLAN: Proactive Low-Rank Allocation for Continual Learning
• Title（参考訳）: PLAN: 継続的な学習のためのプロアクティブな低ランクアロケーション
• Authors: Xiequn Wang, Zhan Zhuang, Yu Zhang,
• Abstract要約: 継続的な学習(CL)には、過去の知識を忘れずに新しいタスクに継続的に適応するモデルが必要である。 PLANは、Low-Rank Adaptation (LoRA)を拡張して、CL設定で大規模トレーニング済みモデルの効率的かつ干渉対応の微調整を可能にするフレームワークである。
• 参考スコア（独自算出の注目度）: 7.694497522179355
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual learning (CL) requires models to continuously adapt to new tasks without forgetting past knowledge. In this work, we propose \underline{P}roactive \underline{L}ow-rank \underline{A}llocatio\underline{N} (PLAN), a framework that extends Low-Rank Adaptation (LoRA) to enable efficient and interference-aware fine-tuning of large pre-trained models in CL settings. PLAN proactively manages the allocation of task-specific subspaces by introducing orthogonal basis vectors for each task and optimizing them through a perturbation-based strategy that minimizes conflicts with previously learned parameters. Furthermore, PLAN incorporates a novel selection mechanism that identifies and assigns basis vectors with minimal sensitivity to interference, reducing the risk of degrading past knowledge while maintaining efficient adaptation to new tasks. Empirical results on standard CL benchmarks demonstrate that PLAN consistently outperforms existing methods, establishing a new state-of-the-art for continual learning with foundation models.
• Abstract（参考訳）: 継続的な学習(CL)には、過去の知識を忘れずに新しいタスクに継続的に適応するモデルが必要である。 そこで本研究では,Low-rank \underline{A}llocatio\underline{N} (PLAN)を提案し,Low-Rank Adaptation (LoRA)を拡張し,CL設定における大規模事前学習モデルの効率的かつ干渉対応の微調整を可能にする。 PLANは、タスクごとに直交基底ベクトルを導入し、以前に学習されたパラメータとの衝突を最小限に抑える摂動ベースの戦略によりそれらを最適化することにより、タスク固有のサブ空間の割り当てを積極的に管理する。 さらに、PLANは、干渉に対して最小限の感度で基底ベクトルを特定し、割り当てる新しい選択メカニズムを導入し、新しいタスクへの効率的な適応を維持しながら、過去の知識を劣化させるリスクを低減する。 標準CLベンチマークにおける実証的な結果は、PLANが既存の手法を一貫して上回り、基礎モデルによる継続的な学習のための新しい最先端技術を確立していることを示している。

関連論文リスト

• Orthogonal Projection Subspace to Aggregate Online Prior-knowledge for Continual Test-time Adaptation [67.80294336559574]
  連続テスト時間適応(CTTA)は、新しいシナリオに継続的に適応するために、ソース事前訓練されたモデルを必要とするタスクである。 我々は、OoPkと呼ばれるオンライン事前知識を集約する新しいパイプラインOrthogonal Projection Subspaceを提案する。
  論文  参考訳（メタデータ） (2025-06-23T18:17:39Z)
• Train with Perturbation, Infer after Merging: A Two-Stage Framework for Continual Learning [57.514786046966265]
  textbfPerturb-and-Merge(P&M)は,モデルマージをCLパラダイムに統合し,忘れを緩和する新しい連続学習フレームワークである。 提案手法は,複数の連続学習ベンチマークデータセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2025-05-28T14:14:19Z)
• Adaptive Budget Allocation for Orthogonal-Subspace Adapter Tuning in LLMs Continual Learning [16.901462489070457]
  大規模言語モデル(LLM)は、連続学習(CL)のシナリオにおいて破滅的な忘れ方に悩まされることが多い。 LLMにおける継続学習のためのパラメータ効率の高い新しい手法であるOA-Adapterを提案する。
  論文  参考訳（メタデータ） (2025-05-28T13:38:21Z)
• Sculpting Subspaces: Constrained Full Fine-Tuning in LLMs for Continual Learning [19.27175827358111]
  大規模言語モデル(LLM)における継続的な学習は破滅的な忘れがちである。 適応特異値分解(SVD)を利用した連続的完全微調整手法を提案する。 我々は,Encoder-decoder (T5-Large) モデルとdecoder-only (LLaMA-2 7B) モデルの両方を用いて,標準連続学習ベンチマークを広範囲に評価した。
  論文  参考訳（メタデータ） (2025-04-09T17:59:42Z)
• Continual Task Learning through Adaptive Policy Self-Composition [54.95680427960524]
  CompoFormerは構造ベースの連続トランスフォーマーモデルであり、メタポリシックネットワークを介して、以前のポリシーを適応的に構成する。 実験の結果,CompoFormerは従来の継続学習法(CL)よりも優れており,特にタスクシーケンスが長いことが判明した。
  論文  参考訳（メタデータ） (2024-11-18T08:20:21Z)
• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
  そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。 自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。 筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。