論文の概要: Lifelong Learning with Task-Specific Adaptation: Addressing the Stability-Plasticity Dilemma

• arxiv url: http://arxiv.org/abs/2503.06213v1
• Date: Sat, 08 Mar 2025 13:33:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 15:46:55.037192
• Title: Lifelong Learning with Task-Specific Adaptation: Addressing the Stability-Plasticity Dilemma
• Title（参考訳）: タスク特化適応による生涯学習--安定性-弾塑性ジレンマへの取り組み
• Authors: Ruiyu Wang, Sen Wang, Xinxin Zuo, Qiang Sun,
• Abstract要約: 生涯学習は、学習した知識を維持しながら、新しい知識を継続的に獲得することを目的としている。 安定性-塑性ジレンマは、過去の知識(安定性)の保存と新しいタスク(塑性)を学習する能力のバランスをとるモデルを必要とする。 本稿では、単純で普遍的で効果的な戦略を通じてジレンマに対処するアダプタベースのフレームワークであるAdaLLを提案する。
• 参考スコア（独自算出の注目度）: 13.567823451714405
• License:
• Abstract: Lifelong learning (LL) aims to continuously acquire new knowledge while retaining previously learned knowledge. A central challenge in LL is the stability-plasticity dilemma, which requires models to balance the preservation of previous knowledge (stability) with the ability to learn new tasks (plasticity). While parameter-efficient fine-tuning (PEFT) has been widely adopted in large language models, its application to lifelong learning remains underexplored. To bridge this gap, this paper proposes AdaLL, an adapter-based framework designed to address the dilemma through a simple, universal, and effective strategy. AdaLL co-trains the backbone network and adapters under regularization constraints, enabling the backbone to capture task-invariant features while allowing the adapters to specialize in task-specific information. Unlike methods that freeze the backbone network, AdaLL incrementally enhances the backbone's capabilities across tasks while minimizing interference through backbone regularization. This architectural design significantly improves both stability and plasticity, effectively eliminating the stability-plasticity dilemma. Extensive experiments demonstrate that AdaLL consistently outperforms existing methods across various configurations, including dataset choices, task sequences, and task scales.
• Abstract（参考訳）: 生涯学習(LL)は、学習前の知識を維持しながら、新しい知識を継続的に獲得することを目的としている。 LLの主な課題は安定性と塑性のジレンマであり、これはモデルが以前の知識(安定性)の保存と新しいタスク(塑性)を学習する能力のバランスを取る必要がある。 パラメータ効率のよい微調整(PEFT)は大規模言語モデルで広く採用されているが、生涯学習への応用はいまだに未検討である。 このギャップを埋めるために,本稿では,単純で普遍的で効果的なジレンマに対処するアダプタベースのフレームワークであるAdaLLを提案する。 AdaLLは、正規化制約の下でバックボーンネットワークとアダプタを共同でトレーニングし、バックボーンがタスク固有の情報を専門化しながらタスク不変の機能をキャプチャすることを可能にする。 バックボーンネットワークを凍結するメソッドとは異なり、AdaLLはバックボーンの正規化による干渉を最小限にしながら、タスク間のバックボーンの機能を漸進的に強化する。 この構造設計は安定性と塑性の両方を著しく改善し、安定性と塑性のジレンマを効果的に除去する。 大規模な実験では、AdaLLがデータセットの選択、タスクシーケンス、タスクスケールなど、さまざまな構成で既存のメソッドを一貫して上回っていることが示されている。

関連論文リスト

• DATA: Decomposed Attention-based Task Adaptation for Rehearsal-Free Continual Learning [22.386864304549285]
  大規模言語モデル(LLM)では、継続的な学習(CL)が現実の要求に適応するために不可欠である。 近年のリハーサルフリー手法では、モデルベースおよび正規化ベースの戦略を用いてこの問題に対処している。 我々は、$textbfD$e $textbfA$ttention-based $textbfTask $textbfA$daptation ( data)を提案する。 データは、ハイランクなタスクアダプタとローランクなタスクアダプタを使用して、タスク固有の知識とタスク共有の知識を明示的に分離し、学習する。
  論文  参考訳（メタデータ） (2025-02-17T06:35:42Z)
• Continual Task Learning through Adaptive Policy Self-Composition [54.95680427960524]
  CompoFormerは構造ベースの連続トランスフォーマーモデルであり、メタポリシックネットワークを介して、以前のポリシーを適応的に構成する。 実験の結果,CompoFormerは従来の継続学習法(CL)よりも優れており,特にタスクシーケンスが長いことが判明した。
  論文  参考訳（メタデータ） (2024-11-18T08:20:21Z)
• Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
  Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。 TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
  論文  参考訳（メタデータ） (2023-11-23T15:46:54Z)
• Towards Plastic and Stable Exemplar-Free Incremental Learning: A Dual-Learner Framework with Cumulative Parameter Averaging [12.168402195820649]
  In this proposed a Dual-Learner framework with Cumulative。 平均化(DLCPA) DLCPA は Task-IL と Class-IL の両方の設定において,最先端の既定ベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-10-28T08:48:44Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• Incorporating Neuro-Inspired Adaptability for Continual Learning in Artificial Intelligence [59.11038175596807]
  継続的な学習は、現実世界に強い適応性を持つ人工知能を強化することを目的としている。 既存の進歩は主に、破滅的な忘れを克服するために記憶安定性を維持することに焦点を当てている。 本稿では,学習の可塑性を改善するため,パラメータ分布の古い記憶を適切に減衰させる汎用的手法を提案する。
  論文  参考訳（メタデータ） (2023-08-29T02:43:58Z)
• Achieving a Better Stability-Plasticity Trade-off via Auxiliary Networks in Continual Learning [23.15206507040553]
  本稿では、ニューラルネットワークに現在の課題を学習する能力を持たせるために、補助的ネットワーク継続学習(ANCL)を提案する。 ANCLは、主に安定性に焦点を当てた継続的な学習モデルに可塑性を促進する補助ネットワークを付加する。 より具体的には、提案するフレームワークは、可塑性と安定性を自然に補間する正規化器として実現されている。
  論文  参考訳（メタデータ） (2023-03-16T17:00:42Z)
• Balancing Stability and Plasticity through Advanced Null Space in Continual Learning [77.94570903726856]
  我々は,従来のタスクの古いデータを格納することなく,安定性と可塑性のバランスをとるために,新しい連続学習手法Advanced Null Space(AdNS)を提案する。 また,現在のタスクの性能向上を図るため,タスク内蒸留を簡便かつ効果的に行う方法を提案する。 実験結果から,提案手法は最先端の連続学習手法よりも優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2022-07-25T11:04:22Z)
• Towards Better Plasticity-Stability Trade-off in Incremental Learning: A simple Linear Connector [8.13916229438606]
  塑性安定性ジレンマはインクリメンタルラーニングの主要な問題である。 本研究では,従来のタスクに対するヌルスペースプロジェクションと,現在のタスクに対する単純なSGDの2つの独立最適化されたネットワークの単純な平均化が,すでに学習した知識の保存と,新しいタスクの学習に十分な柔軟性を付与することとの有意義なバランスを達成可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-15T07:37:20Z)
• Efficient Feature Transformations for Discriminative and Generative Continual Learning [98.10425163678082]
  継続的学習のための簡易タスク特化機能マップ変換戦略を提案する。 これらは新しいタスクを学習するための強力な柔軟性を提供し、ベースアーキテクチャに最小パラメータを追加することで実現される。 本手法の有効性と効率を,判別(cifar-100およびimagenet-1k)および生成的タスクの一連の実験を用いて実証する。
  論文  参考訳（メタデータ） (2021-03-25T01:48:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。