論文の概要: Learning without Isolation: Pathway Protection for Continual Learning

• arxiv url: http://arxiv.org/abs/2505.18568v1
• Date: Sat, 24 May 2025 07:16:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:42.512122
• Title: Learning without Isolation: Pathway Protection for Continual Learning
• Title（参考訳）: 孤立しない学習:継続的な学習のための経路保護
• Authors: Zhikang Chen, Abudukelimu Wuerkaixi, Sen Cui, Haoxuan Li, Ding Li, Jingfeng Zhang, Bo Han, Gang Niu, Houfang Liu, Yi Yang, Sifan Yang, Changshui Zhang, Tianling Ren,
• Abstract要約: ディープネットワークは、シーケンシャルなタスク学習中に破滅的な忘れをしがちだ。 モデル融合をグラフマッチングとして定式化する新しいCLフレームワークLwIを提案する。 深層ネットワークにおける活性化チャネルの広がりにより、LwIは新しいタスクのために利用可能な経路を適応的に割り当て、経路保護を実現し、破滅的な忘れに対処することができる。
• 参考スコア（独自算出の注目度）: 64.3476595369537
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep networks are prone to catastrophic forgetting during sequential task learning, i.e., losing the knowledge about old tasks upon learning new tasks. To this end, continual learning(CL) has emerged, whose existing methods focus mostly on regulating or protecting the parameters associated with the previous tasks. However, parameter protection is often impractical, since the size of parameters for storing the old-task knowledge increases linearly with the number of tasks, otherwise it is hard to preserve the parameters related to the old-task knowledge. In this work, we bring a dual opinion from neuroscience and physics to CL: in the whole networks, the pathways matter more than the parameters when concerning the knowledge acquired from the old tasks. Following this opinion, we propose a novel CL framework, learning without isolation(LwI), where model fusion is formulated as graph matching and the pathways occupied by the old tasks are protected without being isolated. Thanks to the sparsity of activation channels in a deep network, LwI can adaptively allocate available pathways for a new task, realizing pathway protection and addressing catastrophic forgetting in a parameter-efficient manner. Experiments on popular benchmark datasets demonstrate the superiority of the proposed LwI.
• Abstract（参考訳）: ディープネットワークは、シーケンシャルなタスク学習中に破滅的な忘れをしがちであり、すなわち、新しいタスクを学ぶ際に古いタスクに関する知識を失う。 この目的のために、継続学習(CL)が登場し、既存の手法は、主に以前のタスクに関連するパラメータの制御や保護に重点を置いている。 しかし、従来のタスク知識を格納するパラメータのサイズはタスク数とともに直線的に増加するため、そうでなければ、古いタスク知識に関連するパラメータを保存するのは難しいため、パラメータ保護は現実的ではないことが多い。 本研究は,神経科学と物理学の2つの見解をCLにもたらすものである。ネットワーク全体において,従来の課題から得られる知識に関して,経路はパラメータよりも重要である。 そこで本研究では,モデル融合をグラフマッチングとして定式化し,従来のタスクが占有する経路を分離することなく保護する,新たなCLフレームワークであるLwIを提案する。 深層ネットワークにおける活性化チャネルの広がりにより、LwIは新しいタスクのために利用可能な経路を適応的に割り当て、経路保護を実現し、パラメータ効率のよい方法で破滅的な忘れに対処することができる。 人気のあるベンチマークデータセットの実験は、提案したLwIの優位性を示している。

関連論文リスト

• Analytic Subspace Routing: How Recursive Least Squares Works in Continual Learning of Large Language Model [6.42114585934114]
  大規模言語モデル(LLM)には、多様な言語関連タスクを処理できる機能がある。 大規模言語モデル(LLM)における継続的な学習は、LLMを新しいタスクに継続的に適応させることを目的としている。 本稿では,これらの課題に対処するため,ASR(Analytic Subspace Routing)を提案する。
  論文  参考訳（メタデータ） (2025-03-17T13:40:46Z)
• Beyond Prompt Learning: Continual Adapter for Efficient Rehearsal-Free Continual Learning [22.13331870720021]
  C-ADA (Continuous Adapter) という,RFCL タスクに対する超高速学習手法を提案する。 C-ADAは、CALの特定の重みを柔軟に拡張し、各タスクの新たな知識を学び、古い重みを凍結して以前の知識を保存する。 提案手法は,現状のSOTA(State-of-the-art)法よりも優れ,性能とトレーニング速度を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-07-14T17:40:40Z)
• Fine-Grained Knowledge Selection and Restoration for Non-Exemplar Class Incremental Learning [64.14254712331116]
  非典型的なクラスインクリメンタル学習は、過去のトレーニングデータにアクセスすることなく、新しいタスクと古いタスクの両方を学ぶことを目的としている。 本稿では, きめ細かい知識選択と復元のための新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2023-12-20T02:34:11Z)
• CLR: Channel-wise Lightweight Reprogramming for Continual Learning [63.94773340278971]
  継続的な学習は、逐次的なタスクを通じて継続的に知識を蓄積する人間の能力をエミュレートすることを目的としている。 主な課題は、新しいタスクを学習した後、以前に学習したタスクのパフォーマンスを維持することである。 本稿では、畳み込みニューラルネットワークが破滅的な忘れを克服するのに役立つチャネルワイドなライトウェイト・リプログラミング手法を提案する。
  論文  参考訳（メタデータ） (2023-07-21T06:56:21Z)
• Context selectivity with dynamic availability enables lifelong continual learning [8.828725115733986]
  脳は複雑なスキルを学び、何年も練習を止め、その間に他のスキルを学び、必要なときに元の知識を取り戻すことができる。 本稿では,生涯学習における古典的な研究を基盤とした,生物工学的なメタ塑性制御法を提案する。 ニューロン選択性とニューロン全体の統合は、脳内でCLを可能にするための、シンプルで実行可能なメタ可塑性仮説であることを示す。
  論文  参考訳（メタデータ） (2023-06-02T17:04:36Z)
• Task-Adaptive Saliency Guidance for Exemplar-free Class Incremental Learning [60.501201259732625]
  EFCILにタスク適応型サリエンシを導入し、タスク適応型サリエンシ・スーパービジョン(TASS)と呼ばれる新しいフレームワークを提案する。 提案手法は,CIFAR-100, Tiny-ImageNet, ImageNet-Subset EFCILベンチマークを用いて,タスク間のサリエンシマップの保存や,最先端の成果の達成に有効であることを示す。
  論文  参考訳（メタデータ） (2022-12-16T02:43:52Z)
• Learning Bayesian Sparse Networks with Full Experience Replay for Continual Learning [54.7584721943286]
  継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。 既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。 我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
  論文  参考訳（メタデータ） (2022-02-21T13:25:03Z)
• Iterative Network Pruning with Uncertainty Regularization for Lifelong Sentiment Classification [25.13885692629219]
  ディープラーニングにとって、生涯学習は簡単ではない。 本稿では,生涯的感情分類のための不確実性正則化手法を用いた新しい反復型ネットワークプルーニングを提案する。
  論文  参考訳（メタデータ） (2021-06-21T15:34:13Z)
• Continual Learning via Bit-Level Information Preserving [88.32450740325005]
  我々は情報理論のレンズを通して連続学習過程を研究する。 モデルパラメータの情報利得を維持するビットレベル情報保存(BLIP)を提案する。 BLIPは、連続的な学習を通してメモリオーバーヘッドを一定に保ちながら、ほとんど忘れることができない。
  論文  参考訳（メタデータ） (2021-05-10T15:09:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。