論文の概要: CLR: Channel-wise Lightweight Reprogramming for Continual Learning
- arxiv url: http://arxiv.org/abs/2307.11386v1
- Date: Fri, 21 Jul 2023 06:56:21 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-24 13:34:03.175231
- Title: CLR: Channel-wise Lightweight Reprogramming for Continual Learning
- Title（参考訳）: CLR: 継続的な学習のためのチャネルワイドライトウェイトプログラミング
- Authors: Yunhao Ge, Yuecheng Li, Shuo Ni, Jiaping Zhao, Ming-Hsuan Yang,
Laurent Itti
- Abstract要約: 継続的な学習は、逐次的なタスクを通じて継続的に知識を蓄積する人間の能力をエミュレートすることを目的としている。
主な課題は、新しいタスクを学習した後、以前に学習したタスクのパフォーマンスを維持することである。
本稿では、畳み込みニューラルネットワークが破滅的な忘れを克服するのに役立つチャネルワイドなライトウェイト・リプログラミング手法を提案する。
- 参考スコア（独自算出の注目度）: 63.94773340278971
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Continual learning aims to emulate the human ability to continually
accumulate knowledge over sequential tasks. The main challenge is to maintain
performance on previously learned tasks after learning new tasks, i.e., to
avoid catastrophic forgetting. We propose a Channel-wise Lightweight
Reprogramming (CLR) approach that helps convolutional neural networks (CNNs)
overcome catastrophic forgetting during continual learning. We show that a CNN
model trained on an old task (or self-supervised proxy task) could be
``reprogrammed" to solve a new task by using our proposed lightweight (very
cheap) reprogramming parameter. With the help of CLR, we have a better
stability-plasticity trade-off to solve continual learning problems: To
maintain stability and retain previous task ability, we use a common
task-agnostic immutable part as the shared ``anchor" parameter set. We then add
task-specific lightweight reprogramming parameters to reinterpret the outputs
of the immutable parts, to enable plasticity and integrate new knowledge. To
learn sequential tasks, we only train the lightweight reprogramming parameters
to learn each new task. Reprogramming parameters are task-specific and
exclusive to each task, which makes our method immune to catastrophic
forgetting. To minimize the parameter requirement of reprogramming to learn new
tasks, we make reprogramming lightweight by only adjusting essential kernels
and learning channel-wise linear mappings from anchor parameters to
task-specific domain knowledge. We show that, for general CNNs, the CLR
parameter increase is less than 0.6\% for any new task. Our method outperforms
13 state-of-the-art continual learning baselines on a new challenging sequence
of 53 image classification datasets. Code and data are available at
https://github.com/gyhandy/Channel-wise-Lightweight-Reprogramming
- Abstract（参考訳）: 継続的学習は、逐次的なタスクに対して継続的に知識を蓄積する人間の能力を模倣することを目的としている。
主な課題は、新しいタスク、すなわち破滅的な忘れ物を避けるために、以前に学習したタスクのパフォーマンスを維持することである。
本稿では,畳み込みニューラルネットワーク(cnns)が連続学習中に壊滅的な忘れを克服するのに役立つチャネルワイズ軽量リプログラミング(clr)手法を提案する。
我々は,従来のタスク(あるいは自己教師型プロキシタスク)でトレーニングされたCNNモデルを,提案した軽量(非常に安価な)再プログラミングパラメータを使って,新たなタスクを"再プログラム"することができることを示す。CLRの助けを借りて,継続的な学習問題を解決するための,より優れた安定性と塑性のトレードオフが得られる。
次にタスク固有の軽量リプログラミングパラメータを加え、不変部品の出力を再解釈し、可塑性を実現し、新しい知識を統合する。
シーケンシャルなタスクを学習するには、新しいタスクを学習するために、軽量なプログラミングパラメータのみをトレーニングする。
再プログラムパラメータはタスク固有であり,各タスクに排他的である。
新しいタスクを学習する際のパラメータ要求を最小限に抑えるため、本質的なカーネルを調整し、アンカーパラメータからタスク固有のドメイン知識へのチャネルワイドなマッピングを学習することで、リプログラミングを軽量化する。
一般的なCNNでは、CLRパラメータの増大は、新しいタスクに対して0.6\%未満であることを示す。
提案手法は,53の画像分類データセットの新しい挑戦的シーケンスに基づいて,最先端の連続学習ベースラインを13に上回る。
コードとデータはhttps://github.com/gyhandy/channel-wise-lightweight-reprogrammingで入手できる。
関連論文リスト
- Fine-Grained Knowledge Selection and Restoration for Non-Exemplar Class
Incremental Learning [64.14254712331116]
非典型的なクラスインクリメンタル学習は、過去のトレーニングデータにアクセスすることなく、新しいタスクと古いタスクの両方を学ぶことを目的としている。
本稿では, きめ細かい知識選択と復元のための新しい枠組みを提案する。
論文 参考訳（メタデータ） (2023-12-20T02:34:11Z) - Complementary Learning Subnetworks for Parameter-Efficient
Class-Incremental Learning [40.13416912075668]
本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。
提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
論文 参考訳（メタデータ） (2023-06-21T01:43:25Z) - Density Map Distillation for Incremental Object Counting [37.982124268097]
インクリメンタルなオブジェクトカウントに対するナイーブなアプローチは、破滅的な忘れ込みに悩まされ、以前のタスクに対する劇的なパフォーマンス低下に悩まされる。
密度マップ蒸留法 (DMD) と呼ばれる, 先例のない関数正規化手法を提案する。
トレーニング中,各タスクに新しいカウンタヘッドを導入し,従来のタスクを忘れないように蒸留損失を導入する。
論文 参考訳（メタデータ） (2023-04-11T14:46:21Z) - Continual Few-Shot Learning Using HyperTransformers [14.412066456583917]
我々は,複数のタスクが連続して到着するのを忘れずに,学習の課題に焦点をあてる。
我々は最近発表されたHyperTransformer (HT) を用いてこの問題にアプローチする。これはTransformerベースのハイパーネットワークで、サポートセットから直接タスク固有のCNN重みを生成する。
このようにして生成されたCNNウェイトは、以前に学習したタスクの表現として機能し、HTは、過去のタスクを忘れずに新しいタスクを学習できるように、これらの重みを更新するように訓練される。
論文 参考訳（メタデータ） (2023-01-11T17:27:47Z) - Task-Adaptive Saliency Guidance for Exemplar-free Class Incremental Learning [60.501201259732625]
EFCILにタスク適応型サリエンシを導入し、タスク適応型サリエンシ・スーパービジョン(TASS)と呼ばれる新しいフレームワークを提案する。
提案手法は,CIFAR-100, Tiny-ImageNet, ImageNet-Subset EFCILベンチマークを用いて,タスク間のサリエンシマップの保存や,最先端の成果の達成に有効であることを示す。
論文 参考訳（メタデータ） (2022-12-16T02:43:52Z) - Learning Bayesian Sparse Networks with Full Experience Replay for
Continual Learning [54.7584721943286]
継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。
既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。
我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
論文 参考訳（メタデータ） (2022-02-21T13:25:03Z) - Rectification-based Knowledge Retention for Continual Learning [49.1447478254131]
ディープラーニングモデルは、インクリメンタルな学習環境で訓練されたときに壊滅的な忘れに苦しむ。
タスクインクリメンタル学習問題に対処するための新しいアプローチを提案する。これは、インクリメンタルに到着する新しいタスクに関するモデルをトレーニングすることを含む。
私たちのアプローチは、ゼロショットと非ゼロショットタスクインクリメンタルラーニング設定の両方で使用できます。
論文 参考訳（メタデータ） (2021-03-30T18:11:30Z) - iTAML: An Incremental Task-Agnostic Meta-learning Approach [123.10294801296926]
人間は経験が成長するにつれて、新しい知識を継続的に学ぶことができる。
ディープニューラルネットワークにおける以前の学習は、新しいタスクでトレーニングされたときにすぐに消えてしまう可能性がある。
遭遇した全てのタスク間の平衡を維持するために,新しいメタラーニング手法を導入する。
論文 参考訳（メタデータ） (2020-03-25T21:42:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。