論文の概要: ScrollNet: Dynamic Weight Importance for Continual Learning
- arxiv url: http://arxiv.org/abs/2308.16567v1
- Date: Thu, 31 Aug 2023 09:01:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-01 15:16:43.019326
- Title: ScrollNet: Dynamic Weight Importance for Continual Learning
- Title（参考訳）: scrollnet: 連続学習における動的重み付けの重要性
- Authors: Fei Yang, Kai Wang, Joost van de Weijer
- Abstract要約: 連続学習のためのスクロールニューラルネットワークとして ScrollNet を提案する。
ScrollNetは、データ公開前に各タスクの重み付け重要度ランキングを割り当てる。
我々は、正規化ベースのアプローチやリプレイベースのアプローチを含む様々なCLメソッドとScrrollNetを組み合わせることができることを示した。
- 参考スコア（独自算出の注目度）: 21.622557051377957
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The principle underlying most existing continual learning (CL) methods is to
prioritize stability by penalizing changes in parameters crucial to old tasks,
while allowing for plasticity in other parameters. The importance of weights
for each task can be determined either explicitly through learning a
task-specific mask during training (e.g., parameter isolation-based approaches)
or implicitly by introducing a regularization term (e.g., regularization-based
approaches). However, all these methods assume that the importance of weights
for each task is unknown prior to data exposure. In this paper, we propose
ScrollNet as a scrolling neural network for continual learning. ScrollNet can
be seen as a dynamic network that assigns the ranking of weight importance for
each task before data exposure, thus achieving a more favorable
stability-plasticity tradeoff during sequential task learning by reassigning
this ranking for different tasks. Additionally, we demonstrate that ScrollNet
can be combined with various CL methods, including regularization-based and
replay-based approaches. Experimental results on CIFAR100 and TinyImagenet
datasets show the effectiveness of our proposed method. We release our code at
https://github.com/FireFYF/ScrollNet.git.
- Abstract（参考訳）: 既存の継続学習(CL)手法の根底にある原則は、古いタスクに不可欠なパラメータの変化を罰し、他のパラメータの可塑性を許容することで安定性を優先することである。
各タスクの重みの重要性は、トレーニング中にタスク固有のマスク(例えばパラメータ分離ベースのアプローチ)を学習することで明示的に決定するか、正規化項(例えば正規化ベースのアプローチ)を導入することで暗黙的に決定できる。
しかし、これらの手法はすべて、各タスクの重み付けの重要性は、データ公開前に未知であると仮定する。
本稿では,連続学習のためのスクロールニューラルネットワークとしてScrrollNetを提案する。
scrollnetは、データ露出前に各タスクの重み付け重要度ランキングを割り当てるダイナミックネットワークと見なすことができ、このランキングを異なるタスクに再割り当てることで、シーケンシャルタスク学習中により有利な安定性と可塑性のトレードオフを実現することができる。
さらに,srollernet と様々な cl メソッドを組み合わせることで,レギュライゼーションベースやリプレイベースアプローチなどが可能になることを実証した。
CIFAR100およびTinyImagenetデータセットの実験結果から,提案手法の有効性が示された。
コードをhttps://github.com/FireFYF/ScrollNet.gitでリリースします。
関連論文リスト
- Weighted Ensemble Models Are Strong Continual Learners [20.62749699589017]
本研究では,タスク列のモデル学習を目標とする連続学習(CL)の問題について検討する。
CLは基本的に、新しいタスクで学べることと、以前に学んだ概念でのパフォーマンスを維持することのバランスをとる行為である。
安定性と塑性のトレードオフに対処するため,従来の課題と現在の課題のモデルパラメータを重み付けする手法を提案する。
論文 参考訳（メタデータ） (2023-12-14T14:26:57Z) - CLR: Channel-wise Lightweight Reprogramming for Continual Learning [63.94773340278971]
継続的な学習は、逐次的なタスクを通じて継続的に知識を蓄積する人間の能力をエミュレートすることを目的としている。
主な課題は、新しいタスクを学習した後、以前に学習したタスクのパフォーマンスを維持することである。
本稿では、畳み込みニューラルネットワークが破滅的な忘れを克服するのに役立つチャネルワイドなライトウェイト・リプログラミング手法を提案する。
論文 参考訳（メタデータ） (2023-07-21T06:56:21Z) - Complementary Learning Subnetworks for Parameter-Efficient
Class-Incremental Learning [40.13416912075668]
本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。
提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
論文 参考訳（メタデータ） (2023-06-21T01:43:25Z) - Incremental Task Learning with Incremental Rank Updates [20.725181015069435]
低ランク因数分解に基づく新しい漸進的タスク学習フレームワークを提案する。
提案手法は,現在の最先端手法よりも,精度と忘れやすさの点で優れていることを示す。
論文 参考訳（メタデータ） (2022-07-19T05:21:14Z) - Task-Customized Self-Supervised Pre-training with Scalable Dynamic
Routing [76.78772372631623]
セルフ教師付き事前トレーニングの一般的な実践は、できるだけ多くのデータを使用することである。
しかし、特定のダウンストリームタスクでは、事前トレーニングで無関係なデータを含むと、ダウンストリームのパフォーマンスが低下する可能性がある。
異なるタスクのための事前トレーニングで、異なるダウンストリームタスクにカスタマイズされたデータセットを使用することは、重荷であり、実現不可能である。
論文 参考訳（メタデータ） (2022-05-26T10:49:43Z) - Provable and Efficient Continual Representation Learning [40.78975699391065]
連続学習(CL)では、悲惨なことを忘れずに一連のタスクを学習できるモデルを設計することが目的である。
我々は、新しいタスクが到着するにつれて進化する表現を学習する連続表現学習の課題について研究する。
初期タスクが大きなサンプルサイズと高い"表現多様性"を持つ場合,CLのメリットが示される。
論文 参考訳（メタデータ） (2022-03-03T21:23:08Z) - Instance-Level Task Parameters: A Robust Multi-task Weighting Framework [17.639472693362926]
最近の研究によると、ディープニューラルネットワークは、複数の関連するタスク間で共有表現を学習することで、マルチタスク学習の恩恵を受けている。
トレーニングプロセスは、データセットの各インスタンスに対するタスクの最適な重み付けを規定します。
我々は,SURREALとCityScapesのデータセットを用いて,人間の形状とポーズ推定,深さ推定,セマンティックセグメンテーションタスクについて広範な実験を行った。
論文 参考訳（メタデータ） (2021-06-11T02:35:42Z) - Rectification-based Knowledge Retention for Continual Learning [49.1447478254131]
ディープラーニングモデルは、インクリメンタルな学習環境で訓練されたときに壊滅的な忘れに苦しむ。
タスクインクリメンタル学習問題に対処するための新しいアプローチを提案する。これは、インクリメンタルに到着する新しいタスクに関するモデルをトレーニングすることを含む。
私たちのアプローチは、ゼロショットと非ゼロショットタスクインクリメンタルラーニング設定の両方で使用できます。
論文 参考訳（メタデータ） (2021-03-30T18:11:30Z) - Parameter-Efficient Transfer Learning with Diff Pruning [108.03864629388404]
diff pruningは、プリトレイン・ファインチューンフレームワーク内でパラメータ効率の高い転送学習を可能にするシンプルなアプローチです。
diff pruningで微調整されたモデルは、GLUEベンチマークで完全に微調整されたベースラインのパフォーマンスと一致します。
論文 参考訳（メタデータ） (2020-12-14T12:34:01Z) - Meta-Generating Deep Attentive Metric for Few-shot Classification [53.07108067253006]
本稿では,新しい数ショット学習タスクのための特定のメトリックを生成するための,新しい深度メタジェネレーション手法を提案する。
本研究では,各タスクの識別基準を生成するのに十分なフレキシブルな3層深い注意ネットワークを用いて,メトリクスを構造化する。
特に挑戦的なケースでは、最先端の競合他社よりも驚くほどパフォーマンスが向上しています。
論文 参考訳（メタデータ） (2020-12-03T02:07:43Z) - Continual Learning using a Bayesian Nonparametric Dictionary of Weight
Factors [75.58555462743585]
訓練されたニューラルネットワークは、シーケンシャルなタスク設定で破滅的な忘れを経験する傾向がある。
Indian Buffet Process (IBP) に基づく原則的非パラメトリック手法を提案する。
連続学習ベンチマークにおける本手法の有効性を実証し、トレーニングを通して重み要因の配分と再利用方法を分析する。
論文 参考訳（メタデータ） (2020-04-21T15:20:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。