論文の概要: Flattening Sharpness for Dynamic Gradient Projection Memory Benefits
Continual Learning
- arxiv url: http://arxiv.org/abs/2110.04593v1
- Date: Sat, 9 Oct 2021 15:13:44 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-12 18:23:46.449194
- Title: Flattening Sharpness for Dynamic Gradient Projection Memory Benefits
Continual Learning
- Title(参考訳): 動的勾配射影記憶におけるフラッテニングシャープネスの連続学習効果
- Authors: Danruo Deng, Guangyong Chen, Jianye Hao, Qiong Wang, Pheng-Ann Heng
- Abstract要約: 連続学習シナリオにおける減量景観と感度安定性の関係について検討した。
提案手法は,忘れを効果的に軽減しつつ,新しいスキルを習得する能力に優れたベースラインを一貫して上回る。
- 参考スコア(独自算出の注目度): 67.99349091593324
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The backpropagation networks are notably susceptible to catastrophic
forgetting, where networks tend to forget previously learned skills upon
learning new ones. To address such the 'sensitivity-stability' dilemma, most
previous efforts have been contributed to minimizing the empirical risk with
different parameter regularization terms and episodic memory, but rarely
exploring the usages of the weight loss landscape. In this paper, we
investigate the relationship between the weight loss landscape and
sensitivity-stability in the continual learning scenario, based on which, we
propose a novel method, Flattening Sharpness for Dynamic Gradient Projection
Memory (FS-DGPM). In particular, we introduce a soft weight to represent the
importance of each basis representing past tasks in GPM, which can be
adaptively learned during the learning process, so that less important bases
can be dynamically released to improve the sensitivity of new skill learning.
We further introduce Flattening Sharpness (FS) to reduce the generalization gap
by explicitly regulating the flatness of the weight loss landscape of all seen
tasks. As demonstrated empirically, our proposed method consistently
outperforms baselines with the superior ability to learn new skills while
alleviating forgetting effectively.
- Abstract(参考訳): バックプロパゲーションネットワークは、破滅的な忘れがちで、ネットワークは、新しいものを学ぶ際に学んだスキルを忘れがちだ。
このような「感性安定性」ジレンマに対処するために、これまでの努力のほとんどは、異なるパラメータ正規化項とエピソディックメモリによる経験的リスクを最小限に抑えることに貢献してきたが、減量景観の使用法を探究することは滅多にない。
本稿では,連続学習シナリオにおける減量環境と感度安定性の関係について検討し,動的勾配投影メモリ(fs-dgpm)のシャープネスを平坦化する新しい手法を提案する。
特に,学習プロセス中に適応的に学習できるGPMにおける過去のタスクを表す各ベースの重要性を表現するために,ソフトウェイトを導入し,新しいスキル学習の感度を向上させるために,重要でないベースを動的に解放する。
さらに,全タスクの重み損失景観の平坦さを明示的に調節することにより,一般化ギャップを低減するためにフラッテニングシャープネス(FS)を導入する。
実証的に示すように,提案手法は,新しいスキルを身につける能力でベースラインを一貫して上回っている。
関連論文リスト
- On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。
アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
論文 参考訳(メタデータ) (2023-12-13T02:11:07Z) - Loss of Plasticity in Deep Continual Learning [12.89550162056095]
連続学習のためのデータセットをタスクのシーケンスとして利用して,可塑性損失の実証を行う。
このアルゴリズムは従来のバックプロパゲーションをわずかに修正し、各例の後で少数の未使用単位を再利用する。
論文 参考訳(メタデータ) (2023-06-23T23:19:21Z) - Continual Learning with Pretrained Backbones by Tuning in the Input
Space [44.97953547553997]
ディープラーニングモデルを非定常環境に適用することの本質的な困難さは、ニューラルネットワークの実際のタスクへの適用性を制限している。
ネットワークの事前学習部分の更新を回避し、通常の分類ヘッドだけでなく、新たに導入した学習可能なパラメータのセットも学習することで、微調整手順をより効果的にするための新しい戦略を提案する。
論文 参考訳(メタデータ) (2023-06-05T15:11:59Z) - Sharpness-Aware Training for Free [163.1248341911413]
シャープネスを意識した最小化(SAM)は、損失ランドスケープの幾何学を反映したシャープネス尺度の最小化が一般化誤差を著しく減少させることを示した。
シャープネス・アウェア・トレーニング・フリー(SAF)は、シャープランドスケープをベース上でほぼゼロの計算コストで軽減する。
SAFは、改善された能力で最小限の平らな収束を保証する。
論文 参考訳(メタデータ) (2022-05-27T16:32:43Z) - Class-Incremental Learning by Knowledge Distillation with Adaptive
Feature Consolidation [39.97128550414934]
本稿では,ディープニューラルネットワークに基づく新しいクラスインクリメンタル学習手法を提案する。
以前のタスクの例を格納するためのメモリが限られている新しいタスクを継続的に学習する。
我々のアルゴリズムは知識蒸留に基づいており、古いモデルの表現を維持するための原則的な方法を提供する。
論文 参考訳(メタデータ) (2022-04-02T16:30:04Z) - Understanding Catastrophic Forgetting and Remembering in Continual
Learning with Optimal Relevance Mapping [10.970706194360451]
ニューラルネットワークにおける破滅的な忘れは、継続的な学習にとって重要な問題です。
最適オーバーラップ仮説にインスパイアされたRelevance Mapping Networks(RMN)を紹介します。
我々は、RMNが破滅的な忘れと記憶の双対の問題を乗り越える最適化された表現重複を学ぶことを示しています。
論文 参考訳(メタデータ) (2021-02-22T20:34:00Z) - Enabling Continual Learning with Differentiable Hebbian Plasticity [18.12749708143404]
連続学習は、獲得した知識を保護しながら、新しいタスクや知識を順次学習する問題である。
破滅的な忘れ物は、そのような学習プロセスを実行するニューラルネットワークにとって、大きな課題となる。
微分可能なヘビアン塑性からなるヘビアンコンソリデーションモデルを提案する。
論文 参考訳(メタデータ) (2020-06-30T06:42:19Z) - Understanding the Role of Training Regimes in Continual Learning [51.32945003239048]
破滅的な忘れは、ニューラルネットワークのトレーニングに影響を与え、複数のタスクを逐次学習する能力を制限する。
本研究では,タスクの局所的なミニマを拡大するトレーニング体制の形成に及ぼすドロップアウト,学習速度の低下,バッチサイズの影響について検討した。
論文 参考訳(メタデータ) (2020-06-12T06:00:27Z) - Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。
本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文 参考訳(メタデータ) (2020-06-10T08:22:41Z) - The Break-Even Point on Optimization Trajectories of Deep Neural
Networks [64.7563588124004]
この軌道上の「破滅的な」点の存在を論じる。
トレーニングの初期段階での大きな学習率を用いることで、勾配のばらつきが軽減されることを示す。
また, バッチ正規化層を有するニューラルネットワークにおいても, 低学習率を用いることで損失面の条件が悪くなることを示す。
論文 参考訳(メタデータ) (2020-02-21T22:55:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。