論文の概要: FFNB: Forgetting-Free Neural Blocks for Deep Continual Visual Learning
- arxiv url: http://arxiv.org/abs/2111.11366v1
- Date: Mon, 22 Nov 2021 17:23:34 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-23 16:11:52.942566
- Title: FFNB: Forgetting-Free Neural Blocks for Deep Continual Visual Learning
- Title（参考訳）: FFNB: 深層学習のための予測不要なニューラルブロック
- Authors: Hichem Sahbi and Haoming Zhan
- Abstract要約: 我々は、新しい忘れのないニューラルブロック(FFNB)に基づく連続学習のための動的ネットワークアーキテクチャを考案する。
FFNB機能を新しいタスクでトレーニングするには、以前のタスクのnull-スペースのパラメータを制約する新しいプロシージャを使用する。
- 参考スコア（独自算出の注目度）: 14.924672048447338
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep neural networks (DNNs) have recently achieved a great success in
computer vision and several related fields. Despite such progress, current
neural architectures still suffer from catastrophic interference (a.k.a.
forgetting) which obstructs DNNs to learn continually. While several
state-of-the-art methods have been proposed to mitigate forgetting, these
existing solutions are either highly rigid (as regularization) or time/memory
demanding (as replay). An intermediate class of methods, based on dynamic
networks, has been proposed in the literature and provides a reasonable balance
between task memorization and computational footprint. In this paper, we devise
a dynamic network architecture for continual learning based on a novel
forgetting-free neural block (FFNB). Training FFNB features on new tasks is
achieved using a novel procedure that constrains the underlying parameters in
the null-space of the previous tasks, while training classifier parameters
equates to Fisher discriminant analysis. The latter provides an effective
incremental process which is also optimal from a Bayesian perspective. The
trained features and classifiers are further enhanced using an incremental
"end-to-end" fine-tuning. Extensive experiments, conducted on different
challenging classification problems, show the high effectiveness of the
proposed method.
- Abstract（参考訳）: 近年、ディープニューラルネットワーク(DNN)はコンピュータビジョンといくつかの関連分野において大きな成功を収めている。
このような進歩にもかかわらず、現在の神経アーキテクチャは依然として破滅的な干渉(すなわち忘れること)に悩まされ、DNNが継続的に学習することを妨げている。
忘れを緩和するためにいくつかの最先端の手法が提案されているが、既存のソリューションは非常に厳密(正規化)か、時間/メモリ要求(リプレイ)である。
動的ネットワークに基づく手法の中間クラスが文献で提案されており、タスクの記憶と計算量の間の合理的なバランスを提供している。
本稿では,新しいleading-free neural block (ffnb) に基づく連続学習のための動的ネットワークアーキテクチャを考案する。
新しいタスクでのffnb機能のトレーニングは、前のタスクのヌルスペースのパラメータを制約する新しいプロシージャを使用して実現され、一方、訓練された分類器パラメータはfisher判別分析と同等である。
後者はベイズの観点からも最適である効果的な漸進的過程を提供する。
訓練された機能と分類器は、インクリメンタルな"エンドツーエンド"微調整を使用してさらに強化される。
難解な分類問題に対する広範囲な実験を行った結果,提案手法の有効性が示された。
関連論文リスト
- Randomized Forward Mode Gradient for Spiking Neural Networks in Scientific Machine Learning [4.178826560825283]
スパイキングニューラルネットワーク(SNN)は、ディープニューラルネットワークの階層的学習能力とスパイクベースの計算のエネルギー効率を組み合わせた、機械学習における有望なアプローチである。
SNNの伝統的なエンドツーエンドトレーニングは、しばしばバックプロパゲーションに基づいており、重み更新はチェーンルールによって計算された勾配から導かれる。
この手法は, 生体適合性に限界があり, ニューロモルフィックハードウェアの非効率性のため, 課題に遭遇する。
本研究では,SNNの代替トレーニング手法を導入する。後方伝搬の代わりに,前方モード内での重量摂動手法を活用する。
論文 参考訳（メタデータ） (2024-11-11T15:20:54Z) - A lifted Bregman strategy for training unfolded proximal neural network Gaussian denoisers [8.343594411714934]
屈曲した近位ニューラルネットワーク(PNN)は、深層学習と近位最適化のアプローチを組み合わせた一連の手法である。
展開されたPNNに対するBregman距離に基づく揚力トレーニングの定式化を提案する。
画像復調の数値シミュレーションにより,提案したPNNのトレーニング手法の挙動を評価する。
論文 参考訳（メタデータ） (2024-08-16T13:41:34Z) - Gradient-Free Training of Recurrent Neural Networks using Random Perturbations [1.1742364055094265]
リカレントニューラルネットワーク(RNN)は、チューリング完全性とシーケンシャルな処理能力のために、計算の潜在能力を秘めている。
時間によるバックプロパゲーション(BPTT)は、時間とともにRNNをアンロールすることでバックプロパゲーションアルゴリズムを拡張する。
BPTTは、前方と後方のフェーズをインターリーブし、正確な勾配情報を格納する必要があるなど、大きな欠点に悩まされている。
BPTTと競合するRNNにおける摂動学習に対する新しいアプローチを提案する。
論文 参考訳（メタデータ） (2024-05-14T21:15:29Z) - The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。
FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。
我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
論文 参考訳（メタデータ） (2023-03-17T02:01:11Z) - Learning Bayesian Sparse Networks with Full Experience Replay for
Continual Learning [54.7584721943286]
継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。
既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。
我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
論文 参考訳（メタデータ） (2022-02-21T13:25:03Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳（メタデータ） (2021-06-17T17:26:31Z) - Online Limited Memory Neural-Linear Bandits with Likelihood Matching [53.18698496031658]
本研究では,探索学習と表現学習の両方が重要な役割を果たす課題を解決するために,ニューラルネットワークの帯域について検討する。
破滅的な忘れ込みに対して耐性があり、完全にオンラインである可能性の高いマッチングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-02-07T14:19:07Z) - Designing Interpretable Approximations to Deep Reinforcement Learning [14.007731268271902]
ディープニューラルネットワーク(DNN)は、アルゴリズムのパフォーマンスのバーを設定する。
実際にそのようなハイパフォーマンスなDNNを使うことは不可能かもしれない。
この研究は、所望のパフォーマンスレベルを保持するだけでなく、例えば、DNNで表される潜伏した知識を簡潔に説明できるような縮小モデルを特定することを目指している。
論文 参考訳（メタデータ） (2020-10-28T06:33:09Z) - A Novel Neural Network Training Framework with Data Assimilation [2.948167339160823]
勾配計算を避けるため,データ同化に基づく勾配なし学習フレームワークを提案する。
その結果,提案手法は勾配法よりも優れた性能を示した。
論文 参考訳（メタデータ） (2020-10-06T11:12:23Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳（メタデータ） (2020-07-03T01:37:16Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。