論文の概要: Pseudo-Rehearsal for Continual Learning with Normalizing Flows
- arxiv url: http://arxiv.org/abs/2007.02443v4
- Date: Thu, 5 Aug 2021 15:32:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2022-11-13 07:45:18.557065
- Title: Pseudo-Rehearsal for Continual Learning with Normalizing Flows
- Title（参考訳）: 正規化流を伴う連続学習のための擬似リハーサル
- Authors: Jary Pomponi, Simone Scardapane, Aurelio Uncini
- Abstract要約: 破滅的な忘れ(CF)は、ニューラルネットワークが新しいタスクでトレーニングされている間、過去の知識を上書きするたびに起こる。
本稿では,正規化の強みと生成的リハーサルアプローチを組み合わせた新しい手法を提案する。
- 参考スコア（独自算出の注目度）: 15.705568893476947
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Catastrophic forgetting (CF) happens whenever a neural network overwrites
past knowledge while being trained on new tasks. Common techniques to handle CF
include regularization of the weights (using, e.g., their importance on past
tasks), and rehearsal strategies, where the network is constantly re-trained on
past data. Generative models have also been applied for the latter, in order to
have endless sources of data. In this paper, we propose a novel method that
combines the strengths of regularization and generative-based rehearsal
approaches. Our generative model consists of a normalizing flow (NF), a
probabilistic and invertible neural network, trained on the internal embeddings
of the network. By keeping a single NF conditioned on the task, we show that
our memory overhead remains constant. In addition, exploiting the invertibility
of the NF, we propose a simple approach to regularize the network's embeddings
with respect to past tasks. We show that our method performs favorably with
respect to state-of-the-art approaches in the literature, with bounded
computational power and memory overheads.
- Abstract（参考訳）: 破滅的な忘れ(cf)は、ニューラルネットワークが過去の知識を上書きし、新しいタスクでトレーニングされるたびに発生する。
cfを扱う一般的なテクニックには、重み付け(例えば、過去のタスクの重要性など)の正規化と、ネットワークが常に過去のデータで再トレーニングされるリハーサル戦略がある。
生成モデルは、無限のデータソースを持つために、後者にも適用されている。
本稿では,正規化の強みと生成に基づくリハーサル手法を組み合わせた新しい手法を提案する。
我々の生成モデルは、ネットワークの内部埋め込みに基づいて訓練された確率的で可逆なニューラルネットワークである正規化フロー(NF)で構成されている。
タスクに1つのNFを条件付けしておくことで、メモリオーバーヘッドが一定であることを示す。
さらに,NFの可逆性を生かして,過去のタスクに対するネットワークの埋め込みを標準化する簡単な手法を提案する。
本手法は,計算能力とメモリオーバーヘッドを限定して,文献における最先端の手法に対して良好に動作することを示す。
関連論文リスト
- IF2Net: Innately Forgetting-Free Networks for Continual Learning [49.57495829364827]
継続的な学習は、以前に学んだ知識に干渉することなく、新しい概念を漸進的に吸収することができる。
ニューラルネットワークの特性に触発され,本研究は,IF2Net(Innately Forgetting-free Network)の設計方法について検討した。
IF2Netは、1つのネットワークがテスト時にタスクのIDを告げることなく、本質的に無制限のマッピングルールを学習することを可能にする。
論文 参考訳（メタデータ） (2023-06-18T05:26:49Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳（メタデータ） (2023-06-04T08:53:27Z) - Artificial Neuronal Ensembles with Learned Context Dependent Gating [0.0]
LXDG(Learned Context Dependent Gating)は、人工神経のアンサンブルを柔軟に割り当て、リコールする方法である。
ネットワークの隠れた層におけるアクティビティは、トレーニング中に動的に生成されるゲートによって変調される。
本稿では,この手法が連続学習ベンチマークにおける破滅的な忘れを軽減できることを示す。
論文 参考訳（メタデータ） (2023-01-17T20:52:48Z) - Neural networks trained with SGD learn distributions of increasing
complexity [78.30235086565388]
勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。
その後、トレーニング中にのみ高次の統計を利用する。
本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
論文 参考訳（メタデータ） (2022-11-21T15:27:22Z) - DLCFT: Deep Linear Continual Fine-Tuning for General Incremental
Learning [29.80680408934347]
事前学習した表現からモデルを連続的に微調整するインクリメンタルラーニングのための代替フレームワークを提案する。
本手法は, ニューラルネットワークの線形化手法を利用して, 単純かつ効果的な連続学習を行う。
本手法は,データ増分,タスク増分およびクラス増分学習問題において,一般的な連続学習設定に適用可能であることを示す。
論文 参考訳（メタデータ） (2022-08-17T06:58:14Z) - Continual Learning with Invertible Generative Models [15.705568893476947]
破滅的な忘れ(CF)は、ニューラルネットワークが新しいタスクでトレーニングされている間、過去の知識を上書きするたびに起こる。
本稿では,正規化の強みと生成的リハーサルアプローチを組み合わせた新しい手法を提案する。
論文 参考訳（メタデータ） (2022-02-11T15:28:30Z) - Task-agnostic Continual Learning with Hybrid Probabilistic Models [75.01205414507243]
分類のための連続学習のためのハイブリッド生成識別手法であるHCLを提案する。
フローは、データの配布を学習し、分類を行い、タスクの変更を特定し、忘れることを避けるために使用される。
本研究では,スプリット-MNIST,スプリット-CIFAR,SVHN-MNISTなどの連続学習ベンチマークにおいて,HCLの強い性能を示す。
論文 参考訳（メタデータ） (2021-06-24T05:19:26Z) - Learning and Generalization in Overparameterized Normalizing Flows [13.074242275886977]
正規化フロー(NF)は教師なし学習において重要なモデルのクラスである。
既存のNFモデルの大部分を含むNFのクラスでは、過度なパラメトリゼーションがトレーニングを損なうという理論的および実証的な証拠を提供する。
ネットワークが過度にパラメータ化されている場合、最小限の仮定の下で、制約のないNFが妥当なデータ分布を効率的に学習できることを実証する。
論文 参考訳（メタデータ） (2021-06-19T17:11:42Z) - Continual Learning in Recurrent Neural Networks [67.05499844830231]
リカレントニューラルネットワーク(RNN)を用いた逐次データ処理における連続学習手法の有効性を評価する。
RNNに弾性重み強化などの重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重
そこで本研究では,重み付け手法の性能が処理シーケンスの長さに直接的な影響を受けず,むしろ高動作メモリ要求の影響を受けていることを示す。
論文 参考訳（メタデータ） (2020-06-22T10:05:12Z) - Continual Deep Learning by Functional Regularisation of Memorable Past [95.97578574330934]
知的システムにとって、新しいスキルを継続的に学習することは重要だが、標準的なディープラーニング手法は、過去の破滅的な忘れ物に悩まされている。
本稿では, 過去の記憶に残るいくつかの例を, 忘れることを避けるために活用する機能正規化手法を提案する。
提案手法は,標準ベンチマーク上での最先端性能を実現し,正規化とメモリベースの手法を自然に組み合わせた生涯学習の新たな方向性を開拓する。
論文 参考訳（メタデータ） (2020-04-29T10:47:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。