論文の概要: Logarithmic Continual Learning
- arxiv url: http://arxiv.org/abs/2201.06534v1
- Date: Mon, 17 Jan 2022 17:29:16 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-20 07:37:25.951185
- Title: Logarithmic Continual Learning
- Title(参考訳): 対数連続学習
- Authors: Wojciech Masarczyk, Pawe{\l} Wawrzy\'nski, Daniel Marczak, Kamil Deja,
Tomasz Trzci\'nski
- Abstract要約: 本稿では、連続学習モデルの生成的リハーサルにおける自己リハーサルステップの数を対数的に減少させるニューラルネットワークアーキテクチャを提案する。
継続学習(CL)では、トレーニングサンプルがその後のタスクに反映され、トレーニングされたモデルが一度に1つのタスクにしかアクセスできない。
- 参考スコア(独自算出の注目度): 11.367079056418957
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce a neural network architecture that logarithmically reduces the
number of self-rehearsal steps in the generative rehearsal of continually
learned models. In continual learning (CL), training samples come in subsequent
tasks, and the trained model can access only a single task at a time. To replay
previous samples, contemporary CL methods bootstrap generative models and train
them recursively with a combination of current and regenerated past data. This
recurrence leads to superfluous computations as the same past samples are
regenerated after each task, and the reconstruction quality successively
degrades. In this work, we address these limitations and propose a new
generative rehearsal architecture that requires at most logarithmic number of
retraining for each sample. Our approach leverages allocation of past data in
a~set of generative models such that most of them do not require retraining
after a~task. The experimental evaluation of our logarithmic continual learning
approach shows the superiority of our method with respect to the
state-of-the-art generative rehearsal methods.
- Abstract(参考訳): 連続学習モデルの生成的リハーサルにおける自己リハーサルステップの数を対数的に減少させるニューラルネットワークアーキテクチャを提案する。
連続学習(cl)では、トレーニングサンプルは後続のタスクに含まれ、トレーニングされたモデルは一度に1つのタスクのみにアクセスできる。
以前のサンプルを再生するために、現在のclメソッドは生成モデルをブートストラップし、現在のデータと再生成された過去のデータを組み合わせて再帰的にトレーニングする。
この再帰は、各タスクの後に同じ過去のサンプルが再生成されるような過度な計算につながり、コンストラクションの品質は順次低下する。
そこで本研究では,これらの制約に対処し,各サンプルの対数的再訓練数を必要とする新しい生成的リハーサルアーキテクチャを提案する。
我々のアプローチは、a~taskの後に再トレーニングする必要のないように、生成モデルのセットで過去のデータの割り当てを利用する。
対数連続学習の手法を実験的に評価したところ,本手法の最先端な生成的リハーサル法に対する優位性を示した。
関連論文リスト
- Joint Diffusion models in Continual Learning [4.013156524547073]
共同拡散モデルに基づく生成的リハーサルを用いた連続学習法であるJDCLを紹介する。
生成的再生に基づく連続学習手法は、生成的モデルからサンプリングされた新しいデータとリハーサルデータを組み合わせたモデルの再学習によってこの問題を緩和しようとする。
このような共有パラメトリゼーションと知識蒸留技術を組み合わせることで、破滅的な忘れをせずに新しいタスクに安定した適応ができることを示す。
論文 参考訳(メタデータ) (2024-11-12T22:35:44Z) - One Step Diffusion via Shortcut Models [109.72495454280627]
単一ネットワークとトレーニングフェーズを用いて高品質なサンプルを生成する,生成モデルのファミリであるショートカットモデルを導入する。
ショートカットモデルは、現在のノイズレベルと所望のステップサイズにネットワークを条件付け、生成プロセスでモデルをスキップすることができる。
蒸留と比較して、ショートカットモデルは複雑性を1つのネットワークとトレーニングフェーズに減らし、推論時に様々なステップ予算を許容する。
論文 参考訳(メタデータ) (2024-10-16T13:34:40Z) - Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple
Logits Retargeting Approach [102.0769560460338]
我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。
提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
論文 参考訳(メタデータ) (2024-03-01T03:27:08Z) - Continual Learning with Strong Experience Replay [32.154995019080594]
SER(Strong Experience Replay)を用いたCL法を提案する。
SERは、メモリバッファから過去の経験を蒸留する以外に、現在のトレーニングデータに模倣された将来の経験を利用する。
複数の画像分類データセットによる実験結果から,SER法が最先端の手法をはるかに上回ることがわかった。
論文 参考訳(メタデータ) (2023-05-23T02:42:54Z) - Solving Inverse Problems with Score-Based Generative Priors learned from
Noisy Data [1.7969777786551424]
SURE-Scoreは、加法ガウス雑音で劣化したトレーニングサンプルを用いてスコアベースの生成モデルを学習するためのアプローチである。
2つの実践的応用において,SURE-Scoreの事前学習と逆問題に対する後続サンプリングの適用による一般化を実証する。
論文 参考訳(メタデータ) (2023-05-02T02:51:01Z) - Reducing Training Sample Memorization in GANs by Training with
Memorization Rejection [80.0916819303573]
本稿では,トレーニング中のトレーニングサンプルのほぼ重複する生成サンプルを拒否する学習手法であるリジェクション記憶法を提案する。
我々のスキームは単純で汎用的であり、任意のGANアーキテクチャに直接適用することができる。
論文 参考訳(メタデータ) (2022-10-21T20:17:50Z) - Effective and Efficient Training for Sequential Recommendation using
Recency Sampling [91.02268704681124]
本稿では,新しいRecency-based Smpling of Sequencesトレーニング目標を提案する。
提案手法により拡張されたモデルにより,最先端のBERT4Recに近い性能が得られることを示す。
論文 参考訳(メタデータ) (2022-07-06T13:06:31Z) - Few-shot Transfer Learning for Holographic Image Reconstruction using a
Recurrent Neural Network [0.30586855806896046]
ホログラフィック画像再構成ディープニューラルネットワークを,小さなデータセットを用いて新しいタイプのサンプルに迅速に一般化する,数発の転写学習手法を提案する。
提案手法の有効性を,小型ホログラフデータセットを用いた新しいタイプのサンプルに適用し,本手法の有効性を検証した。
論文 参考訳(メタデータ) (2022-01-27T05:51:36Z) - Improving Non-autoregressive Generation with Mixup Training [51.61038444990301]
本稿では,事前学習したトランスモデルに基づく非自己回帰生成モデルを提案する。
我々はMIxソースと擬似ターゲットという,シンプルで効果的な反復訓練手法を提案する。
質問生成,要約,パラフレーズ生成を含む3つの世代ベンチマーク実験により,提案手法が新たな最先端結果を実現することを示す。
論文 参考訳(メタデータ) (2021-10-21T13:04:21Z) - Automatic Recall Machines: Internal Replay, Continual Learning and the
Brain [104.38824285741248]
ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。
本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。
代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
論文 参考訳(メタデータ) (2020-06-22T15:07:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。