論文の概要: SIESTA: Efficient Online Continual Learning with Sleep

• arxiv url: http://arxiv.org/abs/2303.10725v2
• Date: Fri, 25 Aug 2023 19:58:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-30 00:23:13.662016
• Title: SIESTA: Efficient Online Continual Learning with Sleep
• Title（参考訳）: SIESTA: 睡眠を伴う効果的なオンライン連続学習
• Authors: Md Yousuf Harun, Jhair Gallardo, Tyler L. Hayes, Ronald Kemker, Christopher Kanan
• Abstract要約: SIESTAは、学習のためのウェイク/スリープフレームワークに基づくオンライン連続学習手法である。 より計算効率が良く、単一のGPU上で ImageNet-1K 上で2.4時間未満で連続的な学習を可能にする。
• 参考スコア（独自算出の注目度）: 21.511099956626754
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In supervised continual learning, a deep neural network (DNN) is updated with an ever-growing data stream. Unlike the offline setting where data is shuffled, we cannot make any distributional assumptions about the data stream. Ideally, only one pass through the dataset is needed for computational efficiency. However, existing methods are inadequate and make many assumptions that cannot be made for real-world applications, while simultaneously failing to improve computational efficiency. In this paper, we propose a novel online continual learning method, SIESTA based on wake/sleep framework for training, which is well aligned to the needs of on-device learning. The major goal of SIESTA is to advance compute efficient continual learning so that DNNs can be updated efficiently using far less time and energy. The principal innovations of SIESTA are: 1) rapid online updates using a rehearsal-free, backpropagation-free, and data-driven network update rule during its wake phase, and 2) expedited memory consolidation using a compute-restricted rehearsal policy during its sleep phase. For memory efficiency, SIESTA adapts latent rehearsal using memory indexing from REMIND. Compared to REMIND and prior arts, SIESTA is far more computationally efficient, enabling continual learning on ImageNet-1K in under 2.4 hours on a single GPU; moreover, in the augmentation-free setting it matches the performance of the offline learner, a milestone critical to driving adoption of continual learning in real-world applications.
• Abstract（参考訳）: 教師付き連続学習では、成長を続けるデータストリームでディープニューラルネットワーク(DNN)が更新される。 データがシャッフルされるオフライン設定とは異なり、データストリームに関する分散的な仮定はできません。 理想的には、計算効率のためにデータセットを通過するのは1つだけです。 しかし、既存の手法は不十分であり、現実のアプリケーションでは実現できない多くの仮定を下し、同時に計算効率の改善に失敗する。 本稿では,学習のためのwake/sleepフレームワークに基づくオンライン連続学習手法siestaを提案する。 SIESTAの主な目標は、DNNをはるかに少ない時間とエネルギーで効率的に更新できるように、計算効率のよい連続学習を進めることである。 SIESTAの主な革新は次のとおりである。 1)リハーサルフリー,バックプロパゲーションフリー,データ駆動型ネットワーク更新ルールによるオンライン更新の迅速化,及び 2) 睡眠時, 計算制限型リハーサルポリシーを用いた記憶強化の迅速化。 メモリ効率のために、SIESTAはREMINDのメモリインデックスを使用して潜時リハーサルを適応する。 REMINDや先行技術と比較して、SIESTAは計算的にはるかに効率的で、1つのGPU上で、ImageNet-1Kで2.4時間未満で連続的な学習を可能にする。

関連論文リスト

• StreamPrompt: Learnable Prompt-guided Data Selection for Efficient Stream Learning [3.338998845607862]
  ストリーム学習(SL)は、連続したデータストリームに迅速に適応するモデルを必要とする。 近年のSL法は、トレーニング用のデータサブセットを選択することで効率性を強調している。 本稿では、動的で学習可能なプロンプトを通じてデータ選択を強化する方法であるStreamPromptを紹介する。
  論文  参考訳（メタデータ） (2024-06-11T10:46:41Z)
• Adaptive Rentention & Correction for Continual Learning [114.5656325514408]
  連続学習における一般的な問題は、最新のタスクに対する分類層のバイアスである。 アダプティブ・リテンション・アンド・コレクション (ARC) のアプローチを例に挙げる。 ARCはCIFAR-100とImagenet-Rのデータセットで平均2.7%と2.6%のパフォーマンス向上を達成した。
  論文  参考訳（メタデータ） (2024-05-23T08:43:09Z)
• How Efficient Are Today's Continual Learning Algorithms? [31.120016345185217]
  監視された継続学習では、ラベル付きデータのストリームからディープニューラルネットワーク(DNN)を更新する。 継続的学習の背景にある大きな動機の1つは、時間とともに成長するにつれてトレーニングデータセットをスクラッチからリトレーニングするのではなく、ネットワークを新しい情報で効率的に更新できることだ。 本稿では,近年のインクリメンタルなクラス学習手法について検討し,計算,メモリ,記憶の面では非常に非効率であることを示す。
  論文  参考訳（メタデータ） (2023-03-29T18:52:10Z)
• Learn, Unlearn and Relearn: An Online Learning Paradigm for Deep Neural Networks [12.525959293825318]
  我々は、ディープニューラルネットワーク(DNN)のためのオンライン学習パラダイムであるLearning, Unlearn, and Relearn(LURE)を紹介する。 LUREは、モデルの望ましくない情報を選択的に忘れる未学習フェーズと、一般化可能な特徴の学習を強調する再学習フェーズとを交換する。 トレーニングパラダイムは、分類と少数ショット設定の両方において、データセット間で一貫したパフォーマンス向上を提供します。
  論文  参考訳（メタデータ） (2023-03-18T16:45:54Z)
• Online Training Through Time for Spiking Neural Networks [66.7744060103562]
  スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。 近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。 本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
  論文  参考訳（メタデータ） (2022-10-09T07:47:56Z)
• Online Continual Learning Via Candidates Voting [7.704949298975352]
  クラス増分設定下でのオンライン連続学習に有効でメモリ効率のよい手法を提案する。 提案手法は, CIFAR-10, CIFAR-100, CORE-50など, オンライン連続学習のためのベンチマークデータセットを用いて, 最適な結果を得る。
  論文  参考訳（メタデータ） (2021-10-17T15:45:32Z)
• Online Continual Learning with Natural Distribution Shifts: An Empirical Study with Visual Data [101.6195176510611]
  オンライン」連続学習は、情報保持とオンライン学習の有効性の両方を評価することができる。 オンライン連続学習では、入力される各小さなデータをまずテストに使用し、次にトレーニングセットに追加し、真にオンラインにします。 本稿では,大規模かつ自然な分布変化を示すオンライン連続視覚学習のための新しいベンチマークを提案する。
  論文  参考訳（メタデータ） (2021-08-20T06:17:20Z)
• Deep Time Delay Neural Network for Speech Enhancement with Full Data Learning [60.20150317299749]
  本稿では,全データ学習による音声強調のためのディープタイム遅延ニューラルネットワーク(TDNN)を提案する。 トレーニングデータを完全に活用するために,音声強調のための完全なデータ学習手法を提案する。
  論文  参考訳（メタデータ） (2020-11-11T06:32:37Z)
• Bilevel Continual Learning [76.50127663309604]
  BCL(Bilevel Continual Learning)という,継続的学習の新たな枠組みを提案する。 連続学習ベンチマーク実験では,多くの最先端手法と比較して,提案したBCLの有効性が示された。
  論文  参考訳（メタデータ） (2020-07-30T16:00:23Z)
• AWAC: Accelerating Online Reinforcement Learning with Offline Datasets [84.94748183816547]
  提案手法は,従来の実演データとオンライン体験を組み合わせることで,スキルの素早い学習を可能にする。 以上の結果から,事前データを組み込むことで,ロボット工学を実践的な時間スケールまで学習するのに要する時間を短縮できることが示唆された。
  論文  参考訳（メタデータ） (2020-06-16T17:54:41Z)
• Improving Learning Efficiency for Wireless Resource Allocation with Symmetric Prior [28.275250620630466]
  本稿では、まず、ドメイン知識を利用するための2つのアプローチのクラスを、数学的モデルの導入とディープラーニングへの事前知識の2つにまとめる。 このような総合的な事前手法が学習効率の向上にどのように活用されているかを説明するために,我々はランク付けを頼りにしている。 システム性能を達成するために必要なトレーニングサンプルは,サブキャリア数やコンテンツ数によって減少することがわかった。
  論文  参考訳（メタデータ） (2020-05-18T07:57:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。