論文の概要: Wake-Sleep Consolidated Learning

• arxiv url: http://arxiv.org/abs/2401.08623v1
• Date: Wed, 6 Dec 2023 18:15:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-22 09:49:39.754923
• Title: Wake-Sleep Consolidated Learning
• Title（参考訳）: wake-sleep統合学習
• Authors: Amelia Sorrenti, Giovanni Bellitto, Federica Proietto Salanitri, Matteo Pennisi, Simone Palazzo, Concetto Spampinato
• Abstract要約: 視覚分類タスクにおける深層ニューラルネットワークの性能向上を目的としたWake-Sleep Consolidated Learningを提案する。 本手法は、異なる覚醒相と睡眠相の同期を通して連続的に学習する。 提案手法の有効性を3つのベンチマークデータセットで評価した。
• 参考スコア（独自算出の注目度）: 9.596781985154927
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose Wake-Sleep Consolidated Learning (WSCL), a learning strategy leveraging Complementary Learning System theory and the wake-sleep phases of the human brain to improve the performance of deep neural networks for visual classification tasks in continual learning settings. Our method learns continually via the synchronization between distinct wake and sleep phases. During the wake phase, the model is exposed to sensory input and adapts its representations, ensuring stability through a dynamic parameter freezing mechanism and storing episodic memories in a short-term temporary memory (similarly to what happens in the hippocampus). During the sleep phase, the training process is split into NREM and REM stages. In the NREM stage, the model's synaptic weights are consolidated using replayed samples from the short-term and long-term memory and the synaptic plasticity mechanism is activated, strengthening important connections and weakening unimportant ones. In the REM stage, the model is exposed to previously-unseen realistic visual sensory experience, and the dreaming process is activated, which enables the model to explore the potential feature space, thus preparing synapses to future knowledge. We evaluate the effectiveness of our approach on three benchmark datasets: CIFAR-10, Tiny-ImageNet and FG-ImageNet. In all cases, our method outperforms the baselines and prior work, yielding a significant performance gain on continual visual classification tasks. Furthermore, we demonstrate the usefulness of all processing stages and the importance of dreaming to enable positive forward transfer.
• Abstract（参考訳）: 本研究では,視覚分類タスクのための深層ニューラルネットワークの性能を向上させるために,補足的な学習システム理論と人間の脳のwake-sleepフェーズを活用した学習戦略であるwake-sleep integrated learning (wscl)を提案する。 本手法は,覚醒相と睡眠相の同期によって継続的に学習する。 ウェイクフェーズの間、モデルは感覚入力に曝され、その表現に適応し、動的パラメータ凍結機構を通じて安定性を確保し、短期の一時的な記憶(海馬で起こるのと同様に)にエピソディック記憶を格納する。 睡眠期には、トレーニング過程をNREMおよびREMステージに分割する。 NREM段階では、短期記憶と長期記憶の再生サンプルを用いてモデルのシナプス重量を集約し、シナプス可塑性機構を活性化し、重要な接続を強化し、重要でないものを弱める。 REMの段階では、モデルは未確認のリアルな視覚感覚体験に晒され、夢のプロセスが活性化され、モデルが潜在的な特徴空間を探索し、将来の知識にシナプスを準備できる。 CIFAR-10, Tiny-ImageNet, FG-ImageNetの3つのベンチマークデータセットに対して, 提案手法の有効性を評価する。 いずれの場合も,本手法はベースラインや先行作業よりも優れており,連続的な視覚的分類タスクにおいて顕著な性能向上をもたらす。 さらに,全ての処理段階の有用性と,前向き転送を実現するための夢の実現の重要性を示す。

関連論文リスト

• MuDreamer: Learning Predictive World Models without Reconstruction [58.0159270859475]
  本稿では,DreamerV3アルゴリズムに基づく堅牢な強化学習エージェントであるMuDreamerについて述べる。 本手法は,Atari100kベンチマークにおいて,より高速なトレーニングの恩恵を受けながら,同等のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-05-23T22:09:01Z)
• Hebbian and Gradient-based Plasticity Enables Robust Memory and Rapid Learning in RNNs [13.250455334302288]
  シナプスの可塑性は記憶の形成と学習において重要な役割を担っているという証拠がある。 リカレントニューラルネットワークに塑性規則を付与し、進行中の経験に応じてパラメータを適応できるようにします。 本モデルでは, 逐次的, 連想的メモリタスクにおける有望な結果を示し, 記憶を堅牢に形成, 維持する能力を示す。
  論文  参考訳（メタデータ） (2023-02-07T03:42:42Z)
• Continual learning benefits from multiple sleep mechanisms: NREM, REM, and Synaptic Downscaling [51.316408685035526]
  先行学習を失うことなく、新しいタスクやスキルを連続して学習することは、人工ニューラルネットワークと生物学的ニューラルネットワークの両方にとって、計算上の課題である。 本稿では,3つの異なる睡眠成分のモデル化が,人工ニューラルネットワークの連続学習にどのように影響するかを検討する。
  論文  参考訳（メタデータ） (2022-09-09T13:45:27Z)
• Modeling Associative Plasticity between Synapses to Enhance Learning of Spiking Neural Networks [4.736525128377909]
  Spiking Neural Networks(SNN)は、ニューラルネットワークの第3世代であり、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする。 本稿では,シナプス間の結合可塑性をモデル化し,頑健で効果的な学習機構を提案する。 本手法は静的および最先端のニューロモルフィックデータセット上での優れた性能を実現する。
  論文  参考訳（メタデータ） (2022-07-24T06:12:23Z)
• Learning Bayesian Sparse Networks with Full Experience Replay for Continual Learning [54.7584721943286]
  継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。 既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。 我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
  論文  参考訳（メタデータ） (2022-02-21T13:25:03Z)
• Self-Regulated Learning for Egocentric Video Activity Anticipation [147.9783215348252]
  自己制御学習(SRL)は、中間表現を連続的に制御し、現在のタイムスタンプのフレームにおける新しい情報を強調する表現を作り出すことを目的としている。 SRLは2つのエゴセントリックなビデオデータセットと2つの第三者のビデオデータセットにおいて、既存の最先端技術よりも大幅に優れています。
  論文  参考訳（メタデータ） (2021-11-23T03:29:18Z)
• Memory semantization through perturbed and adversarial dreaming [0.7874708385247353]
  本稿では, 高速眼球運動(REM)ドリームが, 効率的なメモリセマンティゼーションに欠かせないことを提案する。 我々はGAN(Generative Adversarial Network)にインスパイアされた階層的なフィードフォワードとフィードバック経路を備えた皮質アーキテクチャを実装した。 以上の結果から,REM睡眠時の敵の夢は記憶内容の抽出に不可欠であり,NREM睡眠時の夢は雑音の知覚入力に対する潜伏表現の堅牢性を向上させることが示唆された。
  論文  参考訳（メタデータ） (2021-09-09T13:31:13Z)
• PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning [109.84770951839289]
  歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。 本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-03-17T08:28:30Z)
• Association: Remind Your GAN not to Forget [11.653696510515807]
  本稿では,連想学習過程を模倣して連続学習を実現する脳様アプローチを提案する。 画像から画像への翻訳作業における破滅的忘れを緩和する手法の有効性を実験により実証した。
  論文  参考訳（メタデータ） (2020-11-27T04:43:15Z)
• Automatic Recall Machines: Internal Replay, Continual Learning and the Brain [104.38824285741248]
  ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。 本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。 代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
  論文  参考訳（メタデータ） (2020-06-22T15:07:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。