論文の概要: Unsupervised Replay Strategies for Continual Learning with Limited Data

• arxiv url: http://arxiv.org/abs/2410.16154v1
• Date: Mon, 21 Oct 2024 16:21:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:17:22.268373
• Title: Unsupervised Replay Strategies for Continual Learning with Limited Data
• Title（参考訳）: 限定データを用いた連続学習のための教師なしリプレイ戦略
• Authors: Anthony Bazhenov, Pahan Dewasurendra, Giri P. Krishnan, Jean Erik Delanois,
• Abstract要約: 限られたデータで訓練したモデルにおいて、睡眠相の導入により精度が大幅に向上したことを示す。 数回のタスクが連続的にトレーニングされたとき、新しいタスクトレーニングの後、悲惨なほど忘れていた学習情報を、スリープ再生が救われた。 本研究は,ANNにおける学習効率の向上と継続学習の促進における睡眠再生の多面的役割を強調した。
• 参考スコア（独自算出の注目度）: 1.0687104237121408
• License:
• Abstract: Artificial neural networks (ANNs) show limited performance with scarce or imbalanced training data and face challenges with continuous learning, such as forgetting previously learned data after new tasks training. In contrast, the human brain can learn continuously and from just a few examples. This research explores the impact of 'sleep', an unsupervised phase incorporating stochastic activation with local Hebbian learning rules, on ANNs trained incrementally with limited and imbalanced datasets, specifically MNIST and Fashion MNIST. We discovered that introducing a sleep phase significantly enhanced accuracy in models trained with limited data. When a few tasks were trained sequentially, sleep replay not only rescued previously learned information that had been catastrophically forgetting following new task training but often enhanced performance in prior tasks, especially those trained with limited data. This study highlights the multifaceted role of sleep replay in augmenting learning efficiency and facilitating continual learning in ANNs.
• Abstract（参考訳）: ニューラルネットワーク(ANN)は、不足あるいは不均衡なトレーニングデータによる限られたパフォーマンスを示し、新しいタスクトレーニング後の学習データを忘れることなど、継続的学習による課題に直面している。 対照的に、人間の脳はいくつかの例から継続的に学習することができる。 本研究は,局所ヘビーンの学習規則に確率的アクティベーションを組み込んだ非教師型フェーズである「スリープ」が,限定的かつ不均衡なデータセット(特にMNISTとFashion MNIST)で漸進的に訓練されたANNに与える影響について検討する。 その結果、限られたデータで訓練したモデルにおいて、睡眠相の導入により精度が大幅に向上することが判明した。 いくつかのタスクが連続的にトレーニングされたとき、スリープリプレイは、新しいタスクトレーニングの後、悲惨なほど忘れられ、以前のタスク、特に限られたデータで訓練されたタスクのパフォーマンスが向上した、以前の学習情報を救った。 本研究は,ANNにおける学習効率の向上と継続学習の促進における睡眠再生の多面的役割を強調した。

関連論文リスト

• Continual Diffuser (CoD): Mastering Continual Offline Reinforcement Learning with Experience Rehearsal [54.93261535899478]
  強化学習のロボット制御のような現実世界の応用では、タスクが変化し、新しいタスクが順次発生する。 この状況は、タスクの変更に適応し、獲得した知識を保持するエージェントを訓練する上で、可塑性-安定トレードオフという新たな課題を生じさせる。 本研究では,連続拡散器(Continuous diffuser,CoD)と呼ばれるリハーサルに基づく連続拡散モデルを提案する。
  論文  参考訳（メタデータ） (2024-09-04T08:21:47Z)
• Neuro-mimetic Task-free Unsupervised Online Learning with Continual Self-Organizing Maps [56.827895559823126]
  自己組織化マップ(英: Self-organizing map、SOM)は、クラスタリングや次元減少によく用いられるニューラルネットワークモデルである。 低メモリ予算下でのオンライン教師なし学習が可能なSOM(連続SOM)の一般化を提案する。 MNIST, Kuzushiji-MNIST, Fashion-MNISTなどのベンチマークでは, ほぼ2倍の精度が得られた。
  論文  参考訳（メタデータ） (2024-02-19T19:11:22Z)
• Sleep-Like Unsupervised Replay Improves Performance when Data are Limited or Unbalanced [0.0]
  睡眠は、局所的なヘビアン型学習規則による教師なしの段階として実装された。 MNISTおよびFashion MNISTデータセットの0.5-10%の範囲で、限られたデータで訓練されたモデルに対して、睡眠後の精度が大幅に向上した。 この研究は、睡眠中に脳が採用するシナプス量力学の潜在的な戦略に光を当て、トレーニングデータに制限や不均衡がある場合の記憶性能を高める。
  論文  参考訳（メタデータ） (2024-02-12T18:25:41Z)
• Negotiated Representations to Prevent Forgetting in Machine Learning Applications [0.0]
  破滅的な忘れは、機械学習の分野で重要な課題である。 本稿では,機械学習アプリケーションにおける破滅的忘れを防止する新しい方法を提案する。
  論文  参考訳（メタデータ） (2023-11-30T22:43:50Z)
• Provable Multi-Task Representation Learning by Two-Layer ReLU Neural Networks [69.38572074372392]
  本稿では,複数タスクにおける非線形モデルを用いたトレーニング中に特徴学習が発生することを示す最初の結果を示す。 私たちのキーとなる洞察は、マルチタスク事前トレーニングは、通常タスク間で同じラベルを持つポイントを整列する表現を好む擬似コントラスト的損失を誘導するということです。
  論文  参考訳（メタデータ） (2023-07-13T16:39:08Z)
• Continual learning benefits from multiple sleep mechanisms: NREM, REM, and Synaptic Downscaling [51.316408685035526]
  先行学習を失うことなく、新しいタスクやスキルを連続して学習することは、人工ニューラルネットワークと生物学的ニューラルネットワークの両方にとって、計算上の課題である。 本稿では,3つの異なる睡眠成分のモデル化が,人工ニューラルネットワークの連続学習にどのように影響するかを検討する。
  論文  参考訳（メタデータ） (2022-09-09T13:45:27Z)
• Explain to Not Forget: Defending Against Catastrophic Forgetting with XAI [10.374979214803805]
  破滅的な忘れは、ニューラルネットワークが新しい情報を与えられたときの過去の知識を完全に忘れてしまう現象を記述している。 我々は、ニューラルネットワークが新しいデータをトレーニングする際に、以前のタスクで既に学んだ情報を保持するために、レイヤーワイズ関連伝播を利用する、トレーニングと呼ばれる新しいトレーニングアルゴリズムを提案する。 我々の手法は、ニューラルネットワーク内の古いタスクの知識をうまく保持するだけでなく、他の最先端のソリューションよりもリソース効率が良い。
  論文  参考訳（メタデータ） (2022-05-04T08:00:49Z)
• Learning Bayesian Sparse Networks with Full Experience Replay for Continual Learning [54.7584721943286]
  継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。 既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。 我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
  論文  参考訳（メタデータ） (2022-02-21T13:25:03Z)
• Reducing Catastrophic Forgetting in Self Organizing Maps with Internally-Induced Generative Replay [67.50637511633212]
  生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。 適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。 この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
  論文  参考訳（メタデータ） (2021-12-09T07:11:14Z)
• Learning to Continually Learn Rapidly from Few and Noisy Data [19.09933805011466]
  新しいタスクを学習しながら、外部に格納された古いデータを同時にトレーニングすることで、継続的な学習を実現することができる。 過去のタスクごとに学習率をテキスト学習するメタラーニングナを使用することで、ベース学習者は少ないメモリで強力な結果が得られることが分かりました。
  論文  参考訳（メタデータ） (2021-03-06T08:29:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。