論文の概要: Investigating Continuous Learning in Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2310.05343v1
• Date: Mon, 9 Oct 2023 02:08:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-12 08:22:08.230083
• Title: Investigating Continuous Learning in Spiking Neural Networks
• Title（参考訳）: スパイクニューラルネットワークにおける連続学習の検討
• Authors: C. Tanner Fredieu
• Abstract要約: 連続学習のための第3世代の機械学習(スパイキングニューラルネットワークアーキテクチャとも呼ばれる)を,従来のモデルと比較し検討した。 すべてのモデルは、現在のクラスを正しく識別することができたが、破滅的な忘れ物のために、以前のクラスではすぐに急激なパフォーマンス低下が見られた。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, the use of third-generation machine learning, also known as spiking neural network architecture, for continuous learning was investigated and compared to conventional models. The experimentation was divided into three separate phases. The first phase focused on training the conventional models via transfer learning. The second phase trains a Nengo model from their library. Lastly, each conventional model is converted into a spiking neural network and trained. Initial results from phase 1 are inline with known knowledge about continuous learning within current machine learning literature. All models were able to correctly identify the current classes, but they would immediately see a sharp performance drop in previous classes due to catastrophic forgetting. However, the SNN models were able to retain some information about previous classes. Although many of the previous classes were still identified as the current trained classes, the output probabilities showed a higher than normal value to the actual class. This indicates that the SNN models do have potential to overcome catastrophic forgetting but much work is still needed.
• Abstract（参考訳）: 本稿では,ニューラルネットワークアーキテクチャとしても知られる第3世代機械学習の連続学習への応用について,従来のモデルと比較して検討した。 実験は3つの段階に分けられた。 第1フェーズは、転送学習による従来のモデルのトレーニングに焦点を当てた。 第2段階は図書館から年号モデルを訓練する。 最後に、各従来のモデルはスパイクニューラルネットワークに変換され、トレーニングされる。 フェーズ1の最初の結果は、現在の機械学習文献における継続的学習に関する既知の知識とインラインである。 すべてのモデルは、現在のクラスを正確に識別することができたが、壊滅的な忘れにより、すぐに前のクラスのパフォーマンスが低下した。 しかし、SNNモデルは以前のクラスに関する情報を保持することができた。 従来のクラスの多くは現在のトレーニングクラスとして認識されていたが、出力確率は実際のクラスよりも高い値を示した。 これは、SNNモデルが破滅的な忘れを克服する可能性を秘めているが、まだ多くの作業が必要であることを示している。

関連論文リスト

• Learning to Continually Learn with the Bayesian Principle [36.75558255534538]
  本研究では、ニューラルネットワークの強力な表現力と、忘れることに対する単純な統計モデルの堅牢性を組み合わせたメタラーニングパラダイムを採用する。 ニューラルネットワークは継続学習中に固定されているため、破滅的な忘れ物から保護されている。
  論文  参考訳（メタデータ） (2024-05-29T04:53:31Z)
• On the Steganographic Capacity of Selected Learning Models [1.0640226829362012]
  本稿では,学習モデルの聴取能力について考察する。 幅広いモデルに対して、上書き可能な低次ビットの数を決定する。 テスト対象モデルのうち, LR実験では7.04KB, InceptionV3では44.74MBであった。
  論文  参考訳（メタデータ） (2023-08-29T10:41:34Z)
• Steganographic Capacity of Deep Learning Models [12.974139332068491]
  いくつかの学習モデルのステガノグラフィー能力について考察する。 我々は,難解なマルウェア分類問題に対して,多層パーセプトロン(MLP),畳み込みニューラルネットワーク(CNN),トランスフォーマーモデルを訓練する。 テストした学習モデルのステガノグラフィー能力は驚くほど高く,いずれの場合も,モデル性能が急速に低下する明確なしきい値が存在することがわかった。
  論文  参考訳（メタデータ） (2023-06-25T13:43:35Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• CQural: A Novel CNN based Hybrid Architecture for Quantum Continual Machine Learning [0.0]
  本研究では,新しい古典量子ニューラルネットを用いた連続学習において,破滅的な忘れを回避できることが示唆された。 また、モデルがこれらの説明でトレーニングされている場合、より良いパフォーマンスを与え、決定境界から遠く離れた特定の特徴を学ぶ傾向があります。
  論文  参考訳（メタデータ） (2023-05-16T18:19:12Z)
• On the balance between the training time and interpretability of neural ODE for time series modelling [77.34726150561087]
  本稿は,現代のニューラルODEを,時系列モデリングアプリケーションのためのより単純なモデルに還元することはできないことを示す。 ニューラルODEの複雑さは、従来の時系列モデリングツールと比較されるか、超える。 本稿では,ニューラルネットワークとODEシステムを用いた時系列モデリングの新しい視点を提案する。
  論文  参考訳（メタデータ） (2022-06-07T13:49:40Z)
• Rethinking Nearest Neighbors for Visual Classification [56.00783095670361]
  k-NNは、トレーニングセット内のテストイメージとトップk隣人間の距離を集約する遅延学習手法である。 我々は,教師付き手法と自己監督型手法のいずれでも,事前学習した視覚表現を持つk-NNを2つのステップで採用する。 本研究は,幅広い分類タスクに関する広範な実験により,k-NN統合の汎用性と柔軟性を明らかにした。
  論文  参考訳（メタデータ） (2021-12-15T20:15:01Z)
• Incremental Deep Neural Network Learning using Classification Confidence Thresholding [4.061135251278187]
  分類のための現代のニューラルネットワークのほとんどは、未知の概念を考慮していない。 本稿では,逐次学習のための素数ニューラルネットワークに対する分類信頼度閾値アプローチを提案する。
  論文  参考訳（メタデータ） (2021-06-21T22:46:28Z)
• Learning Adaptive Embedding Considering Incremental Class [55.21855842960139]
  CIL(Class-Incremental Learning)は,未知のクラスを逐次生成するストリーミングデータを用いて,信頼性の高いモデルをトレーニングすることを目的としている。 従来のクローズドセット学習とは異なり、CILには2つの大きな課題がある。 新たなクラスが検出された後、以前のデータ全体を使用して再トレーニングすることなく、モデルを更新する必要がある。
  論文  参考訳（メタデータ） (2020-08-31T04:11:24Z)
• Learning from Failure: Training Debiased Classifier from Biased Classifier [76.52804102765931]
  ニューラルネットワークは、所望の知識よりも学習が簡単である場合にのみ、素早い相関に依存することを学習していることを示す。 本稿では,一対のニューラルネットワークを同時にトレーニングすることで,障害に基づくデバイアス化手法を提案する。 本手法は,合成データセットと実世界のデータセットの両方において,各種バイアスに対するネットワークのトレーニングを大幅に改善する。
  論文  参考訳（メタデータ） (2020-07-06T07:20:29Z)
• The large learning rate phase of deep learning: the catapult mechanism [50.23041928811575]
  問題解決可能なトレーニングダイナミクスを備えたニューラルネットワークのクラスを提示する。 現実的なディープラーニング環境において,モデルの予測とトレーニングのダイナミクスとの間には,よい一致がある。 我々の結果は、異なる学習率でトレーニングされたモデルの特性に光を当てたと信じています。
  論文  参考訳（メタデータ） (2020-03-04T17:52:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。