論文の概要: Continuous Learning in a Single-Incremental-Task Scenario with Spike Features

• arxiv url: http://arxiv.org/abs/2005.04167v1
• Date: Sun, 3 May 2020 16:18:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-07 06:05:38.623808
• Title: Continuous Learning in a Single-Incremental-Task Scenario with Spike Features
• Title（参考訳）: スパイク機能付きシングルインクリメンタルタスクシナリオにおける継続的学習
• Authors: Ruthvik Vaila, John Chiasson, Vishal Saxena
• Abstract要約: ディープニューラルネットワーク(DNN)には、高精度コンピューティングへの依存と、シーケンシャルラーニングの実行能力の欠如という、2つの重要な欠陥がある。 ここでは,ネットワークの特徴抽出層にバイオインスパイアされたスパイクタイミング依存塑性(STDP)を用いて,意味のある特徴を抽出する。 ネットワークの分類セクションでは、私たちはシナプス単位のコストを正則化器として参照する修正シナプスインテリジェンスを使用し、破滅的な忘れ込みに対してネットワークを免疫する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Deep Neural Networks (DNNs) have two key deficiencies, their dependence on high precision computing and their inability to perform sequential learning, that is, when a DNN is trained on a first task and the same DNN is trained on the next task it forgets the first task. This phenomenon of forgetting previous tasks is also referred to as catastrophic forgetting. On the other hand a mammalian brain outperforms DNNs in terms of energy efficiency and the ability to learn sequentially without catastrophically forgetting. Here, we use bio-inspired Spike Timing Dependent Plasticity (STDP)in the feature extraction layers of the network with instantaneous neurons to extract meaningful features. In the classification sections of the network we use a modified synaptic intelligence that we refer to as cost per synapse metric as a regularizer to immunize the network against catastrophic forgetting in a Single-Incremental-Task scenario (SIT). In this study, we use MNIST handwritten digits dataset that was divided into five sub-tasks.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)には、高精度コンピューティングへの依存とシーケンシャルラーニングの実行能力の欠如、すなわち、DNNが最初のタスクでトレーニングされ、次のタスクで同じDNNがトレーニングされた場合、最初のタスクを忘れる2つの重要な欠陥がある。 この過去の課題を忘れる現象は破滅的な忘れ方とも呼ばれる。 一方、哺乳類の脳はエネルギー効率と、壊滅的に忘れることなく順次学習できる能力でDNNよりも優れています。 ここでは,ネットワークの特徴抽出層にバイオインスパイアされたスパイクタイミング依存塑性(STDP)を用いて,意味のある特徴を抽出する。 ネットワークの分類セクションでは、SIT(Single-Incremental-Task scenario)における破滅的な忘れに対するネットワークの免疫を行うために、シナプス単位のコストをレギュレータとして参照する。 本研究では,5つのサブタスクに分割したMNIST手書き桁データセットを用いた。

関連論文リスト

• Fully Spiking Actor Network with Intra-layer Connections for Reinforcement Learning [51.386945803485084]
  エージェントが制御する多次元決定論的ポリシーを学習する必要があるタスクに焦点をあてる。 既存のスパイクベースのRL法は、SNNの出力として発火率を取り、完全に接続された層を通して連続的なアクション空間(つまり決定論的なポリシー)を表すように変換する。 浮動小数点行列操作を伴わない完全にスパイクするアクターネットワークを開発するため,昆虫に見られる非スパイク介在ニューロンからインスピレーションを得た。
  論文  参考訳（メタデータ） (2024-01-09T07:31:34Z)
• SynA-ResNet: Spike-driven ResNet Achieved through OR Residual Connection [10.702093960098104]
  スパイキングニューラルネットワーク(SNN)は、その生物学的忠実さとエネルギー効率のよいスパイク駆動操作を実行する能力のために、脳のような計算にかなりの注意を払っている。 ORRC(Residual Connection)を通じて大量の冗長情報を蓄積する新しいトレーニングパラダイムを提案する。 次に,SynA(SynA)モジュールを用いて冗長情報をフィルタリングし,背骨における特徴抽出を促進するとともに,ショートカットにおけるノイズや無駄な特徴の影響を抑える。
  論文  参考訳（メタデータ） (2023-11-11T13:36:27Z)
• Co-learning synaptic delays, weights and adaptation in spiking neural networks [0.0]
  スパイキングニューラルネットワーク(SNN)は、固有の時間処理とスパイクベースの計算のため、人工知能ニューラルネットワーク(ANN)と区別する。 スパイクニューロンを用いたデータ処理は、他の2つの生物学的にインスピレーションを受けたニューロンの特徴と接続重みを協調学習することで向上できることを示す。
  論文  参考訳（メタデータ） (2023-09-12T09:13:26Z)
• Provable Multi-Task Representation Learning by Two-Layer ReLU Neural Networks [69.38572074372392]
  本稿では,複数タスクにおける非線形モデルを用いたトレーニング中に特徴学習が発生することを示す最初の結果を示す。 私たちのキーとなる洞察は、マルチタスク事前トレーニングは、通常タスク間で同じラベルを持つポイントを整列する表現を好む擬似コントラスト的損失を誘導するということです。
  論文  参考訳（メタデータ） (2023-07-13T16:39:08Z)
• Artificial Neuronal Ensembles with Learned Context Dependent Gating [0.0]
  LXDG(Learned Context Dependent Gating)は、人工神経のアンサンブルを柔軟に割り当て、リコールする方法である。 ネットワークの隠れた層におけるアクティビティは、トレーニング中に動的に生成されるゲートによって変調される。 本稿では,この手法が連続学習ベンチマークにおける破滅的な忘れを軽減できることを示す。
  論文  参考訳（メタデータ） (2023-01-17T20:52:48Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Continual Prune-and-Select: Class-incremental learning with specialized subnetworks [66.4795381419701]
  CP&S(Continuous-Prune-and-Select)は、ImageNet-1000から10タスクを逐次学習できる。 これは、クラス増分学習における第一級の結果である。
  論文  参考訳（メタデータ） (2022-08-09T10:49:40Z)
• MT-SNN: Spiking Neural Network that Enables Single-Tasking of Multiple Tasks [0.0]
  マルチタスクスパイクニューラルネットワーク(MT-SNN)を実装し、同時に2つ以上の分類タスクを学習し、同時に1つのタスクを実行する。 このネットワークは、Loihi2ニューロモルフィックチップ用のIntelのLavaプラットフォームを使って実装されている。
  論文  参考訳（メタデータ） (2022-08-02T15:17:07Z)
• Reducing Catastrophic Forgetting in Self Organizing Maps with Internally-Induced Generative Replay [67.50637511633212]
  生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。 適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。 この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
  論文  参考訳（メタデータ） (2021-12-09T07:11:14Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。