論文の概要: Towards Efficient Processing and Learning with Spikes: New Approaches
for Multi-Spike Learning
- arxiv url: http://arxiv.org/abs/2005.00723v1
- Date: Sat, 2 May 2020 06:41:20 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-07 12:06:59.294143
- Title: Towards Efficient Processing and Learning with Spikes: New Approaches
for Multi-Spike Learning
- Title（参考訳）: スパイクによる効率的な処理と学習に向けて:マルチスパイク学習の新しいアプローチ
- Authors: Qiang Yu, Shenglan Li, Huajin Tang, Longbiao Wang, Jianwu Dang, Kay
Chen Tan
- Abstract要約: 各種タスクにおける他のベースラインよりも優れた性能を示すための2つの新しいマルチスパイク学習ルールを提案する。
特徴検出タスクでは、教師なしSTDPの能力と、その制限を提示する能力を再検討する。
提案した学習ルールは,特定の制約を適用せずに,幅広い条件で確実にタスクを解くことができる。
- 参考スコア（独自算出の注目度）: 59.249322621035056
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Spikes are the currency in central nervous systems for information
transmission and processing. They are also believed to play an essential role
in low-power consumption of the biological systems, whose efficiency attracts
increasing attentions to the field of neuromorphic computing. However,
efficient processing and learning of discrete spikes still remains as a
challenging problem. In this paper, we make our contributions towards this
direction. A simplified spiking neuron model is firstly introduced with effects
of both synaptic input and firing output on membrane potential being modeled
with an impulse function. An event-driven scheme is then presented to further
improve the processing efficiency. Based on the neuron model, we propose two
new multi-spike learning rules which demonstrate better performance over other
baselines on various tasks including association, classification, feature
detection. In addition to efficiency, our learning rules demonstrate a high
robustness against strong noise of different types. They can also be
generalized to different spike coding schemes for the classification task, and
notably single neuron is capable of solving multi-category classifications with
our learning rules. In the feature detection task, we re-examine the ability of
unsupervised STDP with its limitations being presented, and find a new
phenomenon of losing selectivity. In contrast, our proposed learning rules can
reliably solve the task over a wide range of conditions without specific
constraints being applied. Moreover, our rules can not only detect features but
also discriminate them. The improved performance of our methods would
contribute to neuromorphic computing as a preferable choice.
- Abstract（参考訳）: スパイク(Spike)は、情報伝達と処理のための中枢神経系の通貨である。
また、生物学的システムの低消費電力化において重要な役割を担っていると考えられており、その効率性はニューロモルフィックコンピューティングの分野への関心を高めている。
しかし、離散スパイクの効率的な処理と学習は依然として難しい問題である。
本稿では,この方向への貢献について述べる。
まず、簡易スパイキングニューロンモデルが、インパルス関数でモデル化された膜電位に及ぼすシナプス入力と発射出力の両方の影響によって導入される。
イベント駆動型スキームが提示され、処理効率がさらに向上する。
ニューロンモデルに基づいて,関連,分類,特徴検出などのタスクにおいて,他のベースラインよりも優れたパフォーマンスを示す2つの新しいマルチスパイク学習ルールを提案する。
効率に加えて,学習規則は,異なるタイプの強い雑音に対して高い頑健性を示す。
これらは分類タスクのために異なるスパイクコーディングスキームに一般化することもでき、特にシングルニューロンは学習規則でマルチカテゴリの分類を解くことができる。
特徴検出タスクでは,教師なしのstdpを限界として再検討し,選択性を失う新たな現象を見いだす。
対照的に,提案する学習ルールは,特定の制約を課すことなく,幅広い条件下で確実にタスクを解くことができる。
さらに、我々のルールは特徴を検出するだけでなく、特徴を識別することもできる。
提案手法の性能向上は,好適な選択としてニューロモルフィック・コンピューティングに寄与する。
関連論文リスト
- Simple and Effective Transfer Learning for Neuro-Symbolic Integration [50.592338727912946]
この問題の潜在的な解決策はNeuro-Symbolic Integration (NeSy)であり、ニューラルアプローチとシンボリック推論を組み合わせる。
これらの手法のほとんどは、認識をシンボルにマッピングするニューラルネットワークと、下流タスクの出力を予測する論理的論理的推論を利用する。
それらは、緩やかな収束、複雑な知覚タスクの学習困難、局所的なミニマへの収束など、いくつかの問題に悩まされている。
本稿では,これらの問題を改善するための簡易かつ効果的な方法を提案する。
論文 参考訳（メタデータ） (2024-02-21T15:51:01Z) - Hebbian Learning based Orthogonal Projection for Continual Learning of
Spiking Neural Networks [74.3099028063756]
我々は,側方接続とヘビアン学習に基づくニューラル操作を用いた新しい手法を開発した。
我々は,反復する側方接続におけるヘビアン学習と反ヘビアン学習が,神経活動の主部分空間を効果的に抽出できることを示した。
我々の手法は、ほとんど忘れることなくニューラルネットワークをスパイクするために一貫して解決する。
論文 参考訳（メタデータ） (2024-02-19T09:29:37Z) - Neural Routing in Meta Learning [9.070747377130472]
入力タスクに条件付けされたモデルの部分のみを選択的に使用することにより,現在のメタ学習アルゴリズムのモデル性能を向上させることを目指している。
本稿では、バッチ正規化層におけるスケーリング係数を活用することにより、深層畳み込みニューラルネットワーク(CNN)におけるタスク依存の動的ニューロン選択を研究するアプローチについて述べる。
提案手法であるニューラルルーティング・イン・メタラーニング(NRML)は,数ショットの分類タスクにおいて,既知のメタラーニングベースラインの1つである。
論文 参考訳（メタデータ） (2022-10-14T16:31:24Z) - An Adaptive Contrastive Learning Model for Spike Sorting [12.043679000694258]
神経科学研究においては、個々のニューロンの活動を分離することが重要である。
大規模なシリコン技術の発展に伴い、スパイクの人工的解釈とラベル付けはますます非現実的になりつつある。
対照的な学習を通してスパイクから表現を学習する新しいモデリングフレームワークを提案する。
論文 参考訳（メタデータ） (2022-05-24T09:18:46Z) - Learning Bayesian Sparse Networks with Full Experience Replay for
Continual Learning [54.7584721943286]
継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。
既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。
我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
論文 参考訳（メタデータ） (2022-02-21T13:25:03Z) - Dynamic Neural Diversification: Path to Computationally Sustainable
Neural Networks [68.8204255655161]
訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。
学習過程において隠れた層内のニューロンの多様性を探索する。
ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
論文 参考訳（メタデータ） (2021-09-20T15:12:16Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳（メタデータ） (2021-06-17T17:26:31Z) - Identifying Learning Rules From Neural Network Observables [26.96375335939315]
学習ルールの異なるクラスは、重み、アクティベーション、即時的な階層的活動変化の集計統計に基づいてのみ分離可能であることを示す。
本研究は, シナプス後活動の電気生理学的記録から得られる活性化パターンが, 学習規則の同定に有効であることを示すものである。
論文 参考訳（メタデータ） (2020-10-22T14:36:54Z) - Advantages of biologically-inspired adaptive neural activation in RNNs
during learning [10.357949759642816]
生体ニューロンの入力周波数応答曲線にインスパイアされた非線形活性化関数のパラメトリックファミリーを導入する。
アクティベーション適応はタスク固有のソリューションを提供し、場合によっては学習速度と性能の両方を改善する。
論文 参考訳（メタデータ） (2020-06-22T13:49:52Z) - Synaptic Learning with Augmented Spikes [14.76595318993715]
より脳的な処理パラダイムにより、スパイクニューロンは効率と計算能力を改善するためにより有望である。
本稿では、スパイクレイテンシに加えて、スパイク係数の相補的な情報を運ぶための拡張スパイクの概念を導入する。
新しい強化スパイクニューロンモデルとシナプス学習規則が提案され、強化スパイクのパターンを処理および学習する。
論文 参考訳（メタデータ） (2020-05-11T01:00:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。