論文の概要: Fast gradient-free activation maximization for neurons in spiking neural
networks
- arxiv url: http://arxiv.org/abs/2401.10748v1
- Date: Thu, 28 Dec 2023 18:30:13 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-28 16:05:47.778040
- Title: Fast gradient-free activation maximization for neurons in spiking neural
networks
- Title（参考訳）: スパイクニューラルネットワークにおけるニューロンの高速勾配フリーアクティベーション最大化
- Authors: Nikita Pospelov, Andrei Chertkov, Maxim Beketov, Ivan Oseledets,
Konstantin Anokhin
- Abstract要約: このようなループを効果的に設計したフレームワークを,人工スパイクニューラルネットワーク(SNN)でテストし,実験に成功した。
本手法は, アクティベーション関数の領域における離散化の低ランクテンソル分解(テンソルトレイン, TT)に基づいて最適化した。
我々の知る限り、本研究はSNNに効果的なAMを実現するための最初の試みである。
- 参考スコア（独自算出の注目度）: 6.228340781801083
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Neural networks (NNs), both living and artificial, work due to being complex
systems of neurons, each having its own specialization. Revealing these
specializations is important for understanding NNs inner working mechanisms.
The only way to do this for a living system, the neural response of which to a
stimulus is not a known (let alone differentiable) function is to build a
feedback loop of exposing it to stimuli, the properties of which can be
iteratively varied aiming in the direction of maximal response. To test such a
loop on a living network, one should first learn how to run it quickly and
efficiently, reaching most effective stimuli (ones that maximize certain
neurons activation) in least possible number of iterations. We present a
framework with an effective design of such a loop, successfully testing it on
an artificial spiking neural network (SNN, a model that mimics the behaviour of
NNs in living brains). Our optimization method used for activation maximization
(AM) was based on low-rank tensor decomposition (Tensor Train, TT) of the
activation function's discretization over its domain the latent parameter space
of stimuli (CIFAR10-size color images, generated by either VQ-VAE or SN-GAN
from their latent description vectors, fed to the SNN). To our knowledge, the
present work is the first attempt to perform effective AM for SNNs. The source
code of our framework, MANGO (for Maximization of neural Activation via
Non-Gradient Optimization) is available on GitHub.
- Abstract（参考訳）: ニューラルネットワーク(NN)は、生活と人工の両方で、それぞれが独自の専門性を持つ複雑なニューロンシステムであるために機能する。
これらの特殊化はNNの内部動作機構を理解する上で重要である。
これを行う唯一の方法は、刺激に対する神経反応が既知の(微分可能な)機能ではないことであり、刺激に露出するフィードバックループを構築することであり、その特性は最大応答の方向に反復的に変化する。
このようなループを生きたネットワーク上でテストするには、まずそれを迅速かつ効率的に実行する方法を学び、可能な限り多くのイテレーションにおいて最も効果的な刺激(ニューロンの活性化を最大化するもの)に達する必要がある。
このようなループを効果的に設計したフレームワークを,人工スパイクニューラルネットワーク(SNN,生体脳におけるNNの振る舞いを模倣するモデル)でテストし,実験に成功した。
アクティベーション最大化 (AM) に用いる最適化手法は, アクティベーション関数の低ランクテンソル分解 (Tensor Train, TT) に基づいて, アクティベーション関数の領域に対する離散化, 刺激の潜時パラメータ空間 (CIFAR10サイズカラー画像, VQ-VAE あるいはSN-GAN) の潜時記述ベクトルから生成し, SNNに供給した。
我々の知る限り、本研究はSNNに効果的なAMを実現するための最初の試みである。
フレームワークのソースコードであるMANGO(Non-Gradient Optimizationによるニューラルアクティベーションの最大化)がGitHubで公開されている。
関連論文リスト
- To Spike or Not to Spike, that is the Question [0.45609532372046985]
SNNは生物学的ニューロンの時間的ダイナミクスをエミュレートし、リアルタイムのイベント駆動処理に適している。
SNNでは、学習規則はニューロンのスパイク行動に基づいており、ニューロンのスパイク閾値を超える膜電位によってスパイクが生じる場合である。
本研究は、SNNにおける重みとともに、ニューロン学習閾値の重要性に焦点を当てる。
論文 参考訳（メタデータ） (2024-07-28T19:23:09Z) - Hebbian Learning based Orthogonal Projection for Continual Learning of
Spiking Neural Networks [74.3099028063756]
我々は,側方接続とヘビアン学習に基づくニューラル操作を用いた新しい手法を開発した。
我々は,反復する側方接続におけるヘビアン学習と反ヘビアン学習が,神経活動の主部分空間を効果的に抽出できることを示した。
我々の手法は、ほとんど忘れることなくニューラルネットワークをスパイクするために一貫して解決する。
論文 参考訳（メタデータ） (2024-02-19T09:29:37Z) - Neuroscience inspired scientific machine learning (Part-1): Variable
spiking neuron for regression [2.1756081703276]
本稿では、VSN(Variable Spiking Neuron)と呼ばれる新しいスパイクニューロンを紹介する。
生物学的ニューロンによるLeaky Integrate and Fire Spiking Neurons(LIF-SN)の学習による冗長な発射の低減
論文 参考訳（メタデータ） (2023-11-15T08:59:06Z) - Learning to Act through Evolution of Neural Diversity in Random Neural
Networks [9.387749254963595]
ほとんどの人工ニューラルネットワーク(ANN)では、神経計算は通常すべてのニューロン間で共有される活性化関数に抽象化される。
本稿では,複雑な計算を行うことができる多様なニューロンの集合を実現するために,神経中心パラメータの最適化を提案する。
論文 参考訳（メタデータ） (2023-05-25T11:33:04Z) - Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。
彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。
スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文 参考訳（メタデータ） (2022-10-06T13:04:45Z) - Biologically-inspired neuronal adaptation improves learning in neural
networks [0.7734726150561086]
人間は今でも、多くのタスクで人工知能よりも優れています。
私たちは、機械学習アルゴリズムを改善するために、脳からインスピレーションを受けています。
我々はMNISTとCIFAR-10で訓練された多層パーセプトロンと畳み込みニューラルネットワークに適応する。
論文 参考訳（メタデータ） (2022-04-08T16:16:02Z) - Event-based Video Reconstruction via Potential-assisted Spiking Neural
Network [48.88510552931186]
バイオインスパイアされたニューラルネットワークは、イベント駆動ハードウェア上での計算効率の向上につながる可能性がある。
完全スパイキングニューラルネットワーク(EVSNN)に基づくイベントベースビデオ再構成フレームワークを提案する。
スパイクニューロンは、そのような時間依存タスクを完了させるために有用な時間情報(メモリ)を格納する可能性がある。
論文 参考訳（メタデータ） (2022-01-25T02:05:20Z) - Dynamic Neural Diversification: Path to Computationally Sustainable
Neural Networks [68.8204255655161]
訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。
学習過程において隠れた層内のニューロンの多様性を探索する。
ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
論文 参考訳（メタデータ） (2021-09-20T15:12:16Z) - Effective and Efficient Computation with Multiple-timescale Spiking
Recurrent Neural Networks [0.9790524827475205]
本稿では,新しいタイプの適応スパイクリカレントニューラルネットワーク(SRNN)が,最先端の性能を実現する方法を示す。
我々は、従来のRNNよりも難しいタスクにおいて、SRNNの100倍のエネルギー改善を計算します。
論文 参考訳（メタデータ） (2020-05-24T01:04:53Z) - Recurrent Neural Network Learning of Performance and Intrinsic
Population Dynamics from Sparse Neural Data [77.92736596690297]
本稿では,RNNの入出力動作だけでなく,内部ネットワークのダイナミクスも学習できる新しいトレーニング戦略を提案する。
提案手法は、RNNを訓練し、生理学的にインスパイアされた神経モデルの内部ダイナミクスと出力信号を同時に再現する。
注目すべきは、トレーニングアルゴリズムがニューロンの小さなサブセットの活性に依存する場合であっても、内部動力学の再現が成功することである。
論文 参考訳（メタデータ） (2020-05-05T14:16:54Z) - Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。
コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
論文 参考訳（メタデータ） (2020-02-02T21:09:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。