論文の概要: Fast gradient-free activation maximization for neurons in spiking neural
networks
- arxiv url: http://arxiv.org/abs/2401.10748v1
- Date: Thu, 28 Dec 2023 18:30:13 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-28 16:05:47.778040
- Title: Fast gradient-free activation maximization for neurons in spiking neural
networks
- Title(参考訳): スパイクニューラルネットワークにおけるニューロンの高速勾配フリーアクティベーション最大化
- Authors: Nikita Pospelov, Andrei Chertkov, Maxim Beketov, Ivan Oseledets,
Konstantin Anokhin
- Abstract要約: このようなループを効果的に設計したフレームワークを,人工スパイクニューラルネットワーク(SNN)でテストし,実験に成功した。
本手法は, アクティベーション関数の領域における離散化の低ランクテンソル分解(テンソルトレイン, TT)に基づいて最適化した。
我々の知る限り、本研究はSNNに効果的なAMを実現するための最初の試みである。
- 参考スコア(独自算出の注目度): 6.228340781801083
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Neural networks (NNs), both living and artificial, work due to being complex
systems of neurons, each having its own specialization. Revealing these
specializations is important for understanding NNs inner working mechanisms.
The only way to do this for a living system, the neural response of which to a
stimulus is not a known (let alone differentiable) function is to build a
feedback loop of exposing it to stimuli, the properties of which can be
iteratively varied aiming in the direction of maximal response. To test such a
loop on a living network, one should first learn how to run it quickly and
efficiently, reaching most effective stimuli (ones that maximize certain
neurons activation) in least possible number of iterations. We present a
framework with an effective design of such a loop, successfully testing it on
an artificial spiking neural network (SNN, a model that mimics the behaviour of
NNs in living brains). Our optimization method used for activation maximization
(AM) was based on low-rank tensor decomposition (Tensor Train, TT) of the
activation function's discretization over its domain the latent parameter space
of stimuli (CIFAR10-size color images, generated by either VQ-VAE or SN-GAN
from their latent description vectors, fed to the SNN). To our knowledge, the
present work is the first attempt to perform effective AM for SNNs. The source
code of our framework, MANGO (for Maximization of neural Activation via
Non-Gradient Optimization) is available on GitHub.
- Abstract(参考訳): ニューラルネットワーク(NN)は、生活と人工の両方で、それぞれが独自の専門性を持つ複雑なニューロンシステムであるために機能する。
これらの特殊化はNNの内部動作機構を理解する上で重要である。
これを行う唯一の方法は、刺激に対する神経反応が既知の(微分可能な)機能ではないことであり、刺激に露出するフィードバックループを構築することであり、その特性は最大応答の方向に反復的に変化する。
このようなループを生きたネットワーク上でテストするには、まずそれを迅速かつ効率的に実行する方法を学び、可能な限り多くのイテレーションにおいて最も効果的な刺激(ニューロンの活性化を最大化するもの)に達する必要がある。
このようなループを効果的に設計したフレームワークを,人工スパイクニューラルネットワーク(SNN,生体脳におけるNNの振る舞いを模倣するモデル)でテストし,実験に成功した。
アクティベーション最大化 (AM) に用いる最適化手法は, アクティベーション関数の低ランクテンソル分解 (Tensor Train, TT) に基づいて, アクティベーション関数の領域に対する離散化, 刺激の潜時パラメータ空間 (CIFAR10サイズカラー画像, VQ-VAE あるいはSN-GAN) の潜時記述ベクトルから生成し, SNNに供給した。
我々の知る限り、本研究はSNNに効果的なAMを実現するための最初の試みである。
フレームワークのソースコードであるMANGO(Non-Gradient Optimizationによるニューラルアクティベーションの最大化)がGitHubで公開されている。
関連論文リスト
- Fully Spiking Actor Network with Intra-layer Connections for
Reinforcement Learning [51.386945803485084]
エージェントが制御する多次元決定論的ポリシーを学習する必要があるタスクに焦点をあてる。
既存のスパイクベースのRL法は、SNNの出力として発火率を取り、完全に接続された層を通して連続的なアクション空間(つまり決定論的なポリシー)を表すように変換する。
浮動小数点行列操作を伴わない完全にスパイクするアクターネットワークを開発するため,昆虫に見られる非スパイク介在ニューロンからインスピレーションを得た。
論文 参考訳(メタデータ) (2024-01-09T07:31:34Z) - Training a General Spiking Neural Network with Improved Efficiency and
Minimum Latency [4.503744528661997]
スパイキングニューラルネットワーク(SNN)は、イベント駆動方式で動作し、バイナリスパイク表現を使用する。
本稿では,限られた時間ステップで特徴学習とアクティベーション効率を向上させるための一般的なトレーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2024-01-05T09:54:44Z) - A Hybrid Neural Coding Approach for Pattern Recognition with Spiking
Neural Networks [53.31941519245432]
脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。
これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。
本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
論文 参考訳(メタデータ) (2023-05-26T02:52:12Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳(メタデータ) (2023-03-06T18:59:13Z) - Permutation Equivariant Neural Functionals [92.0667671999604]
この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。
隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。
実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
論文 参考訳(メタデータ) (2023-02-27T18:52:38Z) - Neural network with optimal neuron activation functions based on
additive Gaussian process regression [0.0]
より柔軟なニューロン活性化機能により、より少ない神経細胞や層を使用でき、表現力を向上させることができる。
加算ガウス過程回帰(GPR)は各ニューロンに特異的な最適なニューロン活性化関数を構築するのに有効であることを示す。
ニューラルネットワークパラメータの非線形フィッティングを回避するアプローチも導入されている。
論文 参考訳(メタデータ) (2023-01-13T14:19:17Z) - Deep Kronecker neural networks: A general framework for neural networks
with adaptive activation functions [4.932130498861987]
我々は,適応的アクティベーション機能を持つニューラルネットワークの汎用フレームワークとして,新しいタイプのニューラルネットワークKronecker Neural Network(KNN)を提案する。
適切な条件下では、KNNはフィードフォワードネットワークによる損失よりも早く損失を減少させる。
論文 参考訳(メタデータ) (2021-05-20T04:54:57Z) - Neuroevolution of a Recurrent Neural Network for Spatial and Working
Memory in a Simulated Robotic Environment [57.91534223695695]
我々は,ラットで観察される行動と神経活動を再現する進化的アルゴリズムを用いて,生物学的に有意なリカレントニューラルネットワーク(RNN)でウェイトを進化させた。
提案手法は, 進化したRNNの動的活動が, 興味深く複雑な認知行動をどのように捉えているかを示す。
論文 参考訳(メタデータ) (2021-02-25T02:13:52Z) - Effective and Efficient Computation with Multiple-timescale Spiking
Recurrent Neural Networks [0.9790524827475205]
本稿では,新しいタイプの適応スパイクリカレントニューラルネットワーク(SRNN)が,最先端の性能を実現する方法を示す。
我々は、従来のRNNよりも難しいタスクにおいて、SRNNの100倍のエネルギー改善を計算します。
論文 参考訳(メタデータ) (2020-05-24T01:04:53Z) - Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。
コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
論文 参考訳(メタデータ) (2020-02-02T21:09:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。