論文の概要: Fast gradient-free activation maximization for neurons in spiking neural networks

• arxiv url: http://arxiv.org/abs/2401.10748v2
• Date: Tue, 25 Jun 2024 17:08:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-26 20:40:18.167092
• Title: Fast gradient-free activation maximization for neurons in spiking neural networks
• Title（参考訳）: スパイキングニューラルネットワークにおけるニューロンの高速勾配自由活性化最大化
• Authors: Nikita Pospelov, Andrei Chertkov, Maxim Beketov, Ivan Oseledets, Konstantin Anokhin,
• Abstract要約: このようなループのための効率的な設計のフレームワークを提案する。 トレーニング中の人工ニューロンの最適刺激の変化を追跡する。 この洗練された最適刺激の形成は、分類精度の増大と関連している。
• 参考スコア（独自算出の注目度）: 5.805438104063613
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Elements of neural networks, both biological and artificial, can be described by their selectivity for specific cognitive features. Understanding these features is important for understanding the inner workings of neural networks. For a living system, such as a neuron, whose response to a stimulus is unknown and not differentiable, the only way to reveal these features is through a feedback loop that exposes it to a large set of different stimuli. The properties of these stimuli should be varied iteratively in order to maximize the neuronal response. To utilize this feedback loop for a biological neural network, it is important to run it quickly and efficiently in order to reach the stimuli that maximizes certain neurons' activation with the least number of iterations possible. Here we present a framework with an efficient design for such a loop. We successfully tested it on an artificial spiking neural network (SNN), which is a model that simulates the asynchronous spiking activity of neurons in living brains. Our optimization method for activation maximization is based on the low-rank Tensor Train decomposition of the discrete activation function. The optimization space is the latent parameter space of images generated by SN-GAN or VQ-VAE generative models. To our knowledge, this is the first time that effective AM has been applied to SNNs. We track changes in the optimal stimuli for artificial neurons during training and show that highly selective neurons can form already in the early epochs of training and in the early layers of a convolutional spiking network. This formation of refined optimal stimuli is associated with an increase in classification accuracy. Some neurons, especially in the deeper layers, may gradually change the concepts they are selective for during learning, potentially explaining their importance for model performance.
• Abstract（参考訳）: ニューラルネットワークの要素(生体と人工の両方)は、特定の認知的特徴に対する選択性によって説明できる。 これらの特徴を理解することは、ニューラルネットワークの内部動作を理解する上で重要である。 刺激に対する反応が未知で識別不可能な生体系のような生体系では、これらの特徴を明らかにする唯一の方法はフィードバックループを通じて異なる刺激に露出することである。 これらの刺激の特性は、ニューロンの反応を最大化するために反復的に変化すべきである。 このフィードバックループを生物学的ニューラルネットワークに利用するためには、可能な限り最小のイテレーション数で特定のニューロンの活性化を最大化する刺激に到達するために、迅速かつ効率的に実行することが重要である。 ここでは、そのようなループのための効率的な設計のフレームワークを提案する。 我々は、生きている脳のニューロンの非同期スパイク活性をシミュレートするモデルである人工スパイクニューラルネットワーク(SNN)で、これをうまくテストした。 アクティベーション最大化のための最適化手法は、離散的アクティベーション関数の低ランクテンソルトレイン分解に基づいている。 最適化空間はSN-GANまたはVQ-VAE生成モデルによって生成される画像の潜在パラメータ空間である。 私たちの知る限り、SNNに効果的なAMが適用されたのはこれが初めてです。 我々は、トレーニング中の人工ニューロンの最適刺激の変化を追跡し、高い選択性ニューロンが、トレーニングの初期段階と、畳み込みスパイクネットワークの初期層で既に形成可能であることを示す。 この洗練された最適刺激の形成は、分類精度の上昇と関連している。 一部のニューロン、特に深い層では、学習中に選択される概念が徐々に変化し、モデルパフォーマンスの重要性が説明される可能性がある。

関連論文リスト

• To Spike or Not to Spike, that is the Question [0.45609532372046985]
  SNNは生物学的ニューロンの時間的ダイナミクスをエミュレートし、リアルタイムのイベント駆動処理に適している。 SNNでは、学習規則はニューロンのスパイク行動に基づいており、ニューロンのスパイク閾値を超える膜電位によってスパイクが生じる場合である。 本研究は、SNNにおける重みとともに、ニューロン学習閾値の重要性に焦点を当てる。
  論文  参考訳（メタデータ） (2024-07-28T19:23:09Z)
• Hebbian Learning based Orthogonal Projection for Continual Learning of Spiking Neural Networks [74.3099028063756]
  我々は,側方接続とヘビアン学習に基づくニューラル操作を用いた新しい手法を開発した。 我々は,反復する側方接続におけるヘビアン学習と反ヘビアン学習が,神経活動の主部分空間を効果的に抽出できることを示した。 我々の手法は、ほとんど忘れることなくニューラルネットワークをスパイクするために一貫して解決する。
  論文  参考訳（メタデータ） (2024-02-19T09:29:37Z)
• Neuroscience inspired scientific machine learning (Part-1): Variable spiking neuron for regression [2.1756081703276]
  本稿では、VSN(Variable Spiking Neuron)と呼ばれる新しいスパイクニューロンを紹介する。 生物学的ニューロンによるLeaky Integrate and Fire Spiking Neurons(LIF-SN)の学習による冗長な発射の低減
  論文  参考訳（メタデータ） (2023-11-15T08:59:06Z)
• Learning to Act through Evolution of Neural Diversity in Random Neural Networks [9.387749254963595]
  ほとんどの人工ニューラルネットワーク(ANN)では、神経計算は通常すべてのニューロン間で共有される活性化関数に抽象化される。 本稿では,複雑な計算を行うことができる多様なニューロンの集合を実現するために,神経中心パラメータの最適化を提案する。
  論文  参考訳（メタデータ） (2023-05-25T11:33:04Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• Biologically-inspired neuronal adaptation improves learning in neural networks [0.7734726150561086]
  人間は今でも、多くのタスクで人工知能よりも優れています。 私たちは、機械学習アルゴリズムを改善するために、脳からインスピレーションを受けています。 我々はMNISTとCIFAR-10で訓練された多層パーセプトロンと畳み込みニューラルネットワークに適応する。
  論文  参考訳（メタデータ） (2022-04-08T16:16:02Z)
• Event-based Video Reconstruction via Potential-assisted Spiking Neural Network [48.88510552931186]
  バイオインスパイアされたニューラルネットワークは、イベント駆動ハードウェア上での計算効率の向上につながる可能性がある。 完全スパイキングニューラルネットワーク(EVSNN)に基づくイベントベースビデオ再構成フレームワークを提案する。 スパイクニューロンは、そのような時間依存タスクを完了させるために有用な時間情報(メモリ)を格納する可能性がある。
  論文  参考訳（メタデータ） (2022-01-25T02:05:20Z)
• Dynamic Neural Diversification: Path to Computationally Sustainable Neural Networks [68.8204255655161]
  訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。 学習過程において隠れた層内のニューロンの多様性を探索する。 ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2021-09-20T15:12:16Z)
• Effective and Efficient Computation with Multiple-timescale Spiking Recurrent Neural Networks [0.9790524827475205]
  本稿では,新しいタイプの適応スパイクリカレントニューラルネットワーク(SRNN)が,最先端の性能を実現する方法を示す。 我々は、従来のRNNよりも難しいタスクにおいて、SRNNの100倍のエネルギー改善を計算します。
  論文  参考訳（メタデータ） (2020-05-24T01:04:53Z)
• Recurrent Neural Network Learning of Performance and Intrinsic Population Dynamics from Sparse Neural Data [77.92736596690297]
  本稿では,RNNの入出力動作だけでなく,内部ネットワークのダイナミクスも学習できる新しいトレーニング戦略を提案する。 提案手法は、RNNを訓練し、生理学的にインスパイアされた神経モデルの内部ダイナミクスと出力信号を同時に再現する。 注目すべきは、トレーニングアルゴリズムがニューロンの小さなサブセットの活性に依存する場合であっても、内部動力学の再現が成功することである。
  論文  参考訳（メタデータ） (2020-05-05T14:16:54Z)
• Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
  XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。 コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-02-02T21:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。