論文の概要: Spiking mode-based neural networks
- arxiv url: http://arxiv.org/abs/2310.14621v3
- Date: Thu, 18 Jul 2024 06:49:07 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-20 00:02:04.562461
- Title: Spiking mode-based neural networks
- Title（参考訳）: スパイキングモードに基づくニューラルネットワーク
- Authors: Zhanghan Lin, Haiping Huang,
- Abstract要約: スパイキングニューラルネットワークは、脳のようなニューロモルフィック計算や神経回路の動作機構の研究において重要な役割を果たす。
大規模なスパイクニューラルネットワークのトレーニングの欠点のひとつは、すべての重みを更新することは非常に高価であることだ。
本稿では,3つの行列のホップフィールド的乗算として繰り返し重み行列を記述したスパイキングモードベースのトレーニングプロトコルを提案する。
- 参考スコア（独自算出の注目度）: 2.5690340428649328
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Spiking neural networks play an important role in brain-like neuromorphic computations and in studying working mechanisms of neural circuits. One drawback of training a large scale spiking neural network is that updating all weights is quite expensive. Furthermore, after training, all information related to the computational task is hidden into the weight matrix, prohibiting us from a transparent understanding of circuit mechanisms. Therefore, in this work, we address these challenges by proposing a spiking mode-based training protocol, where the recurrent weight matrix is explained as a Hopfield-like multiplication of three matrices: input, output modes and a score matrix. The first advantage is that the weight is interpreted by input and output modes and their associated scores characterizing the importance of each decomposition term. The number of modes is thus adjustable, allowing more degrees of freedom for modeling the experimental data. This significantly reduces the training cost because of significantly reduced space complexity for learning. Training spiking networks is thus carried out in the mode-score space. The second advantage is that one can project the high dimensional neural activity (filtered spike train) in the state space onto the mode space which is typically of a low dimension, e.g., a few modes are sufficient to capture the shape of the underlying neural manifolds. We successfully apply our framework in two computational tasks -- digit classification and selective sensory integration tasks. Our method accelerate the training of spiking neural networks by a Hopfield-like decomposition, and moreover this training leads to low-dimensional attractor structures of high-dimensional neural dynamics.
- Abstract（参考訳）: スパイキングニューラルネットワークは、脳のようなニューロモルフィック計算や神経回路の動作機構の研究において重要な役割を果たす。
大規模なスパイクニューラルネットワークのトレーニングの欠点のひとつは、すべての重みを更新することは非常に高価であることだ。
さらに、トレーニング後、計算タスクに関連するすべての情報が重み行列に隠され、回路機構の透明な理解が禁止される。
そこで本研究では, 繰り返し重み行列を, 入力, 出力モード, スコア行列という3つの行列のホップフィールド的乗法として説明する, スパイキングモードに基づくトレーニングプロトコルを提案する。
第一の利点は、重みが入力モードと出力モードと関連するスコアによって解釈され、各分解項の重要性が特徴づけられることである。
したがって、モードの数は調整可能であり、実験データのモデリングにより多くの自由度を与えることができる。
これにより、学習のスペースの複雑さが大幅に削減されるため、トレーニングコストが大幅に削減される。
これにより、モードスコア空間でスパイクネットワークを訓練する。
第二の利点は、状態空間内の高次元の神経活動(フィルタースパイクトレイン)を、通常低次元のモード空間に投影できることである。
我々は,2つの計算タスク – 桁分類と選択的感覚統合タスク – に,我々のフレームワークをうまく適用した。
本手法は,ホップフィールド型分解によるスパイクニューラルネットワークのトレーニングを加速させるとともに,このトレーニングにより高次元神経力学の低次元アトラクタ構造がもたらされる。
関連論文リスト
- A simple theory for training response of deep neural networks [0.0]
ディープニューラルネットワークは、トレーニングデータセットの入力と出力の関係をモデル化する強力な方法を提供します。
トレーニング段階、アクティベーション機能、トレーニング方法に基づいて、トレーニング応答がいくつかの異なる要因から成り立っていることを示す。
さらに,ネットワークの脆弱性を生じさせるトレーニング力学の効果として,特徴空間の削減を示す。
論文 参考訳（メタデータ） (2024-05-07T07:20:15Z) - Simple and Effective Transfer Learning for Neuro-Symbolic Integration [50.592338727912946]
この問題の潜在的な解決策はNeuro-Symbolic Integration (NeSy)であり、ニューラルアプローチとシンボリック推論を組み合わせる。
これらの手法のほとんどは、認識をシンボルにマッピングするニューラルネットワークと、下流タスクの出力を予測する論理的論理的推論を利用する。
それらは、緩やかな収束、複雑な知覚タスクの学習困難、局所的なミニマへの収束など、いくつかの問題に悩まされている。
本稿では,これらの問題を改善するための簡易かつ効果的な方法を提案する。
論文 参考訳（メタデータ） (2024-02-21T15:51:01Z) - A Sparse Quantized Hopfield Network for Online-Continual Memory [0.0]
神経系は、ノイズの多いデータポイントのストリームが非独立で同一に分散された(非i.d.)方法で提示されるオンライン学習を行う。
一方、ディープネットワークは、通常非ローカルな学習アルゴリズムを使用し、オフライン、非ノイズ、すなわち設定で訓練される。
我々は、スパース量子ホップフィールドネットワーク(SQHN)と呼ばれる新しいニューラルネットワークにこの種のモデルを実装する。
論文 参考訳（メタデータ） (2023-07-27T17:46:17Z) - Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。
単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。
これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
論文 参考訳（メタデータ） (2023-07-20T13:34:11Z) - Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。
彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。
スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文 参考訳（メタデータ） (2022-10-06T13:04:45Z) - How and what to learn:The modes of machine learning [7.085027463060304]
本稿では, 重み経路解析(WPA)と呼ばれる新しい手法を提案し, 多層ニューラルネットワークのメカニズムについて検討する。
WPAは、ニューラルネットワークが情報を「ホログラフィック」な方法で保存し、活用していることを示し、ネットワークはすべてのトレーニングサンプルをコヒーレントな構造にエンコードする。
隠れた層状ニューロンは学習過程の後半で異なるクラスに自己組織化することが判明した。
論文 参考訳（メタデータ） (2022-02-28T14:39:06Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Training Feedback Spiking Neural Networks by Implicit Differentiation on
the Equilibrium State [66.2457134675891]
スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。
既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。
本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
論文 参考訳（メタデータ） (2021-09-29T07:46:54Z) - Dynamic Neural Diversification: Path to Computationally Sustainable
Neural Networks [68.8204255655161]
訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。
学習過程において隠れた層内のニューロンの多様性を探索する。
ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
論文 参考訳（メタデータ） (2021-09-20T15:12:16Z) - Truly Sparse Neural Networks at Scale [2.2860412844991655]
私たちは、表現力の観点から訓練された史上最大のニューラルネットワークをトレーニングします。
われわれのアプローチは、環境に優しい人工知能時代の道を歩みながら、最先端の性能を持っている。
論文 参考訳（メタデータ） (2021-02-02T20:06:47Z) - Synaptic Metaplasticity in Binarized Neural Networks [4.243926243206826]
ディープニューラルネットワークは、新しいタスクをトレーニングする際に破滅的なことを忘れがちだ。
本研究では,マルチタスクとストリーム学習の状況において,これまで提示したデータを必要としない破滅的な忘れを軽減させる訓練手法を提案する。
この研究は計算神経科学とディープラーニングを橋渡しし、将来の組み込みおよびニューロモルフィックシステムのための重要な資産を提示する。
論文 参考訳（メタデータ） (2020-03-07T08:09:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。