論文の概要: Spiking mode-based neural networks

• arxiv url: http://arxiv.org/abs/2310.14621v1
• Date: Mon, 23 Oct 2023 06:54:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-24 21:59:49.878941
• Title: Spiking mode-based neural networks
• Title（参考訳）: スパイクモードに基づくニューラルネットワーク
• Authors: Zhanghan Lin and Haiping Huang
• Abstract要約: スパイクニューラルネットワークは、脳のようなニューロモルフィック計算において重要な役割を果たす。 大規模なスパイクニューラルネットワークのトレーニングの欠点のひとつは、すべての重みを更新するコストがかかることだ。
• 参考スコア（独自算出の注目度）: 3.0349733976070024
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Spiking neural networks play an important role in brain-like neuromorphic computations and in studying working mechanisms of neural circuits. One drawback of training a large scale spiking neural network is that an expensive cost of updating all weights is required. Furthermore, after training, all information related to the computational task is hidden into the weight matrix, prohibiting us from a transparent understanding of circuit mechanisms. Therefore, in this work, we address these challenges by proposing a spiking mode-based training protocol. The first advantage is that the weight is interpreted by input and output modes and their associated scores characterizing importance of each decomposition term. The number of modes is thus adjustable, allowing more degrees of freedom for modeling the experimental data. This reduces a sizable training cost because of significantly reduced space complexity for learning. The second advantage is that one can project the high dimensional neural activity in the ambient space onto the mode space which is typically of a low dimension, e.g., a few modes are sufficient to capture the shape of the underlying neural manifolds. We analyze our framework in two computational tasks -- digit classification and selective sensory integration tasks. Our work thus derives a mode-based learning rule for spiking neural networks.
• Abstract（参考訳）: スパイキングニューラルネットワークは、脳のようなニューロモルフィック計算や神経回路の動作機構の研究において重要な役割を果たす。 大規模スパイクニューラルネットワークのトレーニングの欠点のひとつは、すべての重み値を更新するコストがかかることだ。 さらに、トレーニング後、計算タスクに関連するすべての情報は重み行列に隠蔽され、回路機構の透過的な理解が禁止される。 そこで本研究では,これらの課題に対して,スパイクモードベースのトレーニングプロトコルを提案する。 第一の利点は、重みが各分解項の重要性を特徴付ける入出力モードとそれに伴うスコアによって解釈されることである。 したがってモードの数は調整可能であり、実験データのモデリングの自由度を高めることができる。 これにより、学習のスペースが大幅に削減されるため、トレーニングコストが大幅に削減される。 第二の利点は、周囲空間の高次元の神経活動が典型的には低次元のモード空間に投影できることである。 数値分類と選択的感覚統合タスクという2つの計算タスクでフレームワークを分析した。 我々の研究は、ニューラルネットワークをスパイクするためのモードベースの学習ルールを導出する。

関連論文リスト

• A simple theory for training response of deep neural networks [0.0]
  ディープニューラルネットワークは、トレーニングデータセットの入力と出力の関係をモデル化する強力な方法を提供します。 トレーニング段階、アクティベーション機能、トレーニング方法に基づいて、トレーニング応答がいくつかの異なる要因から成り立っていることを示す。 さらに,ネットワークの脆弱性を生じさせるトレーニング力学の効果として,特徴空間の削減を示す。
  論文  参考訳（メタデータ） (2024-05-07T07:20:15Z)
• Simple and Effective Transfer Learning for Neuro-Symbolic Integration [50.592338727912946]
  この問題の潜在的な解決策はNeuro-Symbolic Integration (NeSy)であり、ニューラルアプローチとシンボリック推論を組み合わせる。 これらの手法のほとんどは、認識をシンボルにマッピングするニューラルネットワークと、下流タスクの出力を予測する論理的論理的推論を利用する。 それらは、緩やかな収束、複雑な知覚タスクの学習困難、局所的なミニマへの収束など、いくつかの問題に悩まされている。 本稿では,これらの問題を改善するための簡易かつ効果的な方法を提案する。
  論文  参考訳（メタデータ） (2024-02-21T15:51:01Z)
• A Sparse Quantized Hopfield Network for Online-Continual Memory [0.0]
  神経系は、ノイズの多いデータポイントのストリームが非独立で同一に分散された(非i.d.)方法で提示されるオンライン学習を行う。 一方、ディープネットワークは、通常非ローカルな学習アルゴリズムを使用し、オフライン、非ノイズ、すなわち設定で訓練される。 我々は、スパース量子ホップフィールドネットワーク(SQHN)と呼ばれる新しいニューラルネットワークにこの種のモデルを実装する。
  論文  参考訳（メタデータ） (2023-07-27T17:46:17Z)
• Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
  神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。 単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。 これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
  論文  参考訳（メタデータ） (2023-07-20T13:34:11Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• How and what to learn:The modes of machine learning [7.085027463060304]
  本稿では, 重み経路解析(WPA)と呼ばれる新しい手法を提案し, 多層ニューラルネットワークのメカニズムについて検討する。 WPAは、ニューラルネットワークが情報を「ホログラフィック」な方法で保存し、活用していることを示し、ネットワークはすべてのトレーニングサンプルをコヒーレントな構造にエンコードする。 隠れた層状ニューロンは学習過程の後半で異なるクラスに自己組織化することが判明した。
  論文  参考訳（メタデータ） (2022-02-28T14:39:06Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• Dynamic Neural Diversification: Path to Computationally Sustainable Neural Networks [68.8204255655161]
  訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。 学習過程において隠れた層内のニューロンの多様性を探索する。 ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2021-09-20T15:12:16Z)
• Truly Sparse Neural Networks at Scale [2.2860412844991655]
  私たちは、表現力の観点から訓練された史上最大のニューラルネットワークをトレーニングします。 われわれのアプローチは、環境に優しい人工知能時代の道を歩みながら、最先端の性能を持っている。
  論文  参考訳（メタデータ） (2021-02-02T20:06:47Z)
• Synaptic Metaplasticity in Binarized Neural Networks [4.243926243206826]
  ディープニューラルネットワークは、新しいタスクをトレーニングする際に破滅的なことを忘れがちだ。 本研究では,マルチタスクとストリーム学習の状況において,これまで提示したデータを必要としない破滅的な忘れを軽減させる訓練手法を提案する。 この研究は計算神経科学とディープラーニングを橋渡しし、将来の組み込みおよびニューロモルフィックシステムのための重要な資産を提示する。
  論文  参考訳（メタデータ） (2020-03-07T08:09:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。