論文の概要: Composing Recurrent Spiking Neural Networks using Locally-Recurrent
Motifs and Risk-Mitigating Architectural Optimization
- arxiv url: http://arxiv.org/abs/2108.01793v2
- Date: Sat, 16 Sep 2023 02:01:31 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-20 02:23:27.715498
- Title: Composing Recurrent Spiking Neural Networks using Locally-Recurrent
Motifs and Risk-Mitigating Architectural Optimization
- Title（参考訳）: 局所繰り返しモチーフとリスク緩和アーキテクチャ最適化を用いた繰り返しスパイクニューラルネットワークの構成
- Authors: Wenrui Zhang, Hejia Geng, Peng Li
- Abstract要約: 神経回路では、リカレント接続はネットワーク機能と安定性において重要な役割を果たす。
既存の繰り返しスパイクニューラルネットワーク(RSNN)は、しばしば最適化なしでランダムな接続によって構築される。
我々は、新しいスケーラブルRSNNアーキテクチャと自動アーキテクチャ最適化により、大規模RSNNの体系的設計を可能にすることを目指している。
- 参考スコア（独自算出の注目度）: 9.104190653846048
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In neural circuits, recurrent connectivity plays a crucial role in network
function and stability. However, existing recurrent spiking neural networks
(RSNNs) are often constructed by random connections without optimization. While
RSNNs can produce rich dynamics that are critical for memory formation and
learning, systemic architectural optimization of RSNNs is still an open
challenge. We aim to enable systematic design of large RSNNs via a new scalable
RSNN architecture and automated architectural optimization. We compose RSNNs
based on a layer architecture called Sparsely-Connected Recurrent Motif Layer
(SC-ML) that consists of multiple small recurrent motifs wired together by
sparse lateral connections. The small size of the motifs and sparse inter-motif
connectivity leads to an RSNN architecture scalable to large network sizes. We
further propose a method called Hybrid Risk-Mitigating Architectural Search
(HRMAS) to systematically optimize the topology of the proposed recurrent
motifs and SC-ML layer architecture. HRMAS is an alternating two-step
optimization process by which we mitigate the risk of network instability and
performance degradation caused by architectural change by introducing a novel
biologically-inspired "self-repairing" mechanism through intrinsic plasticity.
The intrinsic plasticity is introduced to the second step of each HRMAS
iteration and acts as unsupervised fast self-adaptation to structural and
synaptic weight modifications introduced by the first step during the RSNN
architectural "evolution". To the best of the authors' knowledge, this is the
first work that performs systematic architectural optimization of RSNNs. Using
one speech and three neuromorphic datasets, we demonstrate the significant
performance improvement brought by the proposed automated architecture
optimization over existing manually-designed RSNNs.
- Abstract（参考訳）: 神経回路では、リカレント接続はネットワーク機能と安定性において重要な役割を果たす。
しかし、既存の繰り返しスパイクニューラルネットワーク(RSNN)は、しばしば最適化なしでランダムな接続によって構築される。
RSNNは、メモリ形成と学習に不可欠なリッチなダイナミクスを生成することができるが、RSNNの体系的なアーキテクチャ最適化は依然としてオープンな課題である。
我々は、新しいスケーラブルRSNNアーキテクチャと自動アーキテクチャ最適化により、大規模RSNNの体系設計を可能にすることを目指している。
Sparsely-Connected Recurrent Motif Layer (SC-ML) と呼ばれるレイヤアーキテクチャに基づいてRSNNを構成する。
モチーフの小型化とモチーフ間の疎結合により、RSNNアーキテクチャは大規模ネットワークサイズに拡張可能である。
さらに,提案する反復モチーフとSC-ML層アーキテクチャのトポロジを体系的に最適化するHybrid Risk-Mitigating Architectural Search (HRMAS)を提案する。
hrmasは,生体にインスパイアされた新しい自己修復機構を導入することで,ネットワーク不安定性とアーキテクチャ変化による性能低下のリスクを緩和する2段階最適化プロセスである。
固有の可塑性は、各HRMASイテレーションの第2ステップに導入され、RSNNアーキテクチャ「進化」の第1ステップで導入された構造的およびシナプス的な重量変化に対する教師なしの高速な自己適応として機能する。
著者の知識を最大限に活用するために、RSNNの体系的なアーキテクチャ最適化を行う最初の作品である。
1つの音声と3つのニューロモーフィックデータセットを用いて、既存の手動設計したRSNNに対して自動アーキテクチャ最適化がもたらす大幅な性能向上を示す。
関連論文リスト
- Systematic construction of continuous-time neural networks for linear dynamical systems [0.0]
本稿では,動的システムのサブクラスをモデル化するためのニューラルネットワーク構築の体系的アプローチについて論じる。
我々は、各ニューロンの出力が1次または2次常微分方程式(ODE)の解として連続的に進化する連続時間ニューラルネットワークの変種を用いる。
データからネットワークアーキテクチャとパラメータを導出する代わりに、所定のLTIシステムから直接スパースアーキテクチャとネットワークパラメータを計算するための勾配のないアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-03-24T16:16:41Z) - Multi-Objective Evolutionary Neural Architecture Search for Recurrent Neural Networks [0.0]
本稿では,多目的進化アルゴリズムに基づくRNNアーキテクチャ探索手法を提案する。
提案手法は,進化過程におけるRNNアーキテクチャの複雑性最適化のための近似ネットワーク型に依存する。
論文 参考訳（メタデータ） (2024-03-17T11:19:45Z) - Principled Architecture-aware Scaling of Hyperparameters [69.98414153320894]
高品質のディープニューラルネットワークをトレーニングするには、非自明で高価なプロセスである適切なハイパーパラメータを選択する必要がある。
本研究では,ネットワークアーキテクチャにおける初期化と最大学習率の依存性を正確に評価する。
ネットワークランキングは、ベンチマークのトレーニングネットワークにより容易に変更可能であることを実証する。
論文 参考訳（メタデータ） (2024-02-27T11:52:49Z) - On the Intrinsic Structures of Spiking Neural Networks [66.57589494713515]
近年、時間依存データやイベント駆動データを扱う大きな可能性から、SNNへの関心が高まっている。
スパイキング計算における本質的な構造の影響を総合的に調査する研究が数多く行われている。
この研究はSNNの本質的な構造を深く掘り下げ、SNNの表現性への影響を解明する。
論文 参考訳（メタデータ） (2022-06-21T09:42:30Z) - Hysteretic Behavior Simulation Based on Pyramid Neural
Network:Principle, Network Architecture, Case Study and Explanation [0.0]
ニューラルネットワークに基づく代理モデルでは、効率と精度のバランスをとる大きな可能性を示している。
単一レベルの特徴に基づく連続的な情報フローと予測は、ネットワーク性能に悪影響を及ぼす。
ここでは重み付けされたピラミッドニューラルネットワークアーキテクチャを提案する。
論文 参考訳（メタデータ） (2022-04-29T16:42:00Z) - Differentiable Neural Architecture Search with Morphism-based
Transformable Backbone Architectures [35.652234989200956]
本研究の目的は,ワンショットトレーニングやオンライントレーニングにアーキテクチャ検索プロセスをより適応させることである。
ネットワークアソシエーションに基づいた、微分可能なニューラルアーキテクチャ探索のための成長メカニズムを導入している。
また、リカレントニューラルネットワークのための最近提案された2入力バックボーンアーキテクチャを実装した。
論文 参考訳（メタデータ） (2021-06-14T07:56:33Z) - A novel Deep Neural Network architecture for non-linear system
identification [78.69776924618505]
非線形システム識別のための新しいDeep Neural Network (DNN)アーキテクチャを提案する。
メモリシステムにインスパイアされたインダクティブバイアス(アーキテクチャ)と正規化(損失関数)を導入する。
このアーキテクチャは、利用可能なデータのみに基づいて、自動的な複雑性の選択を可能にする。
論文 参考訳（メタデータ） (2021-06-06T10:06:07Z) - Differentiable Neural Architecture Learning for Efficient Neural Network
Design [31.23038136038325]
スケールド・シグモイド関数に基づく新しいemphアーキテクチャのパラメータ化を提案する。
そこで本論文では,候補ニューラルネットワークを評価することなく,ニューラルネットワークを最適化するための汎用的エファイブルニューラルネットワーク学習(DNAL)手法を提案する。
論文 参考訳（メタデータ） (2021-03-03T02:03:08Z) - Neural Architecture Search For LF-MMI Trained Time Delay Neural Networks [61.76338096980383]
TDNN(State-of-the-the-art Factored Time delay Neural Network)の2種類のハイパーパラメータを自動的に学習するために、さまざまなニューラルネットワークサーチ(NAS)技術が使用されている。
DARTSメソッドはアーキテクチャ選択とLF-MMI(格子のないMMI)TDNNトレーニングを統合する。
300時間のSwitchboardコーパスで行われた実験では、自動構成システムはベースラインLF-MMI TDNNシステムより一貫して優れていることが示唆された。
論文 参考訳（メタデータ） (2020-07-17T08:32:11Z) - A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。
アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
論文 参考訳（メタデータ） (2020-05-14T09:02:33Z) - Dynamic Hierarchical Mimicking Towards Consistent Optimization
Objectives [73.15276998621582]
一般化能力を高めたCNN訓練を推進するための汎用的特徴学習機構を提案する。
DSNに部分的にインスパイアされた私たちは、ニューラルネットワークの中間層から微妙に設計されたサイドブランチをフォークしました。
カテゴリ認識タスクとインスタンス認識タスクの両方の実験により,提案手法の大幅な改善が示された。
論文 参考訳（メタデータ） (2020-03-24T09:56:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。