論文の概要: A Neural Architecture Search based Framework for Liquid State Machine Design

• arxiv url: http://arxiv.org/abs/2004.07864v1
• Date: Tue, 7 Apr 2020 10:55:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-15 23:22:37.796985
• Title: A Neural Architecture Search based Framework for Liquid State Machine Design
• Title（参考訳）: ニューラルネットワークによる液体状態機械設計のための探索フレームワーク
• Authors: Shuo Tian, Lianhua Qu, Kai Hu, Nan Li, Lei Wang and Weixia Xu
• Abstract要約: Liquid State Machine (LSM) はスパイキングニューラルネットワーク (SNN) のリカレントバージョンである。 最近の研究は、LSMモデルの精度を低複雑性で向上させる大きな可能性を示している。 脳構造の多様性と特異性を考えると、LSMモデルの設計は可能な限り最大の探索空間で検討されるべきである。
• 参考スコア（独自算出の注目度）: 7.729541832738546
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Liquid State Machine (LSM), also known as the recurrent version of Spiking Neural Networks (SNN), has attracted great research interests thanks to its high computational power, biological plausibility from the brain, simple structure and low training complexity. By exploring the design space in network architectures and parameters, recent works have demonstrated great potential for improving the accuracy of LSM model with low complexity. However, these works are based on manually-defined network architectures or predefined parameters. Considering the diversity and uniqueness of brain structure, the design of LSM model should be explored in the largest search space possible. In this paper, we propose a Neural Architecture Search (NAS) based framework to explore both architecture and parameter design space for automatic dataset-oriented LSM model. To handle the exponentially-increased design space, we adopt a three-step search for LSM, including multi-liquid architecture search, variation on the number of neurons and parameters search such as percentage connectivity and excitatory neuron ratio within each liquid. Besides, we propose to use Simulated Annealing (SA) algorithm to implement the three-step heuristic search. Three datasets, including image dataset of MNIST and NMNIST and speech dataset of FSDD, are used to test the effectiveness of our proposed framework. Simulation results show that our proposed framework can produce the dataset-oriented optimal LSM models with high accuracy and low complexity. The best classification accuracy on the three datasets is 93.2%, 92.5% and 84% respectively with only 1000 spiking neurons, and the network connections can be averagely reduced by 61.4% compared with a single LSM. Moreover, we find that the total quantity of neurons in optimal LSM models on three datasets can be further reduced by 20% with only about 0.5% accuracy loss.
• Abstract（参考訳）: snn(spyking neural networks)のリカレントバージョンとしても知られる液体状態機械(liquid state machine, lsm)は、高い計算能力、脳からの生物学的可溶性、単純な構造、低いトレーニング複雑性により、大きな研究の関心を集めている。 ネットワークアーキテクチャとパラメータの設計空間を探索することにより、最近の研究はLSMモデルの精度を低複雑性で向上させる大きな可能性を示している。 しかし、これらの作業は手動で定義されたネットワークアーキテクチャや事前定義されたパラメータに基づいている。 脳構造の多様性と特異性を考えると、LSMモデルの設計は可能な限り最大の探索空間で検討されるべきである。 本稿では、自動データセット指向LSMモデルのためのアーキテクチャとパラメータ設計空間の両方を探索するニューラルネットワーク検索(NAS)ベースのフレームワークを提案する。 指数関数的に増大する設計空間に対処するために,多液型アーキテクチャ探索,ニューロン数の変化,各液中のパーセンテージ接続率や興奮性ニューロン比などのパラメータ探索を含む,lsmの3段階探索を採用する。 さらに,3段階のヒューリスティック探索を実現するために,Simulated Annealing (SA)アルゴリズムを提案する。 MNISTとNMNISTの画像データセットとFSDDの音声データセットを含む3つのデータセットを用いて,提案フレームワークの有効性を検証する。 シミュレーションの結果,提案フレームワークは,高い精度と低複雑性でデータセット指向の最適LSMモデルを生成することができることがわかった。 3つのデータセットで最高の分類精度は93.2%、92.5%、そして84%であり、それぞれ1000個のスパイクニューロンしか持たず、ネットワーク接続は単一のLSMと比較して平均61.4%削減できる。 さらに、3つのデータセット上での最適LSMモデルのニューロンの総量は、約0.5%の精度損失でさらに20%削減できることがわかった。

関連論文リスト

• Differentiable architecture search with multi-dimensional attention for spiking neural networks [4.318876451929319]
  スパイキングニューラルネットワーク(SNN)は人工知能の分野で大きな人気を集めている。 SNN法の大部分は、ニューラルネットワーク(ANN)の構造を直接継承している。 本稿では,SNNの最適ネットワーク構造探索を直接自動化するために,MA-DARTS(Multi-Attention Differentiable Architecture Search)を提案する。
  論文  参考訳（メタデータ） (2024-11-01T07:18:32Z)
• A Pairwise Comparison Relation-assisted Multi-objective Evolutionary Neural Architecture Search Method with Multi-population Mechanism [58.855741970337675]
  ニューラルアーキテクチャサーチ(NAS)により、リサーチ者は広大なサーチスペースを自動的に探索し、効率的なニューラルネットワークを見つけることができる。 NASは重要なボトルネックに悩まされており、探索プロセス中に多くのアーキテクチャを評価する必要がある。 SMEM-NASは,多集団構造に基づく多目的進化アルゴリズムである。
  論文  参考訳（メタデータ） (2024-07-22T12:46:22Z)
• Multi-Objective Neural Architecture Search for In-Memory Computing [0.5892638927736115]
  我々は、インメモリコンピューティングアーキテクチャに多様な機械学習(ML)タスクをデプロイする効率を高めるために、ニューラルネットワークサーチ(NAS)を採用している。 IMCアーキテクチャ展開のためのNASアプローチの評価は、3つの異なる画像分類データセットにまたがる。
  論文  参考訳（メタデータ） (2024-06-10T19:17:09Z)
• Multi-scale Evolutionary Neural Architecture Search for Deep Spiking Neural Networks [7.271032282434803]
  スパイキングニューラルネットワーク(SNN)のためのマルチスケール進化型ニューラルネットワーク探索(MSE-NAS)を提案する。 MSE-NASは脳にインスパイアされた間接的評価機能であるRepresentational Dissimilarity Matrices(RDMs)を介して、個々のニューロンの操作、複数の回路モチーフの自己組織化の統合、およびグローバルなモチーフ間の接続を進化させる 提案アルゴリズムは,静的データセットとニューロモルフィックデータセットのシミュレーションステップを短縮して,最先端(SOTA)性能を実現する。
  論文  参考訳（メタデータ） (2023-04-21T05:36:37Z)
• A Local Optima Network Analysis of the Feedforward Neural Architecture Space [0.0]
  ローカルオプティマネットワーク(LON)解析は、候補解のフィットネスランドスケープの派生である。 LONは、ニューラルネットワークを分析し最適化する実行可能なパラダイムを提供することができる。
  論文  参考訳（メタデータ） (2022-06-02T08:09:17Z)
• ANNETTE: Accurate Neural Network Execution Time Estimation with Stacked Models [56.21470608621633]
  本稿では,アーキテクチャ検索を対象ハードウェアから切り離すための時間推定フレームワークを提案する。 提案手法は,マイクロカーネルと多層ベンチマークからモデルの集合を抽出し,マッピングとネットワーク実行時間推定のためのスタックモデルを生成する。 生成した混合モデルの推定精度と忠実度, 統計モデルとルーフラインモデル, 評価のための洗練されたルーフラインモデルを比較した。
  論文  参考訳（メタデータ） (2021-05-07T11:39:05Z)
• Differentiable Neural Architecture Learning for Efficient Neural Network Design [31.23038136038325]
  スケールド・シグモイド関数に基づく新しいemphアーキテクチャのパラメータ化を提案する。 そこで本論文では,候補ニューラルネットワークを評価することなく,ニューラルネットワークを最適化するための汎用的エファイブルニューラルネットワーク学習(DNAL)手法を提案する。
  論文  参考訳（メタデータ） (2021-03-03T02:03:08Z)
• MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search [94.80212602202518]
  我々は,MS-RANAS(Multi-Scale Resource-Aware Neural Architecture Search)を提案する。 我々は,検索コストの削減を図るために,ワンショットのアーキテクチャ探索手法を採用した。 我々は精度-速度トレードオフの観点から最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-09-29T11:56:01Z)
• DrNAS: Dirichlet Neural Architecture Search [88.56953713817545]
  ディリクレ分布をモデルとした連続緩和型混合重みをランダム変数として扱う。 最近開発されたパスワイズ微分により、ディリクレパラメータは勾配に基づく一般化で容易に最適化できる。 微分可能なNASの大きなメモリ消費を軽減するために, 単純かつ効果的な進行学習方式を提案する。
  論文  参考訳（メタデータ） (2020-06-18T08:23:02Z)
• FBNetV3: Joint Architecture-Recipe Search using Predictor Pretraining [65.39532971991778]
  サンプル選択とランキングの両方を導くことで、アーキテクチャとトレーニングのレシピを共同でスコアする精度予測器を提案する。 高速な進化的検索をCPU分で実行し、さまざまなリソース制約に対するアーキテクチャと準備のペアを生成します。 FBNetV3は最先端のコンパクトニューラルネットワークのファミリーを構成しており、自動と手動で設計された競合より優れている。
  論文  参考訳（メタデータ） (2020-06-03T05:20:21Z)
• When Residual Learning Meets Dense Aggregation: Rethinking the Aggregation of Deep Neural Networks [57.0502745301132]
  我々は,グローバルな残差学習と局所的なマイクロセンスアグリゲーションを備えた新しいアーキテクチャであるMicro-Dense Netsを提案する。 我々のマイクロセンスブロックはニューラルアーキテクチャ検索に基づくモデルと統合して性能を向上させることができる。
  論文  参考訳（メタデータ） (2020-04-19T08:34:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。