論文の概要: Parallel Hyperparameter Optimization Of Spiking Neural Network

• arxiv url: http://arxiv.org/abs/2403.00450v1
• Date: Fri, 1 Mar 2024 11:11:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-05 17:23:59.191814
• Title: Parallel Hyperparameter Optimization Of Spiking Neural Network
• Title（参考訳）: スパイクニューラルネットワークの並列ハイパーパラメータ最適化
• Authors: Thomas Firmin, Pierre Boulet, El-Ghazali Talbi
• Abstract要約: スパイキングニューラルネットワーク(SNN)は、通常の人工ニューラルネットワークよりも生物学的にインスパイアされたアプローチに基づいている。 我々は、サイレントネットワークと呼ぶSNNの信号損失問題に取り組む。 早期停止基準を定義することで、我々はより大きく柔軟な検索空間をインスタンス化することができた。
• 参考スコア（独自算出の注目度）: 0.5371337604556311
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spiking Neural Networks (SNN). SNNs are based on a more biologically inspired approach than usual artificial neural networks. Such models are characterized by complex dynamics between neurons and spikes. These are very sensitive to the hyperparameters, making their optimization challenging. To tackle hyperparameter optimization of SNNs, we initially extended the signal loss issue of SNNs to what we call silent networks. These networks fail to emit enough spikes at their outputs due to mistuned hyperparameters or architecture. Generally, search spaces are heavily restrained, sometimes even discretized, to prevent the sampling of such networks. By defining an early stopping criterion detecting silent networks and by designing specific constraints, we were able to instantiate larger and more flexible search spaces. We applied a constrained Bayesian optimization technique, which was asynchronously parallelized, as the evaluation time of a SNN is highly stochastic. Large-scale experiments were carried-out on a multi-GPU Petascale architecture. By leveraging silent networks, results show an acceleration of the search, while maintaining good performances of both the optimization algorithm and the best solution obtained. We were able to apply our methodology to two popular training algorithms, known as spike timing dependent plasticity and surrogate gradient. Early detection allowed us to prevent worthless and costly computation, directing the search toward promising hyperparameter combinations. Our methodology could be applied to multi-objective problems, where the spiking activity is often minimized to reduce the energy consumption. In this scenario, it becomes essential to find the delicate frontier between low-spiking and silent networks. Finally, our approach may have implications for neural architecture search, particularly in defining suitable spiking architectures.
• Abstract（参考訳）: Spiking Neural Networks (SNN) の略。 SNNは、通常の人工ニューラルネットワークよりも生物学的にインスパイアされたアプローチに基づいている。 このようなモデルはニューロンとスパイクの間の複雑なダイナミクスによって特徴づけられる。 これらはハイパーパラメータに非常に敏感であり、最適化が難しい。 SNNのハイパーパラメータ最適化に取り組み、SNNの信号損失問題をサイレントネットワークと呼ぶものに拡張した。 これらのネットワークは、不調なハイパーパラメータやアーキテクチャのため、出力に十分なスパイクを発生させることができない。 一般に、探索空間は、そのようなネットワークのサンプリングを防ぐために、しばしば離散化される。 サイレントネットワークを検出する早期停止基準を定義し、特定の制約を設計することで、より大きく柔軟な検索空間をインスタンス化することができた。 我々は,SNNの評価時間が非常に確率的であるため,非同期並列化された制約付きベイズ最適化手法を適用した。 大規模実験はマルチGPUペタスケールアーキテクチャで実施された。 サイレントネットワークを活用することで,最適化アルゴリズムと最良解の両方の性能を維持しつつ,検索の高速化が図れる。 この手法をスパイクタイミング依存塑性と代理勾配と呼ばれる2つの一般的なトレーニングアルゴリズムに適用することができた。 早期検出により, 有望なハイパーパラメータの組み合わせへの探索を指示し, 無価値で費用のかかる計算を防止できた。 本手法は, スパイク活性を最小化してエネルギー消費を減少させる多目的問題に適用できる。 このシナリオでは、低スパイクとサイレントネットワークの間の繊細なフロンティアを見つけることが不可欠となる。 最後に、我々のアプローチは神経アーキテクチャ探索、特に適切なスパイクアーキテクチャの定義に影響を及ぼす可能性がある。

関連論文リスト

• LitE-SNN: Designing Lightweight and Efficient Spiking Neural Network through Spatial-Temporal Compressive Network Search and Joint Optimization [48.41286573672824]
  スパイキングニューラルネットワーク(SNN)は人間の脳の情報処理機構を模倣し、エネルギー効率が高い。 本稿では,空間圧縮と時間圧縮の両方を自動ネットワーク設計プロセスに組み込むLitE-SNNという新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-26T05:23:11Z)
• Low Latency of object detection for spikng neural network [3.404826786562694]
  スパイキングニューラルネットワークは、バイナリスパイクの性質のため、エッジAIアプリケーションに適している。 本稿では,オブジェクト検出に特化して,高精度で低遅延なSNNを生成することに焦点を当てる。
  論文  参考訳（メタデータ） (2023-09-27T10:26:19Z)
• Inherent Redundancy in Spiking Neural Networks [24.114844269113746]
  スパイキングネットワーク(SNN)は、従来の人工ニューラルネットワークに代わる有望なエネルギー効率の代替手段である。 本研究では,SNNにおける固有冗長性に関する3つの重要な疑問に焦点をあてる。 本稿では,SNNの冗長性を活用するためのアドバンストアテンション(ASA)モジュールを提案する。
  論文  参考訳（メタデータ） (2023-08-16T08:58:25Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Bayesian Hyperparameter Optimization for Deep Neural Network-Based Network Intrusion Detection [2.304713283039168]
  侵入検出問題に対してディープニューラルネットワーク(DNN)がうまく適用されている。 本稿では,ハイパーパラメータの自動最適化のための新しいベイズ最適化フレームワークを提案する。 提案手法は,ランダムな探索最適化手法よりも侵入検出性能が高いことを示す。
  論文  参考訳（メタデータ） (2022-07-07T20:08:38Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Navigating Local Minima in Quantized Spiking Neural Networks [3.1351527202068445]
  深層学習(DL)アルゴリズムの超効率的な実装においては,スパイキングと量子ニューラルネットワーク(NN)が極めて重要になっている。 これらのネットワークは、ハードしきい値を適用する際の勾配信号の欠如により、エラーのバックプロパゲーションを使用してトレーニングする際の課題に直面している。 本稿では,コサインアニールLRスケジュールと重み非依存適応モーメント推定を併用したシステム評価を行った。
  論文  参考訳（メタデータ） (2022-02-15T06:42:25Z)
• Encoding the latent posterior of Bayesian Neural Networks for uncertainty quantification [10.727102755903616]
  我々は,複雑なコンピュータビジョンアーキテクチャに適した効率的な深部BNNを目指している。 可変オートエンコーダ(VAE)を利用して、各ネットワーク層におけるパラメータの相互作用と潜在分布を学習する。 我々のアプローチであるLatent-Posterior BNN(LP-BNN)は、最近のBatchEnsemble法と互換性があり、高い効率(トレーニングとテストの両方における計算とメモリ)のアンサンブルをもたらす。
  論文  参考訳（メタデータ） (2020-12-04T19:50:09Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)
• MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
  ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。 グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。 確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
  論文  参考訳（メタデータ） (2020-01-28T18:25:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。