論文の概要: Slax: A Composable JAX Library for Rapid and Flexible Prototyping of Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2404.05807v1
• Date: Mon, 8 Apr 2024 18:15:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-10 18:48:28.531675
• Title: Slax: A Composable JAX Library for Rapid and Flexible Prototyping of Spiking Neural Networks
• Title（参考訳）: Slax:スパイキングニューラルネットワークの高速かつ柔軟なプロトタイピングのための構成可能なJAXライブラリ
• Authors: Thomas M. Summe, Siddharth Joshi,
• Abstract要約: 本稿では,SNNアルゴリズム設計を高速化するJAXベースのライブラリであるSlaxを紹介する。 Slaxは多様なトレーニングアルゴリズムの最適化実装を提供し、直接性能比較を可能にする。
• 参考スコア（独自算出の注目度）: 0.19427883580687189
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances to algorithms for training spiking neural networks (SNNs) often leverage their unique dynamics. While backpropagation through time (BPTT) with surrogate gradients dominate the field, a rich landscape of alternatives can situate algorithms across various points in the performance, bio-plausibility, and complexity landscape. Evaluating and comparing algorithms is currently a cumbersome and error-prone process, requiring them to be repeatedly re-implemented. We introduce Slax, a JAX-based library designed to accelerate SNN algorithm design, compatible with the broader JAX and Flax ecosystem. Slax provides optimized implementations of diverse training algorithms, allowing direct performance comparison. Its toolkit includes methods to visualize and debug algorithms through loss landscapes, gradient similarities, and other metrics of model behavior during training.
• Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)をトレーニングするアルゴリズムの最近の進歩は、しばしば独自のダイナミクスを活用する。 代理勾配を持つバックプロパゲーション (BPTT) がこの分野を支配している一方で、代替品の豊富な風景は、パフォーマンス、生物の楽観性、複雑さの風景において様々な点でアルゴリズムをシチュレートすることができる。 アルゴリズムの評価と比較は、現在、面倒でエラーを起こしやすいプロセスであり、繰り返し再実装する必要がある。 我々は、SNNアルゴリズム設計を加速するために設計されたJAXベースのライブラリであるSlaxを紹介します。 Slaxは多様なトレーニングアルゴリズムの最適化実装を提供し、直接性能比較を可能にする。 そのツールキットには、損失ランドスケープ、勾配類似性、その他のトレーニング中のモデルの振る舞いのメトリクスを通じて、アルゴリズムを視覚化し、デバッグする方法が含まれている。

関連論文リスト

• Training Artificial Neural Networks by Coordinate Search Algorithm [0.20971479389679332]
  本稿では、ニューラルネットワークのトレーニングのための勾配自由座標探索(CS)アルゴリズムの効率的なバージョンを提案する。 提案アルゴリズムは、微分不可能なアクティベーション関数で使用することができ、多目的/マルチロス問題に適合する。 ANNの重みに対する最適値を求めることは、大規模な最適化問題である。
  論文  参考訳（メタデータ） (2024-02-20T01:47:25Z)
• Improving Stability and Performance of Spiking Neural Networks through Enhancing Temporal Consistency [9.545711665562715]
  スパイクニューラルネットワークは、脳のような情報処理能力のために大きな注目を集めている。 現在のトレーニングアルゴリズムは、様々なタイミングで出力分布の違いを無視する傾向にある。 我々は,異なるタイミングで出力の時間的一貫性を高める手法を考案した。
  論文  参考訳（メタデータ） (2023-05-23T15:50:07Z)
• The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
  本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。 FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。 我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
  論文  参考訳（メタデータ） (2023-03-17T02:01:11Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Improved Algorithms for Neural Active Learning [74.89097665112621]
  非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。 本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
  論文  参考訳（メタデータ） (2022-10-02T05:03:38Z)
• Tricks and Plugins to GBM on Images and Sequences [18.939336393665553]
  本稿では,動的特徴選択とBoostCNNの利点を組み合わせるために,Deep Convolutional Neural Networks(BoostCNN)を高速化するアルゴリズムを提案する。 また,最小2乗の目的関数に基づいて,重み付けをディープラーニングアーキテクチャに組み込むアルゴリズムも提案する。 実験により,提案手法はいくつかのきめ細かい分類タスクのベンチマークよりも優れていることが示された。
  論文  参考訳（メタデータ） (2022-03-01T21:59:00Z)
• A Continuous Optimisation Benchmark Suite from Neural Network Regression [0.0]
  ニューラルネットワークのトレーニングは、近年のディープラーニングの成功で注目を集めている最適化タスクである。 勾配降下変種は、大規模機械学習タスクにおける信頼性の高いパフォーマンスにおいて、最も一般的な選択である。 CORNNは、ニューラルネットワークのトレーニング問題に対して、連続的なブラックボックスアルゴリズムのパフォーマンスをベンチマークするスイートである。
  論文  参考訳（メタデータ） (2021-09-12T20:24:11Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Evolving Reinforcement Learning Algorithms [186.62294652057062]
  メタラーニング強化学習アルゴリズムの手法を提案する。 学習アルゴリズムはドメインに依存しないため、トレーニング中に見えない新しい環境に一般化することができる。 従来の制御タスク、gridworld型タスク、atariゲームよりも優れた一般化性能を得る2つの学習アルゴリズムに注目した。
  論文  参考訳（メタデータ） (2021-01-08T18:55:07Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。