Fugu-MT 論文翻訳(概要): Sign Gradient Descent-based Neuronal Dynamics: ANN-to-SNN Conversion Beyond ReLU Network

論文の概要: Sign Gradient Descent-based Neuronal Dynamics: ANN-to-SNN Conversion Beyond ReLU Network

arxiv url: http://arxiv.org/abs/2407.01645v1
Date: Mon, 1 Jul 2024 02:09:20 GMT
ステータス: 処理完了
システム内更新日: 2024-07-03 19:52:16.193328
Title: Sign Gradient Descent-based Neuronal Dynamics: ANN-to-SNN Conversion Beyond ReLU Network
Title（参考訳）: サイングラディエントDescent-based Neuronal Dynamics: ANN-to-SNN Conversion Beyond ReLU Network
Authors: Hyunseok Oh, Youngki Lee,
Abstract要約: スパイキングニューラルネットワーク(SNN)は、神経科学のメカニズムをシミュレートするために、多分野の領域で研究されている。離散理論の欠如は、その性能と非線形性のサポートを制限することによって、SNNの実用化を妨げている。我々は、スパイキングニューロンの離散力学の新しい最適化理論的視点を示す。
参考スコア（独自算出の注目度）: 10.760652747217668
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Spiking neural network (SNN) is studied in multidisciplinary domains to (i) enable order-of-magnitudes energy-efficient AI inference and (ii) computationally simulate neuro-scientific mechanisms. The lack of discrete theory obstructs the practical application of SNN by limiting its performance and nonlinearity support. We present a new optimization-theoretic perspective of the discrete dynamics of spiking neurons. We prove that a discrete dynamical system of simple integrate-and-fire models approximates the sub-gradient method over unconstrained optimization problems. We practically extend our theory to introduce a novel sign gradient descent (signGD)-based neuronal dynamics that can (i) approximate diverse nonlinearities beyond ReLU and (ii) advance ANN-to-SNN conversion performance in low time steps. Experiments on large-scale datasets show that our technique achieves (i) state-of-the-art performance in ANN-to-SNN conversion and (ii) is the first to convert new DNN architectures, e.g., ConvNext, MLP-Mixer, and ResMLP. We publicly share our source code at https://github.com/snuhcs/snn_signgd .
Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、複数の分野にまたがる領域で研究される一エネルギー効率のよいAI推論を可能にすること。 (II)神経科学のメカニズムを計算的にシミュレートする。離散理論の欠如は、その性能と非線形性のサポートを制限することによって、SNNの実用化を妨げている。我々は、スパイキングニューロンの離散力学の新しい最適化理論的視点を示す。単純な積分・点火モデルの離散力学系が、制約のない最適化問題に対する部分次法を近似することを証明した。我々は、我々の理論を事実上拡張し、新しい手根勾配降下(signGD)に基づく神経力学を導入する。一 ReLU 及び ReLU 以外の多種多様な非線形性 (II)ANN-to-SNN変換性能を低時間ステップで向上させる。大規模データセットの実験は、我々の技術が達成していることを示している i) ANN-to-SNN変換における最先端性能 (ii)は新しいDNNアーキテクチャ、例えばConvNext、MLP-Mixer、ResMLPを初めて変換した。ソースコードはhttps://github.com/snuhcs/snn_signgd で公開しています。

関連論文リスト

Scalable Mechanistic Neural Networks [52.28945097811129]
長い時間的シーケンスを含む科学機械学習応用のための拡張ニューラルネットワークフレームワークを提案する。元のメカニスティックニューラルネットワーク (MNN) を再構成することにより、計算時間と空間の複雑さを、それぞれ、列長に関して立方体と二次体から線形へと減少させる。大規模な実験により、S-MNNは元のMNNと精度で一致し、計算資源を大幅に削減した。
論文参考訳（メタデータ） (2024-10-08T14:27:28Z)
Direct Training High-Performance Deep Spiking Neural Networks: A Review of Theories and Methods [33.377770671553336]
スパイキングニューラルネットワーク(SNN)は、人工ニューラルネットワーク(ANN)の代替として有望なエネルギー効率を提供する本稿では,より深いSNNを高い性能で訓練するための理論と手法を要約する新しい視点を提供する。
論文参考訳（メタデータ） (2024-05-06T09:58:54Z)
Converting High-Performance and Low-Latency SNNs through Explicit Modelling of Residual Error in ANNs [27.46147049872907]
スパイキングニューラルネットワーク(SNN)は、そのエネルギー効率とニューロモルフィックチップの優れた効果のために関心を集めている。ディープSNNの実装における主要なアプローチの1つは、ANN-SNN変換である。本稿では,残差を付加雑音として明示的にモデル化した新しい手法を提案する。
論文参考訳（メタデータ） (2024-04-26T14:50:46Z)
LM-HT SNN: Enhancing the Performance of SNN to ANN Counterpart through Learnable Multi-hierarchical Threshold Model [42.13762207316681]
スパイキングニューラルネットワーク(SNN)は、よりエネルギー効率の良い方法で情報を伝達する本質的な能力に対して、広く学術的な関心を集めている。 SNNの学習アルゴリズムを様々な方法で最適化する以前の取り組みにもかかわらず、SNNはパフォーマンス面でもANNに遅れを取っている。本稿では,グローバル入力電流と膜電位リークを動的に制御できる等価多閾値モデルであるLM-HTモデルを提案する。
論文参考訳（メタデータ） (2024-02-01T08:10:39Z)
A Hybrid Neural Coding Approach for Pattern Recognition with Spiking Neural Networks [53.31941519245432]
脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
論文参考訳（メタデータ） (2023-05-26T02:52:12Z)
Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文参考訳（メタデータ） (2023-03-03T08:17:47Z)
Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。非分化性のため、SNNを効率的に訓練することは困難である。本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文参考訳（メタデータ） (2022-05-01T12:44:49Z)
Self-Supervised Learning of Event-Based Optical Flow with Spiking Neural Networks [3.7384509727711923]
ニューロモルフィックコンピューティングの大きな課題は、従来の人工ニューラルネットワーク(ANN)の学習アルゴリズムがスパイクニューラルネットワーク(SNN)に直接転送されないことである。本稿では,イベントベースカメラ入力からの光フロー推定における自己教師型学習問題に着目した。提案するANNとSNNの性能は,自己教師型で訓練された現在の最先端のANNと同等であることを示す。
論文参考訳（メタデータ） (2021-06-03T14:03:41Z)
Optimal Conversion of Conventional Artificial Neural Networks to Spiking Neural Networks [0.0]
spiking neural networks (snns) は生物学に触発されたニューラルネットワーク (anns) である。しきい値バランスとソフトリセット機構を組み合わせることで、重みをターゲットSNNに転送する新しい戦略パイプラインを提案する。提案手法は,SNNのエネルギーとメモリの制限によるサポートを向上し,組込みプラットフォームに組み込むことが期待できる。
論文参考訳（メタデータ） (2021-02-28T12:04:22Z)
Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文参考訳（メタデータ） (2020-07-03T01:37:16Z)
Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文参考訳（メタデータ） (2020-07-02T15:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。