論文の概要: TMN: A Lightweight Neuron Model for Efficient Nonlinear Spike Representation

• arxiv url: http://arxiv.org/abs/2408.17245v3
• Date: Sun, 29 Jun 2025 07:20:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-01 15:08:38.441528
• Title: TMN: A Lightweight Neuron Model for Efficient Nonlinear Spike Representation
• Title（参考訳）: TMN:高効率非線形スパイク表現のための軽量ニューロンモデル
• Authors: Yiwen Gu, Junchuan Gu, Haibin Shen, Kejie Huang,
• Abstract要約: スパイク・トレインはスパイク・ニューラル・ネットワークにおける情報伝達の主要な媒体である。 スパイク数やタイミングに基づく既存の符号化スキームは、しばしば低ステップの制約の下で厳しい制限に直面している。 本稿では,2つの重要なイノベーションを特徴とする新しいニューロンモデルであるTernary Momentum Neuron (TMN)を提案する。
• 参考スコア（独自算出の注目度）: 7.524721345903027
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spike trains serve as the primary medium for information transmission in Spiking Neural Networks, playing a crucial role in determining system efficiency. Existing encoding schemes based on spike counts or timing often face severe limitations under low-timestep constraints, while more expressive alternatives typically involve complex neuronal dynamics or system designs, which hinder scalability and practical deployment. To address these challenges, we propose the Ternary Momentum Neuron (TMN), a novel neuron model featuring two key innovations: (1) a lightweight momentum mechanism that realizes exponential input weighting by doubling the membrane potential before integration, and (2) a ternary predictive spiking scheme which employs symmetric sub-thresholds $\pm\frac{1}{2}v_{th}$ to enable early spiking and correct over-firing. Extensive experiments across diverse tasks and network architectures demonstrate that the proposed approach achieves high-precision encoding with significantly fewer timesteps, providing a scalable and hardware-aware solution for next-generation SNN computing.
• Abstract（参考訳）: スパイク列車はスパイクニューラルネットワークにおける情報伝達の主要な媒体であり、システムの効率を決定する上で重要な役割を果たしている。 スパイク数やタイミングに基づく既存の符号化スキームは、しばしば低段階の制約の下で厳しい制限に直面し、より表現力のある代替案は、通常、複雑な神経力学やシステム設計を伴い、スケーラビリティと実用的な展開を妨げる。 これらの課題に対処するため,1) 膜電位を2倍にすることで指数的な入力重み付けを実現する軽量運動量機構,(2) 対称サブスレッショルド$\pm\frac{1}{2}v_{th}$を用いた3次予測スパイキング方式,の2つの重要な革新を特徴とする新しいニューロンモデルである3次運動ニューロン(TMN)を提案する。 多様なタスクやネットワークアーキテクチャにわたる広範な実験により、提案手法は、非常に少ない時間ステップで高精度なエンコーディングを実現し、次世代SNNコンピューティングのためのスケーラブルでハードウェア対応のソリューションを提供することを示した。

関連論文リスト

• Fractional Spike Differential Equations Neural Network with Efficient Adjoint Parameters Training [63.3991315762955]
  スパイキングニューラルネットワーク(SNN)は、生物学的ニューロンからインスピレーションを得て、脳に似た計算の現実的なモデルを作成する。 既存のほとんどのSNNは、マルコフ特性を持つ一階常微分方程式(ODE)によってモデル化された、神経細胞膜電圧ダイナミクスの単一時間定数を仮定している。 本研究では, 膜電圧およびスパイク列車の長期依存性を分数次力学により捉えるフラクタルSPIKE微分方程式ニューラルネットワーク (fspikeDE) を提案する。
  論文  参考訳（メタデータ） (2025-07-22T18:20:56Z)
• Channel-wise Parallelizable Spiking Neuron with Multiplication-free Dynamics and Large Temporal Receptive Fields [32.349167886062105]
  スパイキングニューラルネットワーク(SNN)は、生物学的ニューラルネットワークにインスパイアされた洗練された神経力学とスパースバイナリアクティベーション(スパイクス)によって、ニューラルネットワーク(ANN)と区別される。 従来のニューロンモデルは反復的なステップバイステップのダイナミクスを使用し、シリアル計算とSNNの遅いトレーニング速度をもたらす。 最近の並列化可能なスパイクニューロンモデルは、SNNの訓練を加速するために、グラフィックス処理ユニットの大規模並列計算能力をフル活用するために提案されている。
  論文  参考訳（メタデータ） (2025-01-24T13:44:08Z)
• Deep-Unrolling Multidimensional Harmonic Retrieval Algorithms on Neuromorphic Hardware [78.17783007774295]
  本稿では,高精度かつエネルギー効率の高い単発多次元高調波検索のための変換に基づくニューロモルフィックアルゴリズムの可能性について検討する。 複雑な値の畳み込み層と活性化をスパイクニューラルネットワーク(SNN)に変換する新しい手法を開発した。 変換されたSNNは、元のCNNに比べて性能が低下し、ほぼ5倍の電力効率を実現している。
  論文  参考訳（メタデータ） (2024-12-05T09:41:33Z)
• Neuromorphic Wireless Split Computing with Multi-Level Spikes [69.73249913506042]
  ニューロモルフィックコンピューティングは、スパイキングニューラルネットワーク(SNN)を使用して推論タスクを実行する。 スパイクニューロン間で交換される各スパイクに小さなペイロードを埋め込むことで、エネルギー消費を増大させることなく推論精度を高めることができる。 分割コンピューティング — SNNを2つのデバイスに分割する — は、有望なソリューションだ。 本稿では,マルチレベルSNNを用いたニューロモルフィック無線分割コンピューティングアーキテクチャの総合的研究について述べる。
  論文  参考訳（メタデータ） (2024-11-07T14:08:35Z)
• Time-independent Spiking Neuron via Membrane Potential Estimation for Efficient Spiking Neural Networks [4.142699381024752]
  スパイキングニューラルネットワーク(SNN)の計算的非効率性は、主に膜電位の逐次更新によるものである。 スパイキングニューロンの並列計算法である膜電位推定並列スパイキングニューロン(MPE-PSN)を提案する。 提案手法では,特に高次ニューロン密度条件下での計算効率の向上が期待できる。
  論文  参考訳（メタデータ） (2024-09-08T05:14:22Z)
• Advancing Spatio-Temporal Processing in Spiking Neural Networks through Adaptation [6.233189707488025]
  ニューロモルフィックハードウェア上のニューラルネットワークは、非喫煙者よりも消費電力の少ないオーダーを約束する。 このようなシステム上でのスパイクベースの計算のための標準的なニューロンモデルは、長い間、統合と火災(LIF)ニューロンであった。 いわゆるアダプティブLIFニューロンの根源はよく分かっていない。
  論文  参考訳（メタデータ） (2024-08-14T12:49:58Z)
• Q-SNNs: Quantized Spiking Neural Networks [12.719590949933105]
  スパイキングニューラルネットワーク(SNN)はスパーススパイクを利用して情報を表現し、イベント駆動方式で処理する。 シナプス重みと膜電位の両方に量子化を適用する軽量でハードウェアフレンドリな量子化SNNを提案する。 本稿では,情報エントロピー理論にインスパイアされた新しいウェイトスパイクデュアルレギュレーション(WS-DR)法を提案する。
  論文  参考訳（メタデータ） (2024-06-19T16:23:26Z)
• Spiking Neural Networks with Consistent Mapping Relations Allow High-Accuracy Inference [9.667807887916132]
  スパイクベースのニューロモルフィックハードウェアは、低エネルギー消費と効率的な推論において大きな可能性を証明している。 ディープスパイクニューラルネットワークの直接トレーニングは困難であり、変換ベースの手法では未解決の変換エラーのため、かなりの遅延が必要になる。
  論文  参考訳（メタデータ） (2024-06-08T06:40:00Z)
• Stochastic Spiking Neural Networks with First-to-Spike Coding [7.955633422160267]
  スパイキングニューラルネットワーク (SNN) は、その生物の楽観性とエネルギー効率で知られている。 本研究では,SNNアーキテクチャにおける新しい計算手法と情報符号化方式の融合について検討する。 提案手法のトレードオフを,精度,推論遅延,スパイク空間性,エネルギー消費,データセットの観点から検討する。
  論文  参考訳（メタデータ） (2024-04-26T22:52:23Z)
• SpikingJelly: An open-source machine learning infrastructure platform for spike-based intelligence [51.6943465041708]
  スパイキングニューラルネットワーク(SNN)は、高エネルギー効率のニューロモルフィックチップに脳にインスパイアされたインテリジェンスを実現することを目的としている。 我々は、ニューロモルフィックデータセットの事前処理、深層SNNの構築、パラメータの最適化、およびニューロモルフィックチップへのSNNのデプロイのためのフルスタックツールキットをコントリビュートする。
  論文  参考訳（メタデータ） (2023-10-25T13:15:17Z)
• A Hybrid Neural Coding Approach for Pattern Recognition with Spiking Neural Networks [53.31941519245432]
  脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。 これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。 本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
  論文  参考訳（メタデータ） (2023-05-26T02:52:12Z)
• Timing-Based Backpropagation in Spiking Neural Networks Without Single-Spike Restrictions [2.8360662552057323]
  スパイキングニューラルネットワーク(SNN)のトレーニングのための新しいバックプロパゲーションアルゴリズムを提案する。 シングルスパイク制限なしで、個々のニューロンの相対多重スパイクタイミングに情報をエンコードする。
  論文  参考訳（メタデータ） (2022-11-29T11:38:33Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Desire Backpropagation: A Lightweight Training Algorithm for Multi-Layer Spiking Neural Networks based on Spike-Timing-Dependent Plasticity [13.384228628766236]
  スパイキングニューラルネットワーク(SNN)は、従来の人工ニューラルネットワークの代替となる。 本研究は,隠されたニューロンを含むすべてのニューロンの所望のスパイク活性を導出する方法である欲求バックプロパゲーションを提示する。 我々はMNISTとFashion-MNISTを分類するために3層ネットワークを訓練し、それぞれ98.41%と87.56%の精度に達した。
  論文  参考訳（メタデータ） (2022-11-10T08:32:13Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Spike-inspired Rank Coding for Fast and Accurate Recurrent Neural Networks [5.986408771459261]
  生物学的スパイクニューラルネットワーク(SNN)は、その出力の情報を時間的にエンコードすることができるが、人工ニューラルネットワーク(ANN)は従来はそうではない。 ここでは、SNNにインスパイアされたランク符号化(RC)のような時間符号化が、LSTMなどの従来のANNにも適用可能であることを示す。 RCトレーニングは推論中の時間と監視を著しく低減し、精度は最小限に抑えられる。 逐次分類の2つのおもちゃ問題と、最初の入力時間ステップ後にRCモデルが99.19%の精度を達成できる時間符号化MNISTデータセットにおいて、これらを実証する。
  論文  参考訳（メタデータ） (2021-10-06T15:51:38Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• Dynamic Neural Diversification: Path to Computationally Sustainable Neural Networks [68.8204255655161]
  訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。 学習過程において隠れた層内のニューロンの多様性を探索する。 ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2021-09-20T15:12:16Z)
• Training Energy-Efficient Deep Spiking Neural Networks with Single-Spike Hybrid Input Encoding [5.725845886457027]
  スパイキングニューラルネットワーク(SNN)は、イベント駆動型ニューロモルフィックハードウェアにおいて高い計算効率を提供する。 SNNは、非効率な入力符号化とトレーニング技術により、高い推論遅延に悩まされる。 本稿では低遅延エネルギー効率SNNのためのトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-07-26T06:16:40Z)
• Compiling Spiking Neural Networks to Mitigate Neuromorphic Hardware Constraints [0.30458514384586394]
  スパイキングニューラルネットワーク(SNN)は、資源制約と電力制約のあるプラットフォーム上での計算制約付きパターン認識を効率的に行う。 ニューロモルフィックハードウェア上で実行されるSNNは、これらのプラットフォームのエネルギー消費をさらに削減することができる。
  論文  参考訳（メタデータ） (2020-11-27T19:10:23Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• You Only Spike Once: Improving Energy-Efficient Neuromorphic Inference to ANN-Level Accuracy [51.861168222799186]
  スパイキングニューラルネットワーク(英: Spiking Neural Networks、SNN)は、神経型ネットワークの一種である。 SNNはスパースであり、重量はごくわずかであり、通常、より電力集約的な乗算および累積演算の代わりに追加操作のみを使用する。 本研究では,TTFS符号化ニューロモルフィックシステムの限界を克服することを目的としている。
  論文  参考訳（メタデータ） (2020-06-03T15:55:53Z)
• Effective and Efficient Computation with Multiple-timescale Spiking Recurrent Neural Networks [0.9790524827475205]
  本稿では,新しいタイプの適応スパイクリカレントニューラルネットワーク(SRNN)が,最先端の性能を実現する方法を示す。 我々は、従来のRNNよりも難しいタスクにおいて、SRNNの100倍のエネルギー改善を計算します。
  論文  参考訳（メタデータ） (2020-05-24T01:04:53Z)
• Enabling Deep Spiking Neural Networks with Hybrid Conversion and Spike Timing Dependent Backpropagation [10.972663738092063]
  Spiking Neural Networks(SNN)は非同期離散イベント(スパイク)で動作する 本稿では,深層SNNのための計算効率のよいトレーニング手法を提案する。 我々は、SNN上のImageNetデータセットの65.19%のトップ1精度を250タイムステップで達成し、同様の精度で変換されたSNNに比べて10倍高速である。
  論文  参考訳（メタデータ） (2020-05-04T19:30:43Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。