論文の概要: Temporal Reversal Regularization for Spiking Neural Networks: Hybrid Spatio-Temporal Invariance for Generalization

• arxiv url: http://arxiv.org/abs/2408.09108v3
• Date: Mon, 10 Mar 2025 08:30:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 15:50:04.476848
• Title: Temporal Reversal Regularization for Spiking Neural Networks: Hybrid Spatio-Temporal Invariance for Generalization
• Title（参考訳）: スパイクニューラルネットワークの時間逆正則化:一般化のためのハイブリッド時空間不変性
• Authors: Lin Zuo, Yongqi Ding, Wenwei Luo, Mengmeng Jing, Kunshan Yang,
• Abstract要約: スパイキングニューラルネットワーク(SNN)は、超低消費電力コンピューティングパラダイムとして広く注目を集めている。 近年の研究では、SNNは過度なオーバーフィッティングに悩まされ、一般化性能が制限されていることが示されている。 トレーニング中のオーバーフィッティングを緩和し,SNNの一般化を容易にするため, 簡易かつ効果的な時間逆正則化を提案する。
• 参考スコア（独自算出の注目度）: 3.7748662901422807
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Spiking neural networks (SNNs) have received widespread attention as an ultra-low power computing paradigm. Recent studies have shown that SNNs suffer from severe overfitting, which limits their generalization performance. In this paper, we propose a simple yet effective Temporal Reversal Regularization (TRR) to mitigate overfitting during training and facilitate generalization of SNNs. We exploit the inherent temporal properties of SNNs to perform input/feature temporal reversal perturbations, prompting the SNN to produce original-reversed consistent outputs and learn perturbation-invariant representations. To further enhance generalization, we utilize the lightweight ``star operation" (Hadamard product) for feature hybridization of original and temporally reversed spike firing rates, which expands the implicit dimensionality and acts as a spatio-temporal regularizer. We show theoretically that our method is able to tighten the upper bound of the generalization error, and extensive experiments on static/neuromorphic recognition as well as 3D point cloud classification tasks demonstrate its effectiveness, versatility, and adversarial robustness. In particular, our regularization significantly improves the recognition accuracy of low-latency SNN for neuromorphic objects, contributing to the real-world deployment of neuromorphic computational software-hardware integration.
• Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、超低消費電力コンピューティングパラダイムとして広く注目を集めている。 近年の研究では、SNNは過度なオーバーフィッティングに悩まされ、一般化性能が制限されていることが示されている。 本稿では、トレーニング中のオーバーフィッティングを軽減し、SNNの一般化を容易にするため、簡易かつ効果的な時間逆正則化(TRR)を提案する。 我々は,SNNの時間的特性を利用して入力/フィーチャー時間的逆転摂動を行い,SNNは元の逆転一貫した出力を生成し,摂動不変表現を学習する。 一般化をさらに高めるために、我々は軽量な「星の操作」(アダマール積)を原点と時間反転のスパイク発火率のハイブリッド化に利用し、暗黙の次元を拡大し、時空間正規化器として機能する。 提案手法は一般化誤差の上限を狭めることが可能であることを理論的に示し,静的・ニューロモルフィック認識および3Dポイントクラウド分類タスクに関する広範な実験により,その有効性,汎用性,および対向ロバスト性を示す。 特に、我々の正規化は、ニューロモルフィックなオブジェクトに対する低遅延SNNの認識精度を大幅に向上させ、ニューロモルフィックな計算ソフトとハードウェアの統合の現実的な展開に寄与する。

関連論文リスト

• Deep-Unrolling Multidimensional Harmonic Retrieval Algorithms on Neuromorphic Hardware [78.17783007774295]
  本稿では,高精度かつエネルギー効率の高い単発多次元高調波検索のための変換に基づくニューロモルフィックアルゴリズムの可能性について検討する。 複雑な値の畳み込み層と活性化をスパイクニューラルネットワーク(SNN)に変換する新しい手法を開発した。 変換されたSNNは、元のCNNに比べて性能が低下し、ほぼ5倍の電力効率を実現している。
  論文  参考訳（メタデータ） (2024-12-05T09:41:33Z)
• Towards Low-latency Event-based Visual Recognition with Hybrid Step-wise Distillation Spiking Neural Networks [50.32980443749865]
  スパイキングニューラルネットワーク(SNN)は、低消費電力と高い生物性のために大きな注目を集めている。 現在のSNNは、ニューロモルフィックデータセットの正確性とレイテンシのバランスをとるのに苦労している。 ニューロモルフィックデータセットに適したステップワイド蒸留法(HSD)を提案する。
  論文  参考訳（メタデータ） (2024-09-19T06:52:34Z)
• The Role of Temporal Hierarchy in Spiking Neural Networks [2.0881857682885836]
  スパイキングニューラルネットワーク(SNN)は、空間的パラメータと時間的パラメータの両方を活用することにより、リッチ時間信号処理の可能性を秘めている。 最近、時間定数は、ネットワークで必要とされるパラメータの総数を減らすのに役立つ計算上の利点があることが示されている。 最適化のコストを削減するために、この場合、時間領域においてアーキテクチャバイアスを適用することができる。 本稿では,SNNの隠蔽層に時間的表現の階層を付加し,そのような帰納的バイアスが性能を向上させることを明らかにする。
  論文  参考訳（メタデータ） (2024-07-26T16:00:20Z)
• Directly Training Temporal Spiking Neural Network with Sparse Surrogate Gradient [8.516243389583702]
  脳にインスパイアされたスパイキングニューラルネットワーク(SNN)は、イベントベースのコンピューティングとエネルギー効率の良い機能によって、多くの注目を集めている。 本研究では,SNNの一般化能力を向上させるため,MSG(Masked Surrogate Gradients)を提案する。
  論文  参考訳（メタデータ） (2024-06-28T04:21:32Z)
• FTBC: Forward Temporal Bias Correction for Optimizing ANN-SNN Conversion [16.9748086865693]
  Spiking Neural Networks(SNN)は、ニューラルネットワーク(ANN)と比較して、エネルギー効率の高いコンピューティングのための有望な道を提供する 本稿では,計算オーバーヘッドを伴わずに変換精度を向上させることを目的とした,FTBC(Forward Temporal Bias)技術を紹介する。 さらに,前方通過のみの時間偏差を求めるアルゴリズムを提案し,逆伝播の計算負担を軽減した。
  論文  参考訳（メタデータ） (2024-03-27T09:25:20Z)
• Shrinking Your TimeStep: Towards Low-Latency Neuromorphic Object Recognition with Spiking Neural Network [5.174808367448261]
  スパイキングニューラルネットワーク(SNN)を用いたニューロモーフィック物体認識は、低消費電力ニューロモーフィックコンピューティングの基盤となっている。 既存のSNNは、ニューロモルフィックオブジェクトを認識するために10から40回以上のタイムステップを利用して、かなりの遅延に悩まされている。 本研究では,Shrinking SNN(SSNN)を提案する。
  論文  参考訳（メタデータ） (2024-01-02T02:05:05Z)
• Low Latency of object detection for spikng neural network [3.404826786562694]
  スパイキングニューラルネットワークは、バイナリスパイクの性質のため、エッジAIアプリケーションに適している。 本稿では,オブジェクト検出に特化して,高精度で低遅延なSNNを生成することに焦点を当てる。
  論文  参考訳（メタデータ） (2023-09-27T10:26:19Z)
• Inherent Redundancy in Spiking Neural Networks [24.114844269113746]
  スパイキングネットワーク(SNN)は、従来の人工ニューラルネットワークに代わる有望なエネルギー効率の代替手段である。 本研究では,SNNにおける固有冗長性に関する3つの重要な疑問に焦点をあてる。 本稿では,SNNの冗長性を活用するためのアドバンストアテンション(ASA)モジュールを提案する。
  論文  参考訳（メタデータ） (2023-08-16T08:58:25Z)
• Deep Multi-Threshold Spiking-UNet for Image Processing [51.88730892920031]
  本稿では,SNN(Spike Neural Networks)とU-Netアーキテクチャを組み合わせた,画像処理のためのスパイキング-UNetの概念を紹介する。 効率的なスパイキング-UNetを実現するためには,スパイクによる高忠実度情報伝播の確保と,効果的なトレーニング戦略の策定という2つの課題に直面する。 実験の結果,画像のセグメンテーションとデノイングにおいて,スパイキングUNetは非スパイキングと同等の性能を発揮することがわかった。
  論文  参考訳（メタデータ） (2023-07-20T16:00:19Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Improving Stability and Performance of Spiking Neural Networks through Enhancing Temporal Consistency [9.545711665562715]
  スパイクニューラルネットワークは、脳のような情報処理能力のために大きな注目を集めている。 現在のトレーニングアルゴリズムは、様々なタイミングで出力分布の違いを無視する傾向にある。 我々は,異なるタイミングで出力の時間的一貫性を高める手法を考案した。
  論文  参考訳（メタデータ） (2023-05-23T15:50:07Z)
• Towards Memory- and Time-Efficient Backpropagation for Training Spiking Neural Networks [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックコンピューティングのためのエネルギー効率の高いモデルである。 本研究では,学習効率を大幅に向上させつつ,高い性能を達成できる空間学習時間(SLTT)法を提案する。 BPTTと比較して, メモリコストとトレーニング時間は, それぞれ70%以上, 50%以上削減されている。
  論文  参考訳（メタデータ） (2023-02-28T05:01:01Z)
• Energy Efficient Training of SNN using Local Zeroth Order Method [18.81001891391638]
  ニューラルネットワークのスパイクは、現実世界のタスクにおける低エネルギー要求でますます人気が高まっている。 SNNトレーニングアルゴリズムは、Heaviside関数による勾配情報と非微分可能性の喪失に直面している。 本稿では,後方パスにおけるHeavisideの微分可能近似を提案し,前方パスはHeavisideをスパイク関数として利用する。
  論文  参考訳（メタデータ） (2023-02-02T06:57:37Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Backpropagation with Biologically Plausible Spatio-Temporal Adjustment For Training Deep Spiking Neural Networks [5.484391472233163]
  ディープラーニングの成功は、バックプロパゲーションとは分離できない。 本研究では, 膜電位とスパイクの関係を再考する, 生体可塑性空間調整法を提案する。 次に,生物学的に妥当な時間的調整を提案し,時間的次元のスパイクを横切る誤差を伝搬させる。
  論文  参考訳（メタデータ） (2021-10-17T15:55:51Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Time Dependence in Non-Autonomous Neural ODEs [74.78386661760662]
  時変重みを持つニューラルODEの新しいファミリーを提案する。 我々は、速度と表現能力の両面で、従来のニューラルODEの変形よりも優れていた。
  論文  参考訳（メタデータ） (2020-05-05T01:41:46Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。