論文の概要: XOResNet: Exclusive-OR Meta-Residuals Facilitate Deep Spiking Neural Networks Learning
- arxiv url: http://arxiv.org/abs/2605.30362v1
- Date: Fri, 15 May 2026 09:18:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-07 20:42:22.491351
- Title: XOResNet: Exclusive-OR Meta-Residuals Facilitate Deep Spiking Neural Networks Learning
- Title(参考訳): XOResNet:排他的あるいはメタ残留物はディープスパイキングニューラルネットワーク学習を促進する
- Authors: Jianfang Wu, Junsong Wang,
- Abstract要約: スパイキングニューラルネットワーク(SNN)は、ディープラーニングモデルにおける優れた学習と表現能力を示すことを約束している。
ディープラーニングにおけるResNetの驚異的な成功を考えると、学習を継続して深層SNNを訓練するのは当然だ。
深層SNNを構築するための既存の構造は、スパイク冗長性や情報損失、冗長学習といった課題をまだ示している。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Spiking neural networks (SNNs) hold promise for demonstrating superior learning and representation capabilities in deep models. Given the tremendous success of ResNet in deep learning, it would naturally follow to train deep SNNs with residual learning. However, existing residual structures for constructing deep SNNs still present challenges of spike redundancy or information loss, as well as redundant learning. In the present study, we first aim to address issues of relative spike redundancy in identity mapping and information loss in non-identity mapping. To this end, we propose an OR-ADD (OA) shortcut connection to merge output spikes/currents from two branches in the residual structure. Furthermore, to mitigate redundant learning in the backbone branch of the residual structure, we introduce the concept of XOR meta-residuals, i.e., selecting pre-learning residuals using the Exclusive-OR (XOR) operation for the backbone branch. Finally, by integrating the OA shortcut and XOR meta-residuals, we devise the XOR residual block and further construct XOResNet with varying depths based on this block. Extensive experiments on four datasets, Fashion-MNIST, CIFAR-10, CIFAR-100, and miniImageNet, show that the proposed XOResNet outperforms existing state-of-the-art deep SNNs optimized via gradient descent. These results validate the effectiveness of our OA shortcut and XOR meta-residual components in overcoming fundamental limitations of residual learning in SNNs, providing new architectural insights for building high-performance neuromorphic systems.
- Abstract(参考訳): スパイキングニューラルネットワーク(SNN)は、ディープラーニングモデルにおける優れた学習と表現能力を示すことを約束している。
ディープラーニングにおけるResNetの驚異的な成功を考えると、学習を継続して深層SNNを訓練するのは当然だ。
しかし、深層SNNを構築するための既存の残余構造には、スパイク冗長性や情報損失、冗長学習といった課題が残っている。
本研究では,IDマッピングにおける相対的スパイク冗長性の問題と,非IDマッピングにおける情報損失に対処することを目的としている。
この目的のために,残差構造における2つの分岐からの出力スパイク/電流をマージするOR-ADD(OA)ショートカット接続を提案する。
さらに, 後骨枝における冗長学習を緩和するために, 後骨枝に対する排他的残差(XOR)操作を用いて, 学習前残差を選択するという, XORメタ残差の概念を導入する。
最後に、OAショートカットとXORメタ残差を統合することで、XOR残差ブロックを考案し、このブロックに基づいて様々な深さでXOResNetを構築する。
Fashion-MNIST、CIFAR-10、CIFAR-100、MiniImageNetの4つのデータセットに対する大規模な実験は、提案されたXOResNetが勾配降下により最適化された既存の最先端SNNよりも優れていることを示している。
これらの結果は,SNNにおける残差学習の基本的限界を克服する上でのOAショートカットとXORメタ残留成分の有効性を検証し,高性能なニューロモルフィックシステムを構築するための新たなアーキテクチャ的洞察を提供する。
関連論文リスト
- Unveiling Hidden Convexity in Deep Learning: a Sparse Signal Processing Perspective [51.908606610432194]
ディープニューラルネットワーク(DNN)は、さまざまな機械学習タスクで大きな成功を収めています。
近年の研究では、特定のNNアーキテクチャが失われる際のいくつかの凸性を明らかにしている。
論文 参考訳(メタデータ) (2026-03-25T01:34:04Z) - Proxy Target: Bridging the Gap Between Discrete Spiking Neural Networks and Continuous Control [59.65431931190187]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上で低レイテンシかつエネルギー効率の意思決定を提供する。
連続制御のためのほとんどの連続制御アルゴリズムは、人工ニューラルネットワーク(ANN)のために設計されている。
このミスマッチはSNNのトレーニングを不安定にし、性能を劣化させる。
離散SNNと連続制御アルゴリズムのギャップを埋める新しいプロキシターゲットフレームワークを提案する。
論文 参考訳(メタデータ) (2025-05-30T03:08:03Z) - Pursing the Sparse Limitation of Spiking Deep Learning Structures [42.334835610250714]
スパイキングニューラルネットワーク(SNN)はその優れた計算とエネルギー効率のために注目を集めている。
重量とパッチレベルの当選チケットを同時に識別できる革新的なアルゴリズムを提案する。
我々は, モデル構造が極めて疎い場合でも, スパイキング抽選券が同等あるいは優れた性能を達成できることを実証した。
論文 参考訳(メタデータ) (2023-11-18T17:00:40Z) - SynA-ResNet: Spike-driven ResNet Achieved through OR Residual Connection [10.702093960098104]
スパイキングニューラルネットワーク(SNN)は、その生物学的忠実さとエネルギー効率のよいスパイク駆動操作を実行する能力のために、脳のような計算にかなりの注意を払っている。
ORRC(Residual Connection)を通じて大量の冗長情報を蓄積する新しいトレーニングパラダイムを提案する。
次に,SynA(SynA)モジュールを用いて冗長情報をフィルタリングし,背骨における特徴抽出を促進するとともに,ショートカットにおけるノイズや無駄な特徴の影響を抑える。
論文 参考訳(メタデータ) (2023-11-11T13:36:27Z) - RDRN: Recursively Defined Residual Network for Image Super-Resolution [58.64907136562178]
深部畳み込みニューラルネットワーク(CNN)は、単一画像超解像において顕著な性能を得た。
本稿では,注目ブロックを効率的に活用する新しいネットワークアーキテクチャを提案する。
論文 参考訳(メタデータ) (2022-11-17T11:06:29Z) - Deep Residual Learning in Spiking Neural Networks [36.16846259899793]
スパイキングニューラルネットワーク(SNN)は勾配に基づくアプローチの最適化の難しさを示す。
ディープラーニングにおけるResNetの大きな成功を考えると、ディープラーニングで深層SNNをトレーニングするのは自然なことでしょう。
本研究では,深部SNNにおける残差学習を実現するために,スパイク要素ワイド(SEW)ResNetを提案する。
論文 参考訳(メタデータ) (2021-02-08T12:22:33Z) - Neural Networks Enhancement with Logical Knowledge [83.9217787335878]
関係データに対するKENNの拡張を提案する。
その結果、KENNは、存在関係データにおいても、基礎となるニューラルネットワークの性能を高めることができることがわかった。
論文 参考訳(メタデータ) (2020-09-13T21:12:20Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳(メタデータ) (2020-07-03T01:37:16Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-07-02T15:38:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。