論文の概要: Learning A Spiking Neural Network for Efficient Image Deraining
- arxiv url: http://arxiv.org/abs/2405.06277v1
- Date: Fri, 10 May 2024 07:19:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-13 16:27:43.229461
- Title: Learning A Spiking Neural Network for Efficient Image Deraining
- Title（参考訳）: 効率的な画像レイニングのためのスパイクニューラルネットワークの学習
- Authors: Tianyu Song, Guiyue Jin, Pengpeng Li, Kui Jiang, Xiang Chen, Jiyu Jin,
- Abstract要約: ESDNetと呼ばれる効率の良いスパイクレイニングネットワークを提案する。
我々の研究は、雨のピクセル値がSNNのスパイク信号の強度を高めるという観測に動機づけられている。
トレーニングの課題を克服するために,モデルを直接トレーニングするための勾配プロキシ戦略を導入する。
- 参考スコア（独自算出の注目度）: 20.270365030042623
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, spiking neural networks (SNNs) have demonstrated substantial potential in computer vision tasks. In this paper, we present an Efficient Spiking Deraining Network, called ESDNet. Our work is motivated by the observation that rain pixel values will lead to a more pronounced intensity of spike signals in SNNs. However, directly applying deep SNNs to image deraining task still remains a significant challenge. This is attributed to the information loss and training difficulties that arise from discrete binary activation and complex spatio-temporal dynamics. To this end, we develop a spiking residual block to convert the input into spike signals, then adaptively optimize the membrane potential by introducing attention weights to adjust spike responses in a data-driven manner, alleviating information loss caused by discrete binary activation. By this way, our ESDNet can effectively detect and analyze the characteristics of rain streaks by learning their fluctuations. This also enables better guidance for the deraining process and facilitates high-quality image reconstruction. Instead of relying on the ANN-SNN conversion strategy, we introduce a gradient proxy strategy to directly train the model for overcoming the challenge of training. Experimental results show that our approach gains comparable performance against ANN-based methods while reducing energy consumption by 54%. The code source is available at https://github.com/MingTian99/ESDNet.
- Abstract（参考訳）: 近年、スパイクニューラルネットワーク(SNN)はコンピュータビジョンタスクにおいて大きな可能性を証明している。
本稿では,ESDNetと呼ばれる効率的なスパイキングレイニングネットワークを提案する。
我々の研究は、雨のピクセル値がSNNのスパイク信号の強度を高めるという観測に動機づけられている。
しかし、画像デライニングタスクにディープSNNを直接適用することは依然として重要な課題である。
これは、個別のバイナリアクティベーションと複雑な時空間ダイナミクスから生じる情報損失とトレーニングの難しさに起因する。
この目的のために、スパイク信号に入力を変換するスパイク残差ブロックを開発し、次に、注意重みを導入してスパイク応答をデータ駆動方式で調整し、個別のバイナリアクティベーションによる情報損失を軽減することにより、膜電位を適応的に最適化する。
このようにして、私たちのESDNetは、その変動を学習することで、雨天の特徴を効果的に検出し、分析することができる。
これにより、デラミニングプロセスのより良いガイダンスが可能になり、高品質な画像再構成が容易になる。
ANN-SNN変換戦略に頼る代わりに、トレーニングの課題を克服するためのモデルを直接トレーニングするための勾配プロキシ戦略を導入する。
実験の結果,ANN法と同等の性能を示し,エネルギー消費量を54%削減した。
ソースコードはhttps://github.com/MingTian99/ESDNetで入手できる。
関連論文リスト
- Spiking Neural Network as Adaptive Event Stream Slicer [10.279359105384334]
イベントベースのカメラは、リッチエッジ情報、高ダイナミックレンジ、高時間分解能を提供する。
最先端のイベントベースのアルゴリズムの多くは、イベントを固定グループに分割することに依存しており、重要な時間情報の欠落をもたらす。
SpikeSlicerは、イベントストリームを適応的に分割可能な、新規に設計されたプラグアンドプレイイベント処理方式である。
論文 参考訳（メタデータ） (2024-10-03T06:41:10Z) - Defending Spiking Neural Networks against Adversarial Attacks through Image Purification [20.492531851480784]
Spiking Neural Networks(SNN)は、神経科学と機械学習のギャップを埋めることを目的としている。
SNNは畳み込みニューラルネットワークのような敵の攻撃に弱い。
本稿では,SNNの堅牢性を高めるための生物学的にインスパイアされた手法を提案する。
論文 参考訳（メタデータ） (2024-04-26T00:57:06Z) - Deep Multi-Threshold Spiking-UNet for Image Processing [51.88730892920031]
本稿では,SNN(Spike Neural Networks)とU-Netアーキテクチャを組み合わせた,画像処理のためのスパイキング-UNetの概念を紹介する。
効率的なスパイキング-UNetを実現するためには,スパイクによる高忠実度情報伝播の確保と,効果的なトレーニング戦略の策定という2つの課題に直面する。
実験の結果,画像のセグメンテーションとデノイングにおいて,スパイキングUNetは非スパイキングと同等の性能を発揮することがわかった。
論文 参考訳（メタデータ） (2023-07-20T16:00:19Z) - Adaptive-SpikeNet: Event-based Optical Flow Estimation using Spiking
Neural Networks with Learnable Neuronal Dynamics [6.309365332210523]
ニューラルインスパイアされたイベント駆動処理でニューラルネットワーク(SNN)をスパイクすることで、非同期データを効率的に処理できる。
スパイク消滅問題を緩和するために,学習可能な神経力学を用いた適応型完全スパイキングフレームワークを提案する。
実験の結果,平均終端誤差(AEE)は最先端のANNと比較して平均13%減少した。
論文 参考訳（メタデータ） (2022-09-21T21:17:56Z) - Training High-Performance Low-Latency Spiking Neural Networks by
Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。
非分化性のため、SNNを効率的に訓練することは困難である。
本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文 参考訳（メタデータ） (2022-05-01T12:44:49Z) - Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for
Event-Based Vision [64.71260357476602]
イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。
イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。
本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
論文 参考訳（メタデータ） (2021-12-06T23:45:58Z) - A Study On the Effects of Pre-processing On Spatio-temporal Action
Recognition Using Spiking Neural Networks Trained with STDP [0.0]
ビデオ分類タスクにおいて,教師なし学習手法で訓練したSNNの行動を研究することが重要である。
本稿では,時間情報を静的な形式に変換し,遅延符号化を用いて視覚情報をスパイクに変換する手法を提案する。
スパイクニューラルネットワークを用いた行動認識における行動の形状と速度の類似性の効果を示す。
論文 参考訳（メタデータ） (2021-05-31T07:07:48Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳（メタデータ） (2020-03-26T11:13:07Z) - Curriculum By Smoothing [52.08553521577014]
畳み込みニューラルネットワーク(CNN)は、画像分類、検出、セグメンテーションなどのコンピュータビジョンタスクにおいて顕著な性能を示している。
アンチエイリアスフィルタやローパスフィルタを用いてCNNの機能埋め込みを円滑化するエレガントなカリキュラムベースのスキームを提案する。
トレーニング中に特徴マップ内の情報量が増加するにつれて、ネットワークはデータのより優れた表現を徐々に学習することができる。
論文 参考訳（メタデータ） (2020-03-03T07:27:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。