論文の概要: Deep Multi-Threshold Spiking-UNet for Image Processing

• arxiv url: http://arxiv.org/abs/2307.10974v2
• Date: Tue, 2 Apr 2024 13:57:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-04 13:31:56.716265
• Title: Deep Multi-Threshold Spiking-UNet for Image Processing
• Title（参考訳）: 画像処理のための深層マルチ閾値スパイキングUNet
• Authors: Hebei Li, Yueyi Zhang, Zhiwei Xiong, Zheng-jun Zha, Xiaoyan Sun,
• Abstract要約: 本稿では,SNN(Spike Neural Networks)とU-Netアーキテクチャを組み合わせた,画像処理のためのスパイキング-UNetの概念を紹介する。 効率的なスパイキング-UNetを実現するためには,スパイクによる高忠実度情報伝播の確保と,効果的なトレーニング戦略の策定という2つの課題に直面する。 実験の結果,画像のセグメンテーションとデノイングにおいて,スパイキングUNetは非スパイキングと同等の性能を発揮することがわかった。
• 参考スコア（独自算出の注目度）: 90.30713327268043
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: U-Net, known for its simple yet efficient architecture, is widely utilized for image processing tasks and is particularly suitable for deployment on neuromorphic chips. This paper introduces the novel concept of Spiking-UNet for image processing, which combines the power of Spiking Neural Networks (SNNs) with the U-Net architecture. To achieve an efficient Spiking-UNet, we face two primary challenges: ensuring high-fidelity information propagation through the network via spikes and formulating an effective training strategy. To address the issue of information loss, we introduce multi-threshold spiking neurons, which improve the efficiency of information transmission within the Spiking-UNet. For the training strategy, we adopt a conversion and fine-tuning pipeline that leverage pre-trained U-Net models. During the conversion process, significant variability in data distribution across different parts is observed when utilizing skip connections. Therefore, we propose a connection-wise normalization method to prevent inaccurate firing rates. Furthermore, we adopt a flow-based training method to fine-tune the converted models, reducing time steps while preserving performance. Experimental results show that, on image segmentation and denoising, our Spiking-UNet achieves comparable performance to its non-spiking counterpart, surpassing existing SNN methods. Compared with the converted Spiking-UNet without fine-tuning, our Spiking-UNet reduces inference time by approximately 90\%. This research broadens the application scope of SNNs in image processing and is expected to inspire further exploration in the field of neuromorphic engineering. The code for our Spiking-UNet implementation is available at https://github.com/SNNresearch/Spiking-UNet.
• Abstract（参考訳）: U-Netは単純だが効率的なアーキテクチャで知られており、画像処理タスクに広く利用されており、特にニューロモルフィックチップへの展開に適している。 本稿では,SNN(Spike Neural Networks)とU-Netアーキテクチャを組み合わせた,画像処理のためのスパイキング-UNetの概念を紹介する。 効率的なスパイキング-UNetを実現するためには,スパイクによる高忠実度情報伝播の確保と,効果的なトレーニング戦略の策定という2つの課題に直面する。 情報損失問題に対処するため、スパイキングUNet内の情報伝達効率を向上させるマルチ閾値スパイキングニューロンを導入する。 トレーニング戦略では、事前トレーニングされたU-Netモデルを活用する変換および微調整パイプラインを採用する。 変換過程において、スキップ接続を利用する場合、異なる部分にわたるデータ分布の有意な変動が観察される。 そこで本研究では,不正確な点火を防止するための接続ワイド正規化手法を提案する。 さらに,変換したモデルを微調整するフローベーストレーニング手法を採用し,性能を保ちながら時間ステップを短縮する。 実験の結果,画像のセグメンテーションやデノイングでは,既存のSNN手法を超越して,スパイキング・UNetの非スパイキング手法に匹敵する性能が得られた。 微調整なしで変換されたSpking-UNetと比較して、Spking-UNetは推論時間を約90%削減する。 本研究は、画像処理におけるSNNの適用範囲を広げ、ニューロモルフィックエンジニアリングの分野におけるさらなる探究を促すことが期待されている。 Spiking-UNet実装のコードはhttps://github.com/SNNresearch/Spiking-UNet.comで公開されている。

関連論文リスト

• LeRF: Learning Resampling Function for Adaptive and Efficient Image Interpolation [64.34935748707673]
  最近のディープニューラルネットワーク(DNN)は、学習データ前処理を導入することで、パフォーマンスを著しく向上させた。 本稿では,DNNが学習した構造的前提と局所的連続仮定の両方を活かした学習再サンプリング(Learning Resampling, LeRF)を提案する。 LeRFは空間的に異なる再サンプリング関数を入力画像ピクセルに割り当て、ニューラルネットワークを用いてこれらの再サンプリング関数の形状を予測する。
  論文  参考訳（メタデータ） (2024-07-13T16:09:45Z)
• Learning A Spiking Neural Network for Efficient Image Deraining [20.270365030042623]
  ESDNetと呼ばれる効率の良いスパイクレイニングネットワークを提案する。 我々の研究は、雨のピクセル値がSNNのスパイク信号の強度を高めるという観測に動機づけられている。 トレーニングの課題を克服するために,モデルを直接トレーニングするための勾配プロキシ戦略を導入する。
  論文  参考訳（メタデータ） (2024-05-10T07:19:58Z)
• Spikingformer: Spike-driven Residual Learning for Transformer-based Spiking Neural Network [19.932683405796126]
  スパイキングニューラルネットワーク(SNN)は、人工ニューラルネットワークに代わる有望なエネルギー効率の代替手段を提供する。 SNNは、残余接続の構造によって引き起こされる非スパイク計算に悩まされる。 我々は、純粋なトランスをベースとしたスパイクニューラルネットワークであるSpkingformerを開発した。
  論文  参考訳（メタデータ） (2023-04-24T09:44:24Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Efficient and Accurate Conversion of Spiking Neural Network with Burst Spikes [9.210531698373256]
  脳にインスパイアされたエネルギー効率の高いニューラルネットワークとしてのスパイキングニューラルネットワーク(SNN)は、研究者の関心を集めている。 1つの効果的な方法は、訓練されたANNの重量をSNNにマッピングし、高い推論能力を達成することである。 変換されたスパイクニューラルネットワークは、しばしば性能劣化とかなりの遅延に悩まされる。 本稿では,残余情報の解法として,安価で高効率なバーストスパイクを放出するニューロンモデルを提案する。
  論文  参考訳（メタデータ） (2022-04-28T03:48:17Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• A Study On the Effects of Pre-processing On Spatio-temporal Action Recognition Using Spiking Neural Networks Trained with STDP [0.0]
  ビデオ分類タスクにおいて,教師なし学習手法で訓練したSNNの行動を研究することが重要である。 本稿では,時間情報を静的な形式に変換し,遅延符号化を用いて視覚情報をスパイクに変換する手法を提案する。 スパイクニューラルネットワークを用いた行動認識における行動の形状と速度の類似性の効果を示す。
  論文  参考訳（メタデータ） (2021-05-31T07:07:48Z)
• Implementing a foveal-pit inspired filter in a Spiking Convolutional Neural Network: a preliminary study [0.0]
  我々は,網膜卵管刺激によるガウスフィルタとランク順符号化の差異を取り入れたスポーキング畳み込みニューラルネットワーク(SCNN)を提示した。 このモデルは、Nengoライブラリーで実装されているように、スパイキングニューロンで動作するように適応されたバックプロパゲーションアルゴリズムの変種を用いて訓練される。 ネットワークは最大90%の精度で達成され、損失はクロスエントロピー関数を用いて計算される。
  論文  参考訳（メタデータ） (2021-05-29T15:28:30Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。