論文の概要: Bridge the Gap between SNN and ANN for Image Restoration

• arxiv url: http://arxiv.org/abs/2504.01755v1
• Date: Wed, 02 Apr 2025 14:12:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-03 13:21:19.055743
• Title: Bridge the Gap between SNN and ANN for Image Restoration
• Title（参考訳）: 画像復元のためのSNNとANNのギャップを埋める
• Authors: Xin Su, Chen Wu, Zhuoran Zheng,
• Abstract要約: 現在、SNN(Spiking Neural Network)フレームワークに基づくニューラルネットワークは、画像復元の分野において目印を付け始めている。 本研究では,教師がANNであり,学生がSNNである非対称フレームワーク(ANN-SNN)蒸留法を提案する。 具体的には、ANNが学習した中間機能(機能マップ)をヒントとして、SNNのトレーニングプロセスのガイドとして活用する。
• 参考スコア（独自算出の注目度）: 7.487270862599671
• License:
• Abstract: Models of dense prediction based on traditional Artificial Neural Networks (ANNs) require a lot of energy, especially for image restoration tasks. Currently, neural networks based on the SNN (Spiking Neural Network) framework are beginning to make their mark in the field of image restoration, especially as they typically use less than 10\% of the energy of ANNs with the same architecture. However, training an SNN is much more expensive than training an ANN, due to the use of the heuristic gradient descent strategy. In other words, the process of SNN's potential membrane signal changing from sparse to dense is very slow, which affects the convergence of the whole model.To tackle this problem, we propose a novel distillation technique, called asymmetric framework (ANN-SNN) distillation, in which the teacher is an ANN and the student is an SNN. Specifically, we leverage the intermediate features (feature maps) learned by the ANN as hints to guide the training process of the SNN. This approach not only accelerates the convergence of the SNN but also improves its final performance, effectively bridging the gap between the efficiency of the SNN and the superior learning capabilities of ANN. Extensive experimental results show that our designed SNN-based image restoration model, which has only 1/300 the number of parameters of the teacher network and 1/50 the energy consumption of the teacher network, is as good as the teacher network in some denoising tasks.
• Abstract（参考訳）: 従来のニューラルネットワーク(ANN)に基づく高密度予測モデルでは,特に画像復元作業において,多くのエネルギーを必要とする。 現在、SNN(Spiking Neural Network)フレームワークに基づくニューラルネットワークは、特に同じアーキテクチャを持つANNのエネルギーの10倍未満を使用するため、画像復元の分野での目印を付け始めている。 しかしながら、SNNのトレーニングは、ヒューリスティック勾配降下戦略を使用するため、ANNのトレーニングよりもはるかに高価である。 言い換えれば、SNNの潜在的膜信号がスパースから密度に変化する過程は、モデル全体の収束に影響を与える非常に遅く、この問題に対処するために、教師がANNであり、学生がSNNである非対称フレームワーク(ANN-SNN)蒸留と呼ばれる新しい蒸留手法を提案する。 具体的には、ANNが学習した中間機能(機能マップ)をヒントとして、SNNのトレーニングプロセスのガイドとして活用する。 このアプローチは、SNNの収束を加速するだけでなく、最終的な性能も向上し、SNNの効率性とANNの優れた学習能力とのギャップを効果的に埋める。 その結果,教師ネットワークのパラメータ数1/300,教師ネットワークのエネルギー消費1/50しか持たないSNNベースの画像復元モデルは,教師ネットワークと同等であることがわかった。

関連論文リスト

• NAS-BNN: Neural Architecture Search for Binary Neural Networks [55.058512316210056]
  我々は、NAS-BNNと呼ばれる二元ニューラルネットワークのための新しいニューラルネットワーク探索手法を提案する。 我々の発見したバイナリモデルファミリーは、20Mから2Mまでの幅広い操作(OP)において、以前のBNNよりも優れていた。 さらに,対象検出タスクにおける探索されたBNNの転送可能性を検証するとともに,探索されたBNNを用いたバイナリ検出器は,MSデータセット上で31.6% mAP,370万 OPsなどの新たな最先端結果を得る。
  論文  参考訳（メタデータ） (2024-08-28T02:17:58Z)
• LC-TTFS: Towards Lossless Network Conversion for Spiking Neural Networks with TTFS Coding [55.64533786293656]
  我々は,AIタスクにおいて,ANNのアクティベーション値とSNNのスパイク時間とのほぼ完全なマッピングを実現することができることを示す。 この研究は、電力制約のあるエッジコンピューティングプラットフォームに超低消費電力のTTFSベースのSNNをデプロイする方法を舗装している。
  論文  参考訳（メタデータ） (2023-10-23T14:26:16Z)
• Joint A-SNN: Joint Training of Artificial and Spiking Neural Networks via Self-Distillation and Weight Factorization [12.1610509770913]
  スパイクニューラルネットワーク(SNN)は、脳ニューロンのスパイク特性を模倣する。 我々は、ANNとSNNの合同トレーニングフレームワークを提案し、ANNはSNNの最適化をガイドできる。 我々の手法は、他の多くの最先端の訓練方法より一貫して優れています。
  論文  参考訳（メタデータ） (2023-05-03T13:12:17Z)
• LaSNN: Layer-wise ANN-to-SNN Distillation for Effective and Efficient Training in Deep Spiking Neural Networks [7.0691139514420005]
  スパイキングニューラルネットワーク(SNN)は、事象駆動機構のため、生物学的に現実的で、低消費電力で現実的に有望である。 トレーニングされたANNのパラメータを同じ構造を持つSNNにマッピングすることで、競合精度を得るための変換方式を提案する。 レイヤワイドANN-to-SNN知識蒸留(LaSNN)という新しいSNNトレーニングフレームワークが提案されている。
  論文  参考訳（メタデータ） (2023-04-17T03:49:35Z)
• Hybrid Spiking Neural Network Fine-tuning for Hippocampus Segmentation [3.1247096708403914]
  人工ニューラルネットワーク(ANN)の代替としてスパイキングニューラルネットワーク(SNN)が登場している 本研究では,磁気共鳴画像からヒト海馬を抽出するためのハイブリッドSNNトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-02-14T20:18:57Z)
• Spikeformer: A Novel Architecture for Training High-Performance Low-Latency Spiking Neural Network [6.8125324121155275]
  静的データセットとニューロモルフィックデータセットの両方において,トランスフォーマーをベースとした新しいSNNであるSpikeformerを提案する。 注目すべきは、SpikeformerはImageNet上の他のSNNよりも大きなマージン(5%以上)で、DVS-GestureとImageNetでANNよりも3.1%、そして2.2%高いパフォーマンスである。
  論文  参考訳（メタデータ） (2022-11-19T12:49:22Z)
• SNN2ANN: A Fast and Memory-Efficient Training Framework for Spiking Neural Networks [117.56823277328803]
  スパイクニューラルネットワークは、低消費電力環境における効率的な計算モデルである。 本稿では,SNNを高速かつメモリ効率で学習するためのSNN-to-ANN(SNN2ANN)フレームワークを提案する。 実験結果から,SNN2ANNをベースとしたモデルがベンチマークデータセットで良好に動作することが示された。
  論文  参考訳（メタデータ） (2022-06-19T16:52:56Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Kernel Based Progressive Distillation for Adder Neural Networks [71.731127378807]
  追加のみを含むAdder Neural Networks(ANN)は、エネルギー消費の少ないディープニューラルネットワークを新たに開発する方法を提供する。 すべての畳み込みフィルタを加算フィルタで置き換える場合、精度の低下がある。 本稿では,トレーニング可能なパラメータを増大させることなく,ANNの性能を向上するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-09-28T03:29:19Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Training Deep Spiking Neural Networks [0.0]
  脳にインスパイアされたスパイクニューラルネットワーク(SNN)とニューロモルフィックハードウェアは、エネルギー効率を桁違いに高める可能性がある。 CIFAR100およびImagenetteオブジェクト認識データセット上で、ResNet50アーキテクチャでSNNをトレーニングすることが可能であることを示す。 訓練されたSNNは、類似のANNと比較して精度が劣るが、数桁の推論時間ステップを必要とする。
  論文  参考訳（メタデータ） (2020-06-08T09:47:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。