論文の概要: Frozen Backpropagation: Relaxing Weight Symmetry in Temporally-Coded Deep Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2505.13741v1
• Date: Mon, 19 May 2025 21:35:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-21 14:49:52.546366
• Title: Frozen Backpropagation: Relaxing Weight Symmetry in Temporally-Coded Deep Spiking Neural Networks
• Title（参考訳）: 凍結したバックプロパゲーション:時間的に符号化されたディープスパイクニューラルネットワークにおけるウェイトシンメトリーの緩和
• Authors: Gaspard Goupy, Pierre Tirilly, Ioan Marius Bilasco,
• Abstract要約: ニューロモルフィックハードウェア上でのスパイキングニューラルネットワーク(SNN)の直接トレーニングは、GPUベースのトレーニングと比較してエネルギーコストを大幅に削減することができる。 このようなハードウェア上のバックプロパゲーション(BP)は、通常、前方と後方のパスは異なる重みを持つ別々のネットワークによって実行されるため、困難である。 BPに基づくトレーニングアルゴリズムであるFrozen Backpropagation (fBP)を導入する。
• 参考スコア（独自算出の注目度）: 1.0787328610467803
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Direct training of Spiking Neural Networks (SNNs) on neuromorphic hardware can greatly reduce energy costs compared to GPU-based training. However, implementing Backpropagation (BP) on such hardware is challenging because forward and backward passes are typically performed by separate networks with distinct weights. To compute correct gradients, forward and feedback weights must remain symmetric during training, necessitating weight transport between the two networks. This symmetry requirement imposes hardware overhead and increases energy costs. To address this issue, we introduce Frozen Backpropagation (fBP), a BP-based training algorithm relaxing weight symmetry in settings with separate networks. fBP updates forward weights by computing gradients with periodically frozen feedback weights, reducing weight transports during training and minimizing synchronization overhead. To further improve transport efficiency, we propose three partial weight transport schemes of varying computational complexity, where only a subset of weights is transported at a time. We evaluate our methods on image recognition tasks and compare them to existing approaches addressing the weight symmetry requirement. Our results show that fBP outperforms these methods and achieves accuracy comparable to BP. With partial weight transport, fBP can substantially lower transport costs by 1,000x with an accuracy drop of only 0.5pp on CIFAR-10 and 1.1pp on CIFAR-100, or by up to 10,000x at the expense of moderated accuracy loss. This work provides insights for guiding the design of neuromorphic hardware incorporating BP-based on-chip learning.
• Abstract（参考訳）: ニューロモルフィックハードウェア上でのスパイキングニューラルネットワーク(SNN)の直接トレーニングは、GPUベースのトレーニングと比較してエネルギーコストを大幅に削減することができる。 しかしながら、このハードウェア上でのバックプロパゲーション(BP)の実装は、通常、前方と後方のパスは異なる重みを持つ別々のネットワークによって実行されるため、困難である。 正しい勾配を計算するために、フォワードとフィードバックの重みはトレーニング中に対称のままでなければならない。 この対称性の要件は、ハードウェアのオーバーヘッドを課し、エネルギーコストを増大させる。 この問題に対処するために、BPに基づくトレーニングアルゴリズムであるFrozen Backpropagation (fBP)を導入する。 fBPは、定期的に凍結されたフィードバックウェイトで勾配を計算し、トレーニング中の重量輸送を減らし、同期オーバーヘッドを最小限にすることで、前方重量を更新する。 輸送効率をより高めるために,重みのサブセットのみを一度に輸送する,計算複雑性の異なる3つの部分的な重み輸送スキームを提案する。 本手法を画像認識タスクにおいて評価し,重量対称性要求に対処する既存手法と比較する。 その結果,fBPはこれらの手法より優れ,BPに匹敵する精度が得られた。 部分重量輸送では、FBPはCIFAR-10で0.5pp、CIFAR-100で1.1ppの精度で1000倍の輸送コストを削減できる。 この研究は、BPベースのオンチップ学習を取り入れたニューロモルフィックハードウェアの設計を導くための洞察を提供する。

関連論文リスト

• Efficient Training with Denoised Neural Weights [65.14892033932895]
  この研究は、初期化のために神経重みを合成するウェイトジェネレータを構築するための新しい一歩を踏み出した。 本稿では,モデル重みの収集を容易にするために,GANを用いた画像間翻訳タスクを例に挙げる。 拡散モデルによって予測される重み付き画像翻訳モデルを初期化することにより、トレーニングは43.3秒しか必要としない。
  論文  参考訳（メタデータ） (2024-07-16T17:59:42Z)
• Asymmetrical estimator for training encapsulated deep photonic neural networks [10.709758849326061]
  フォトニックニューラルネットワーク(PNN)は高速なインプロパゲーションと高帯域幅のパラダイムである。 DPNNのカプセル化に適した非対称訓練法(AsyT)を導入する。 AsyTは、最小の読み出し、高速かつ省エネな操作、最小のシステムフットプリントを備えたDPNNのための軽量ソリューションを提供する。
  論文  参考訳（メタデータ） (2024-05-28T17:27:20Z)
• Analyzing and Improving the Training Dynamics of Diffusion Models [36.37845647984578]
  一般的なADM拡散モデルアーキテクチャにおいて、不均一かつ非効率なトレーニングの原因をいくつか特定し、修正する。 この哲学の体系的な応用は、観測されたドリフトと不均衡を排除し、同じ計算複雑性でネットワークをかなり良くする。
  論文  参考訳（メタデータ） (2023-12-05T11:55:47Z)
• SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural Networks [56.35403810762512]
  イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。 本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
  論文  参考訳（メタデータ） (2023-02-01T04:22:59Z)
• WeightMom: Learning Sparse Networks using Iterative Momentum-based pruning [0.0]
  本稿では,前回の繰り返しの運動量に基づいて徐々に重みを刈り取る,重みに基づくプルーニング手法を提案する。 我々は,CIFAR-10やCIFAR-100といった画像分類データセットを用いて,AlexNet,VGG16,ResNet50などのネットワークに対するアプローチを評価する。
  論文  参考訳（メタデータ） (2022-08-11T07:13:59Z)
• Green, Quantized Federated Learning over Wireless Networks: An Energy-Efficient Design [68.86220939532373]
  有限精度レベルは、固定精度フォーマットで重みとアクティベーションを定量化する量子ニューラルネットワーク(QNN)を使用して取得される。 提案するFLフレームワークは,ベースラインFLアルゴリズムと比較して,収束までのエネルギー消費量を最大70%削減することができる。
  論文  参考訳（メタデータ） (2022-07-19T16:37:24Z)
• BiTAT: Neural Network Binarization with Task-dependent Aggregated Transformation [116.26521375592759]
  量子化は、与えられたニューラルネットワークの高精度ウェイトとアクティベーションを、メモリ使用量と計算量を減らすために、低精度ウェイト/アクティベーションに変換することを目的としている。 コンパクトに設計されたバックボーンアーキテクチャの極端量子化(1ビットの重み/1ビットのアクティベーション)は、深刻な性能劣化をもたらす。 本稿では,性能劣化を効果的に緩和する新しいQAT法を提案する。
  論文  参考訳（メタデータ） (2022-07-04T13:25:49Z)
• Low-Precision Training in Logarithmic Number System using Multiplicative Weight Update [49.948082497688404]
  大規模ディープニューラルネットワーク(DNN)のトレーニングは、現在かなりの量のエネルギーを必要としており、深刻な環境影響をもたらす。 エネルギーコストを削減するための有望なアプローチの1つは、DNNを低精度で表現することである。 対数数システム(LNS)と乗算重み更新訓練法(LNS-Madam)を併用した低精度トレーニングフレームワークを共同で設計する。
  論文  参考訳（メタデータ） (2021-06-26T00:32:17Z)
• Sparsity-Control Ternary Weight Networks [34.00378876525579]
  我々は、乗算を回避し、メモリと要求を大幅に削減できる3次重み -1, 0, +1 ネットワークのトレーニングに重点を置いている。 既存の3次重みネットワークのトレーニングアプローチでは、3次重みの間隔を制御できない。 3次重みネットワークをトレーニングするための第一時空間制御手法(SCA)を提案する。
  論文  参考訳（メタデータ） (2020-11-01T18:06:26Z)
• Neural networks with late-phase weights [66.72777753269658]
  学習後期に重みのサブセットを組み込むことで,SGDの解をさらに改善できることを示す。 学習の終わりに、重み空間における空間平均を取ることにより、1つのモデルを取得する。
  論文  参考訳（メタデータ） (2020-07-25T13:23:37Z)
• Training highly effective connectivities within neural networks with randomly initialized, fixed weights [4.56877715768796]
  重みの符号を反転させてネットワークを訓練する新しい方法を提案する。 重みが一定等級であっても、高非対称分布から重みが引き出される場合でも良い結果が得られる。
  論文  参考訳（メタデータ） (2020-06-30T09:41:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。