論文の概要: Predictive Suppression Layers for Communication-Efficient Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2609.21583v1
• Date: Fri, 18 Sep 2026 10:13:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-21 18:40:17.003997
• Title: Predictive Suppression Layers for Communication-Efficient Spiking Neural Networks
• Title（参考訳）: 通信効率の良いスパイクニューラルネットワークのための予測抑制層
• Abstract要約: フィードスパイキングニューラルネットワーク(SNN)は通常、情報が情報理論の観点から冗長であるかどうかを無視して、生成されたすべてのスパイクを無差別に伝播する。 この選択性の欠如は、層間通信において高い冗長性をもたらし、高価なオーバーヘッドを生み出す。 そこで本研究では,署名されたスパイク残差を伝達するエラーユニットと,動的ゲートや前方予測不能な"サプライズ"動作に残差を利用した予測抑制という,予測ブロックを共有する2つの層変種を提案する。
• 参考スコア（独自算出の注目度）: 3.1880167572947546
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Feedforward Spiking Neural Networks (SNNs) typically propagate every generated spike indiscriminately, disregarding whether the information is redundant from an information-theoretic perspective. This lack of selectivity induces high redundancy in inter-layer communication, creating an expensive overhead, e.g., in scenarios involving many-core neuromorphic hardware or communication-dominated Internet-of-Things (IoT) where features are transmitted wirelessly. To address this challenge, we trade localized processing for leaner network channels by introducing a minimal predictive coding framework for SNNs. We propose two layer variants sharing a predictor block: error units, which transmit signed spiking residuals, and predictive suppression, which uses residual magnitude to dynamically gate and forward only unpredictable, "surprising" activity. Evaluated on the N-MNIST and Spiking Heidelberg Digits (SHD) datasets using diagnostic metrics that decouple local processing from cross-layer communication, our new predictive coding layers achieve significant communication savings. Numerical results reveal a three-fold reduction in communicated activity, while increasing the task accuracy for both datasets. The latter finding is notable, and suggests that predictive coding layers not only minimize communication overhead, but also produce output feature vectors with a higher representation power.
• Abstract（参考訳）: フィードフォワードスパイキングニューラルネットワーク(SNN)は通常、情報が情報理論の観点から冗長であるかどうかを無視して、生成されたスパイクを無差別に伝播する。 この選択性の欠如は、層間通信において高い冗長性をもたらし、多コアのニューロモルフィックハードウェアや、ワイヤレスで機能を伝送する通信に支配されるIoT(Internet-of-Things)を含むシナリオにおいて、高価なオーバーヘッドを生み出す。 この課題に対処するため、我々はSNNのための最小限の予測コーディングフレームワークを導入することで、よりリーンなネットワークチャネルに対してローカライズされた処理を交換した。 そこで本研究では,署名されたスパイク残差を伝達するエラーユニットと,予測不可能な「サプライズ」アクティビティのみを動的にゲート・フォワードに残差等を用いた予測抑制という,予測ブロックを共有する2つの層変種を提案する。 N-MNIST と Spiking Heidelberg Digits (SHD) のデータセットを、局所的な処理と層間通信を分離する診断指標を用いて評価し、新しい予測符号化層は、重要な通信節約を実現する。 数値的な結果から,両データセットのタスク精度を向上しつつ,通信活動の3倍の削減を図った。 後者の発見は注目すべきであり、予測符号化層は通信オーバーヘッドを最小限に抑えるだけでなく、表現力の高い出力特徴ベクトルを生成することを示唆している。

関連論文リスト

• All in one timestep: Enhancing Sparsity and Energy efficiency in Multi-level Spiking Neural Networks [0.0]
  スパイキングニューラルネットワーク(SNN)は、最も有望なバイオインスパイアされたニューラルネットワークモデルの一つである。 瞬時スパイクのバイナリの性質は、SNNにかなりの情報損失をもたらし、精度が低下する。 本稿では,低量子化誤差と最小推論遅延を両立できるマルチレベルスパイキングニューロンモデルを提案する。
  論文  参考訳（メタデータ） (2025-10-28T17:03:33Z)
• AI Flow at the Network Edge [58.31090055138711]
  AI Flowは、デバイス、エッジノード、クラウドサーバ間で利用可能な異種リソースを共同で活用することで、推論プロセスを合理化するフレームワークである。 この記事では、AI Flowのモチベーション、課題、原則を特定するためのポジションペーパーとして機能する。
  論文  参考訳（メタデータ） (2024-11-19T12:51:17Z)
• Neuromorphic Wireless Split Computing with Multi-Level Spikes [69.73249913506042]
  ニューロモルフィックコンピューティングは、スパイキングニューラルネットワーク(SNN)を使用して推論タスクを実行する。 スパイクニューロン間で交換される各スパイクに小さなペイロードを埋め込むことで、エネルギー消費を増大させることなく推論精度を高めることができる。 分割コンピューティング — SNNを2つのデバイスに分割する — は、有望なソリューションだ。 本稿では,マルチレベルSNNを用いたニューロモルフィック無線分割コンピューティングアーキテクチャの総合的研究について述べる。
  論文  参考訳（メタデータ） (2024-11-07T14:08:35Z)
• SignalNet: A Low Resolution Sinusoid Decomposition and Estimation Network [79.04274563889548]
  本稿では,正弦波数を検出するニューラルネットワークアーキテクチャであるSignalNetを提案する。 基礎となるデータ分布と比較して,ネットワークの結果を比較するための最悪の学習しきい値を導入する。 シミュレーションでは、我々のアルゴリズムは常に3ビットデータのしきい値を超えることができるが、しばしば1ビットデータのしきい値を超えることはできない。
  論文  参考訳（メタデータ） (2021-06-10T04:21:20Z)
• Information contraction in noisy binary neural networks and its implications [11.742803725197506]
  我々は、各ニューロンが不正な出力を発生させる確率がゼロでない、ノイズの多いバイナリニューラルネットワークを考察する。 私たちの重要な発見は、ノイズの多いニューラルネットワークで必要なニューロンの数が少ないことです。 本稿では,情報理論のレンズを通して,ノイズの多い情報処理システムに対する新たな理解を提供する。
  論文  参考訳（メタデータ） (2021-01-28T00:01:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。