論文の概要: Unveiling the Spatial-temporal Effective Receptive Fields of Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2510.21403v1
• Date: Fri, 24 Oct 2025 12:46:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 09:00:15.468788
• Title: Unveiling the Spatial-temporal Effective Receptive Fields of Spiking Neural Networks
• Title（参考訳）: スパイクニューラルネットワークの時空間効果受容領域の解明
• Authors: Jieyuan Zhang, Xiaolong Zhou, Shuai Wang, Wenjie Wei, Hanwen Liu, Qian Sun, Malu Zhang, Yang Yang, Haizhou Li,
• Abstract要約: スパイキングニューラルネットワーク(SNN)は、エネルギー効率のよいニューロモルフィックコンピューティングにおいて大きな可能性を示す。 人工ニューラルネットワークでは、有効受容場(ERF)が特徴抽出能力を分析する貴重なツールとして機能する。 本稿では,ST-ERF(Spatio-Temporal Effective Receptive Field)を導入し,トランスフォーマーベースSNN間のRF分布を解析する。
• 参考スコア（独自算出の注目度）: 47.413471945080566
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Spiking Neural Networks (SNNs) demonstrate significant potential for energy-efficient neuromorphic computing through an event-driven paradigm. While training methods and computational models have greatly advanced, SNNs struggle to achieve competitive performance in visual long-sequence modeling tasks. In artificial neural networks, the effective receptive field (ERF) serves as a valuable tool for analyzing feature extraction capabilities in visual long-sequence modeling. Inspired by this, we introduce the Spatio-Temporal Effective Receptive Field (ST-ERF) to analyze the ERF distributions across various Transformer-based SNNs. Based on the proposed ST-ERF, we reveal that these models suffer from establishing a robust global ST-ERF, thereby limiting their visual feature modeling capabilities. To overcome this issue, we propose two novel channel-mixer architectures: \underline{m}ulti-\underline{l}ayer-\underline{p}erceptron-based m\underline{ixer} (MLPixer) and \underline{s}plash-and-\underline{r}econstruct \underline{b}lock (SRB). These architectures enhance global spatial ERF through all timesteps in early network stages of Transformer-based SNNs, improving performance on challenging visual long-sequence modeling tasks. Extensive experiments conducted on the Meta-SDT variants and across object detection and semantic segmentation tasks further validate the effectiveness of our proposed method. Beyond these specific applications, we believe the proposed ST-ERF framework can provide valuable insights for designing and optimizing SNN architectures across a broader range of tasks. The code is available at \href{https://github.com/EricZhang1412/Spatial-temporal-ERF}{\faGithub~EricZhang1412/Spatial-temporal-ERF}.
• Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、イベント駆動のパラダイムを通したエネルギー効率の良いニューロモルフィックコンピューティングの有意義な可能性を示している。 トレーニング手法や計算モデルは大幅に進歩してきたが、SNNは視覚的時系列モデリングタスクにおいて競合する性能を達成するのに苦労している。 人工ニューラルネットワークでは、実効受容場(ERF)は視覚的時系列モデリングにおける特徴抽出能力を分析する貴重なツールとして機能する。 そこで我々は,ST-ERF(Spatio-Temporal Effective Receptive Field)を導入し,トランスフォーマーベースSNN間のRF分布を解析する。 提案したST-ERFに基づいて,これらのモデルがロバストなグローバルST-ERFの確立に苦しむことを明らかにする。 この問題を克服するために,新しいチャネルミキサーアーキテクチャを2つ提案する: \underline{m}ulti-\underline{l}ayer-\underline{p}erceptron-based m\underline{ixer} (MLPixer) と \underline{s}plash-and-\underline{r}econstruct \underline{b}lock (SRB)。 これらのアーキテクチャは、TransformerベースのSNNの初期ネットワークステージにおける全タイムステップを通じて、グローバル空間RFを強化し、挑戦的な視覚的時系列モデリングタスクの性能を向上させる。 メタSDTの変種およびオブジェクト検出およびセマンティックセグメンテーションタスクに対して行われた広範囲な実験により,提案手法の有効性がさらに検証された。 これらの特定のアプリケーション以外にも、提案されているST-ERFフレームワークは、幅広いタスクにわたるSNNアーキテクチャの設計と最適化に有用な洞察を提供することができると信じています。 コードは \href{https://github.com/EricZhang1412/Spatial-temporal-ERF}{\faGithub~EricZhang1412/Spatial-temporal-ERF} で公開されている。

関連論文リスト

• SpikeSTAG: Spatial-Temporal Forecasting via GNN-SNN Collaboration [16.754715227269525]
  スパイキングニューラルネットワーク(SNN)は、時間データの複雑さを捉えるためのユニークなアプローチを提供する。 本稿では,グラフ構造学習とスパイクに基づく時間的処理をシームレスに統合する,新しいSNNアーキテクチャを提案する。 実験の結果、我々のモデルはすべてのデータセットで最先端のSNNベースのiSpikformerを上回ることがわかった。
  論文  参考訳（メタデータ） (2025-08-04T05:17:52Z)
• Spatiotemporal Graph Learning with Direct Volumetric Information Passing and Feature Enhancement [62.91536661584656]
  本稿では,CeFeGNN(CeFeGNN)とCell-embeddedとFeature-enhanced Graph Neural Networkを学習用として提案する。 学習可能なセル属性を共通ノードエッジメッセージパッシングプロセスに埋め込むことで,地域特性の空間依存性をよりよく把握する。 各種PDEシステムと1つの実世界のデータセットを用いた実験により、CeFeGNNは他のベースラインと比較して優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-09-26T16:22:08Z)
• TCCT-Net: Two-Stream Network Architecture for Fast and Efficient Engagement Estimation via Behavioral Feature Signals [58.865901821451295]
  本稿では,新しい2ストリーム機能融合 "Tensor-Convolution and Convolution-Transformer Network" (TCCT-Net) アーキテクチャを提案する。 時間空間領域における意味のあるパターンをよりよく学習するために、ハイブリッド畳み込み変換器を統合する「CT」ストリームを設計する。 並行して、時間周波数領域からリッチなパターンを効率的に抽出するために、連続ウェーブレット変換(CWT)を用いて情報を2次元テンソル形式で表現する「TC」ストリームを導入する。
  論文  参考訳（メタデータ） (2024-04-15T06:01:48Z)
• A Generative Self-Supervised Framework using Functional Connectivity in fMRI Data [15.211387244155725]
  機能的磁気共鳴イメージング(fMRI)データから抽出した機能的接続性(FC)ネットワークを訓練したディープニューラルネットワークが人気を博している。 グラフニューラルネットワーク(GNN)のFCへの適用に関する最近の研究は、FCの時間変化特性を活用することにより、モデル予測の精度と解釈可能性を大幅に向上させることができることを示唆している。 高品質なfMRIデータとそれに対応するラベルを取得するための高コストは、実環境において彼らのアプリケーションにハードルをもたらす。 本研究では,動的FC内の時間情報を効果的に活用するためのSSL生成手法を提案する。
  論文  参考訳（メタデータ） (2023-12-04T16:14:43Z)
• Contextualizing MLP-Mixers Spatiotemporally for Urban Data Forecast at Scale [54.15522908057831]
  本稿では,STTD予測を大規模に行うためのコンピュータ・ミクサーの適応版を提案する。 我々の結果は、この単純な効率の良いソリューションが、いくつかのトラフィックベンチマークでテストした場合、SOTAベースラインに匹敵する可能性があることを驚くほど示している。 本研究は, 実世界のSTTD予測において, 簡便な有効モデルの探索に寄与する。
  論文  参考訳（メタデータ） (2023-07-04T05:19:19Z)
• Disentangling Structured Components: Towards Adaptive, Interpretable and Scalable Time Series Forecasting [52.47493322446537]
  本研究では,時空間パターンの各コンポーネントを個別にモデル化する適応的,解釈可能,スケーラブルな予測フレームワークを開発する。 SCNNは、空間時間パターンの潜在構造を算術的に特徴づける、MSSの事前定義された生成プロセスで動作する。 SCNNが3つの実世界のデータセットの最先端モデルよりも優れた性能を達成できることを示すため、大規模な実験が行われた。
  論文  参考訳（メタデータ） (2023-05-22T13:39:44Z)
• NAR-Former: Neural Architecture Representation Learning towards Holistic Attributes Prediction [37.357949900603295]
  本稿では,属性の全体的推定に使用できるニューラルネットワーク表現モデルを提案する。 実験の結果,提案するフレームワークは,セルアーキテクチャとディープニューラルネットワーク全体の遅延特性と精度特性を予測できることがわかった。
  論文  参考訳（メタデータ） (2022-11-15T10:15:21Z)
• An optimised deep spiking neural network architecture without gradients [7.183775638408429]
  本稿では、局所シナプスおよびしきい値適応ルールを用いたエンドツーエンドのトレーニング可能なモジュラーイベント駆動ニューラルアーキテクチャを提案する。 このアーキテクチャは、既存のスパイキングニューラルネットワーク(SNN)アーキテクチャの高度に抽象化されたモデルを表している。
  論文  参考訳（メタデータ） (2021-09-27T05:59:12Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。