論文の概要: A2SG:Adaptive and Asymmetric Surrogate Gradients for Training Deep Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2606.11236v1
• Date: Fri, 29 May 2026 10:20:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-15 07:09:36.856977
• Title: A2SG:Adaptive and Asymmetric Surrogate Gradients for Training Deep Spiking Neural Networks
• Title（参考訳）: A2SG:ディープスパイキングニューラルネットワークの学習のための適応的および非対称なサロゲート勾配
• Abstract要約: 深層ニューラルネットワーク(SNN)のトレーニングは、急激なロスランドスケープと、代理勾配に起因する時間的不整合のため、依然として困難である。 適応的および非対称な代理勾配 A2SG の統一的枠組みを提案する。 その結果、A2SGは精度とエネルギー効率を一貫して改善し、深部SNNの訓練のための汎用的で信頼性の高いソリューションとして確立した。
• 参考スコア（独自算出の注目度）: 0.8072313042025452
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training deep spiking neural networks (SNNs) remains challenging due to sharp loss landscapes and temporal inconsistency caused by surrogate gradients. To address these challenges, we propose a unified framework: adaptive and asymmetric surrogate gradients A2SG. The adaptive gradients adjust an effective window for spatio-temporal adaptation, reducing spatial gradient variation and maintaining directional consistency of gradients over time. The asymmetric gradients reflect neuronal dynamics by assigning larger gradients to neurons with higher membrane potentials, and we prove that they yield lower variation than symmetric surrogates. Our analysis further establishes a direct connection between local gradient variation and the curvature of the loss landscape, providing a principled explanation for how A2SG promotes convergence to flatter minima and improves generalization. We conduct extensive experiments on diverse models, including CNN-based and Transformer-based SNNs, across various tasks such as image classification using both static and neuromorphic datasets, as well as segmentation. The results demonstrate that A2SG consistently improves accuracy and energy efficiency, establishing it as a general and reliable solution for training deep SNNs. Our code is available at https://github.com/KIST-NCL/A2SG.git.
• Abstract（参考訳）: 深いスパイクニューラルネットワーク(SNN)の訓練は、急激な損失景観と代理勾配による時間的不整合のため、依然として困難である。 これらの課題に対処するために、適応的および非対称な代理勾配 A2SG という統一的な枠組みを提案する。 適応勾配は時空間適応に有効な窓を調整し、空間勾配の変動を低減し、時間とともに勾配の方向整合性を維持する。 非対称勾配は、より高い膜電位を持つニューロンにより大きな勾配を割り当てることによってニューロンのダイナミクスを反映し、対称代理よりも低い変動をもたらすことを証明した。 さらに,A2SGが平らなミニマへの収束を促進し,一般化を改善する方法の原理的説明として,局所勾配変動と損失景観の曲率との直接的な関係性を確立する。 我々は,静的およびニューロモルフィックなデータセットを用いた画像分類やセグメンテーションなど,CNNベースのSNNやTransformerベースのSNNなど,多様なモデルの広範な実験を行っている。 その結果、A2SGは精度とエネルギー効率を一貫して改善し、深部SNNの訓練のための汎用的で信頼性の高いソリューションとして確立した。 私たちのコードはhttps://github.com/KIST-NCL/A2SG.gitで公開されています。

関連論文リスト

• Reducing ANN-SNN Conversion Error via Residual Membrane Potential Alignment [52.910770415431244]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックコンピューティングのコアアーキテクチャとして機能する。 ANN-SNN変換は、低レイテンシでエネルギー効率のよい推論のために、よく訓練されたANN重みを再利用することで問題を回避している。 既存の変換方式は、小さなタイミングで精度の低下、大きな推論遅延、累積量子化誤差に悩まされている。
  論文  参考訳（メタデータ） (2026-08-14T04:46:03Z)
• SURGE: Surrogate Gradient Adaptation in Binary Neural Networks [41.424349870612716]
  SURGE(SURrogate GradiEnt Adaptation)は,理論的な基礎を持つ学習可能な勾配補償フレームワークである。 SURGEは補助的なバックプロパゲーションを通じて勾配ミスマッチを緩和する。 画像分類、オブジェクト検出、言語理解タスクの実験は、SURGEが最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2026-05-09T09:52:38Z)
• DS-ATGO: Dual-Stage Synergistic Learning via Forward Adaptive Threshold and Backward Gradient Optimization for Spiking Neural Networks [18.86237064365729]
  脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、効率的で低エネルギーのニューロモルフィックコンピューティングを実現するための有望な道として認識されている。 本稿では,前方適応しきい値と後方動的SGを実現する2段相乗学習アルゴリズムを提案する。 実験結果から,本手法は性能を著しく向上することが示された。
  論文  参考訳（メタデータ） (2025-11-17T06:54:21Z)
• Directly Training Temporal Spiking Neural Network with Sparse Surrogate Gradient [8.516243389583702]
  脳にインスパイアされたスパイキングニューラルネットワーク(SNN)は、イベントベースのコンピューティングとエネルギー効率の良い機能によって、多くの注目を集めている。 本研究では,SNNの一般化能力を向上させるため,MSG(Masked Surrogate Gradients)を提案する。
  論文  参考訳（メタデータ） (2024-06-28T04:21:32Z)
• Learning Layer-wise Equivariances Automatically using Gradients [66.81218780702125]
  畳み込みは等価対称性をニューラルネットワークにエンコードし、より優れた一般化性能をもたらす。 対称性は、ネットワークが表現できる機能、事前に指定する必要、適応できない機能に対して、固定されたハード制約を提供する。 私たちのゴールは、勾配を使ってデータから自動的に学習できるフレキシブル対称性の制約を可能にすることです。
  論文  参考訳（メタデータ） (2023-10-09T20:22:43Z)
• Membrane Potential Distribution Adjustment and Parametric Surrogate Gradient in Spiking Neural Networks [3.485537704990941]
  この問題を回避し、SNNをゼロから訓練するために、SG戦略を調査し、適用した。 パラメトリックサロゲート勾配(PSG)法を提案し,SGを反復的に更新し,最終的に最適なサロゲート勾配パラメータを決定する。 実験結果から,提案手法は時間によるバックプロパゲーション(BPTT)アルゴリズムと容易に統合可能であることが示された。
  論文  参考訳（メタデータ） (2023-04-26T05:02:41Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Learning with Local Gradients at the Edge [14.94491070863641]
  我々は、Target Projection Gradient Descent (tpSGD) と呼ばれる新しいバックプロパゲーションフリー最適化アルゴリズムを提案する。 tpSGDは、任意の損失関数を扱うために、直接ランダムターゲット射影を一般化する。 我々は、深層ニューラルネットワークのトレーニングにおけるtpSGDの性能を評価し、マルチ層RNNへのアプローチを拡張した。
  論文  参考訳（メタデータ） (2022-08-17T19:51:06Z)
• TSG: Target-Selective Gradient Backprop for Probing CNN Visual Saliency [72.9106103283475]
  我々は、畳み込みニューラルネットワークを解釈するために視覚的サリエンシ、すなわち視覚的説明について研究する。 これらの観測に触発されて、我々はTSG(Target-Selective Gradient)バックプロップと呼ばれる新しいビジュアル・サリエンシ・フレームワークを提案する。 提案したTSGはTSG-ConvとTSG-FCの2つのコンポーネントから構成され、それぞれ畳み込み層と完全連結層の勾配を補正する。
  論文  参考訳（メタデータ） (2021-10-11T12:00:20Z)
• Cogradient Descent for Dependable Learning [64.02052988844301]
  双線形最適化問題に対処するために,CoGDアルゴリズムに基づく信頼度の高い学習法を提案する。 CoGDは、ある変数がスパーシティ制約を持つ場合の双線形問題を解くために導入された。 また、特徴と重みの関連を分解するためにも使用できるため、畳み込みニューラルネットワーク(CNN)をより良く訓練するための我々の手法をさらに一般化することができる。
  論文  参考訳（メタデータ） (2021-06-20T04:28:20Z)
• Cogradient Descent for Bilinear Optimization [124.45816011848096]
  双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。 一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。 本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
  論文  参考訳（メタデータ） (2020-06-16T13:41:54Z)
• Towards Better Understanding of Adaptive Gradient Algorithms in Generative Adversarial Nets [71.05306664267832]
  適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。 本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。 実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
  論文  参考訳（メタデータ） (2019-12-26T22:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。