Fugu-MT 論文翻訳(概要): SAGE: Surrogate-gradient Adaptation via Attention-Guided Entropy for Spiking Transformers

論文の概要: SAGE: Surrogate-gradient Adaptation via Attention-Guided Entropy for Spiking Transformers

arxiv url: http://arxiv.org/abs/2608.13702v1
Date: Thu, 13 Aug 2026 18:51:04 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-17 20:14:29.190359
Title: SAGE: Surrogate-gradient Adaptation via Attention-Guided Entropy for Spiking Transformers
Title（参考訳）: SAGE:Surgate-gradient Adaptation by Attention-Guided Entropy for Spiking Transformers
Abstract要約: スパイキングニューラルネットワーク(SNN)は、スパースイベント駆動計算を活用することで、従来のディープニューラルネットワークに代わるエネルギー効率の高い代替手段を提供する。 SAGEはトランスフォーマーベースのSNNのための不確実性変調されたサロゲート勾配機構である。
参考スコア（独自算出の注目度）: 2.7946918847372277
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Spiking neural networks (SNNs) offer an energy-efficient alternative to conventional deep neural networks by exploiting sparse event-driven computation, but their training remains challenging because the non-differentiable spike function requires surrogate gradients whose fixed shape may be suboptimal across layers and training stages. In this work, we introduce SAGE, an uncertainty-modulated surrogate-gradient mechanism for Transformer-based SNNs. SAGE estimates block-level uncertainty from normalized self-attention entropy and uses this signal to adapt the surrogate-gradient slope during training while leaving the inference model unchanged. By modulating only the training-time surrogate parameter, the proposed method preserves the original architecture and deployment cost while improving optimization flexibility. Experiments on CIFAR-10/100 demonstrate that SAGE achieves improved accuracy over fixed-surrogate baselines, with results up to 1-2\% consistent gains across multiple simulation time steps. These results highlight the potential of attention-derived uncertainty as a lightweight training signal for adaptive surrogate-gradient learning in transformer-based SNNs.
Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、スパースイベント駆動の計算を利用して従来のディープニューラルネットワークに代わるエネルギー効率の高い代替手段を提供するが、その訓練は依然として困難である。本研究では,トランスフォーマーをベースとしたSNNのための不確実性変調サロゲート勾配機構であるSAGEを紹介する。 SAGEは、正規化された自己アテンションエントロピーからブロックレベルの不確実性を推定し、この信号を使用して、推論モデルをそのまま残しながらトレーニング中にサロゲート勾配に適応する。トレーニング時サロゲートパラメータのみを変調することにより、最適化の柔軟性を改善しつつ、元のアーキテクチャとデプロイメントコストを抑えることができる。 CIFAR-10/100の実験では、SAGEは固定サロゲートベースラインよりも精度が向上し、複数のシミュレーションタイムステップで最大1-2\%のゲインが得られた。これらの結果は、トランスフォーマーベースSNNにおける適応的な代理学習のための軽量な訓練信号として、注意由来の不確実性の可能性を強調している。

関連論文リスト

Reducing ANN-SNN Conversion Error via Residual Membrane Potential Alignment [52.910770415431244]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックコンピューティングのコアアーキテクチャとして機能する。 ANN-SNN変換は、低レイテンシでエネルギー効率のよい推論のために、よく訓練されたANN重みを再利用することで問題を回避している。既存の変換方式は、小さなタイミングで精度の低下、大きな推論遅延、累積量子化誤差に悩まされている。
論文参考訳（メタデータ） (2026-08-14T04:46:03Z)
Predictive Coding-based Deep Neural Network Fine-tuning for Computationally Efficient Domain Adaptation [5.013248430919224]
デバイス上でのドメイン適応を効率的に行うためのハイブリッドトレーニング手法を提案する。この方法は、バックプロパゲーションを使用してオフラインでトレーニングされたディープニューラルネットワークから始まる。予測符号化はオンライン適応に使用されており、入力データ分布の変化によって失われた精度を復元することができる。
論文参考訳（メタデータ） (2025-09-24T16:03:27Z)
AYLA: Amplifying Gradient Sensitivity via Loss Transformation in Non-Convex Optimization [0.0]
Gradient Descent (SGD)とその変種(ADAMなど)はディープラーニングの最適化の基礎となっている。本稿では、動的トレーニングを強化する新しいフレームワークであるAYLAを紹介する。
論文参考訳（メタデータ） (2025-04-02T16:31:39Z)
PseudoNeg-MAE: Self-Supervised Point Cloud Learning using Conditional Pseudo-Negative Embeddings [55.55445978692678]
PseudoNeg-MAEは、ポイントクラウドマスマスキングオートエンコーダのグローバルな特徴表現を強化する。本研究では,ネットワークが識別的表現を保ちながら,よりリッチな変換キューをキャプチャできる新たな損失を提案する。
論文参考訳（メタデータ） (2024-09-24T07:57:21Z)
Adaptive Class Emergence Training: Enhancing Neural Network Stability and Generalization through Progressive Target Evolution [0.0]
分類問題におけるニューラルネットワークの新しいトレーニング手法を提案する。我々は、トレーニングプロセスを通して、ヌルベクトルから1ホットの符号化ベクターへのターゲット出力を進化させる。この段階的な遷移により、ネットワークは分類タスクの複雑さの増大によりスムーズに適応できる。
論文参考訳（メタデータ） (2024-09-04T03:25:48Z)
CADE: Cosine Annealing Differential Evolution for Spiking Neural Network [3.933578042941731]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックコンピューティングとエネルギー効率のよい人工知能のポテンシャルで有名になった。本稿では,CADE(Cosine Annealing Differential Evolution)を導入して課題に挑戦する。 CADEは、SNNモデル、すなわちスパイキング要素ワイズ(SEW)ResNetの差分進化の突然変異因子(F)とクロスオーバー率(CR)を変調する。
論文参考訳（メタデータ） (2024-06-04T14:24:35Z)
Membrane Potential Distribution Adjustment and Parametric Surrogate Gradient in Spiking Neural Networks [3.485537704990941]
この問題を回避し、SNNをゼロから訓練するために、SG戦略を調査し、適用した。パラメトリックサロゲート勾配(PSG)法を提案し,SGを反復的に更新し,最終的に最適なサロゲート勾配パラメータを決定する。実験結果から,提案手法は時間によるバックプロパゲーション(BPTT)アルゴリズムと容易に統合可能であることが示された。
論文参考訳（メタデータ） (2023-04-26T05:02:41Z)
Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文参考訳（メタデータ） (2023-03-03T08:17:47Z)
SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural Networks [56.35403810762512]
イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
論文参考訳（メタデータ） (2023-02-01T04:22:59Z)
Adaptive Gradient Method with Resilience and Momentum [120.83046824742455]
レジリエンスとモメンタム(AdaRem)を用いた適応勾配法を提案する。 AdaRemは、過去の1つのパラメータの変化方向が現在の勾配の方向と一致しているかどうかに応じてパラメータワイズ学習率を調整する。本手法は,学習速度とテスト誤差の観点から,従来の適応学習率に基づくアルゴリズムよりも優れていた。
論文参考訳（メタデータ） (2020-10-21T14:49:00Z)
AdaS: Adaptive Scheduling of Stochastic Gradients [50.80697760166045]
我々は、textit "knowledge gain" と textit "mapping condition" の概念を導入し、Adaptive Scheduling (AdaS) と呼ばれる新しいアルゴリズムを提案する。実験によると、AdaSは派生した指標を用いて、既存の適応学習手法よりも高速な収束と優れた一般化、そして(b)いつトレーニングを中止するかを決定するための検証セットへの依存の欠如を示す。
論文参考訳（メタデータ） (2020-06-11T16:36:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。