論文の概要: Parallel Time-Aligned Spiking Self-Attention for Consistent Integer-Valued Training and Spike-Driven Inference

• arxiv url: http://arxiv.org/abs/2610.03291v1
• Date: Fri, 02 Oct 2026 13:35:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.39795
• Title: Parallel Time-Aligned Spiking Self-Attention for Consistent Integer-Valued Training and Spike-Driven Inference
• Title（参考訳）: 連続的整数値トレーニングとスパイク駆動推論のための並列時間適応スパイク自己注意法
• Abstract要約: スパイク自己注意は、スパイク列車をそれぞれ発射数と正規化された発射率として表現することで、時間的訓練コストを削減できる。 これらの圧縮クエリ、キー、値表現にスパイク自己注意を直接適用すると、スパイク駆動推論中に欠落するクロスタイムインタラクションが導入される。 本稿では、I-LIF数またはSFAの発射速度から連続的な仮想スパイクスライスを再構成し、タイムアラインスライス間のみに並列に注意を計算し、ステップ毎の出力を和らげる並列時間調整型スパイクセルフアテンション(PT-SSA)を提案する。
• 参考スコア（独自算出の注目度）: 36.9867136073081
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Integer-valued leaky integrate-and-fire (I-LIF) neurons and spike firing approximation (SFA) reduce temporal training cost by representing spike trains as firing counts and normalized firing rates, respectively. However, applying spiking self-attention (SSA) directly to these compressed query, key, and value representations introduces cross-time interactions that are absent during spike-driven inference. We term this operator-level discrepancy Temporal Interaction Mismatch (TIM). We propose Parallel Time-Aligned Spiking Self-Attention (PT-SSA), which reconstructs consecutive virtual spike slices from either I-LIF counts or SFA firing rates, computes attention only between time-aligned slices in parallel, and sums the per-step outputs. To accommodate the reduced attention output scale under SFA, we further introduce Adaptive PT-SSA, which learns a positive per-block rescaling before the output SFA neuron to improve firing-level utilization. Experiments on CIFAR-10, CIFAR-100, and ImageNet-1K show that the proposed methods substantially reduce train--inference mismatch. On CIFAR-100 with I-LIF, PT-SSA reduces the mean Top-1 gap from 1.85 to 0.29 percentage points. On ImageNet-1K, Adaptive PT-SSA reduces the Top-1 gap from 27.78 to 0.06 percentage points and achieves 74.53\% spike-driven Top-1 accuracy. A Triton-fused PT-SSA training kernel retains a $2.91\times$ throughput advantage over recurrent LIF SSA.
• Abstract（参考訳）: Integer-valued leakyintegry-and-fire (I-LIF) neurons and spike firing approximation (SFA) は、それぞれ、スパイク列車を発射数と正規化された発射率として表現することにより、時間的訓練コストを削減した。 しかし、これらの圧縮クエリに直接スパイク自己注意(SSA)を適用すると、キーと値表現はスパイク駆動推論中に欠落するクロスタイム相互作用をもたらす。 我々は,この演算子レベルの不一致時空間相互作用ミスマッチ (TIM) と呼ぶ。 本稿では、I-LIF数またはSFAの発射速度から連続的な仮想スパイクスライスを再構成し、タイムアラインスライス間のみに並列に注意を計算し、ステップ毎の出力を和らげる並列時間調整型スパイクセルフアテンション(PT-SSA)を提案する。 SFA 下での注意出力の縮小に対応するため,出力 SFA ニューロンの前に正のブロックごとの再スケーリングを学習し,焼成レベルを向上する Adaptive PT-SSA を導入する。 CIFAR-10, CIFAR-100, ImageNet-1Kによる実験により, 提案手法は列車の干渉ミスマッチを大幅に低減することを示した。 CIFAR-100とI-LIFでは、PT-SSAはTop-1の差を1.85から0.29に下げる。 ImageNet-1Kでは、Adaptive PT-SSAはTop-1のギャップを27.78ポイントから0.06ポイントに減らし、スパイク駆動のTop-1の精度は74.53\%に達する。 Tritonで融合したPT-SSAトレーニングカーネルは、LIF SSAの繰り返しよりも2.91\times$スループットの優位性を維持している。

関連論文リスト

• Lapis: Laplacian Spiking Attention via First-Spike Timing and Membrane Leakage [13.945851833337363]
  自己注意は視覚変換器のスパイクの中心となっているが、クエリキーのスコアリングはいまだに高密度ネットワークから受け継がれている。 ラピス(Lapis)は、各トークン対を、クエリとキーファーストスパイク遅延ベクトルの間のL1距離でスコアする、スパイキングアテンション機構である。
  論文  参考訳（メタデータ） (2026-08-12T09:49:24Z)
• A Strong Balanced-Softmax Classifier-Retraining Baseline for Long-Tailed Recognition [0.0]
  長い尾の認識法は、頻繁に行われるクラスの優位性を減らすために損失、マージン、表現を変化させる。 BS-cRTは,バックボーンとコサイン分類器をバランスド・ソフトマックスで訓練する2段階のプロシージャである。 BS-cRT は一致した Balanced Softmax チェックポイントよりもFew-shot の精度を一貫して向上することを示す。
  論文  参考訳（メタデータ） (2026-07-10T14:04:02Z)
• PACT: Reducing Alert Fatigue in Low-Prevalence SOC Streams with Triggered Active Learning [3.6732711233211663]
  PACTは、すでにデプロイ済みの冷凍XGBoost-Focalスクリーンを、アダプティブウィンドウニングスコアシフトトリガーでラップする。 適応法の中では, 良性正常化偽陽性負担が最少である。
  論文  参考訳（メタデータ） (2026-05-21T11:11:39Z)
• SOAR: Self-Correction for Optimal Alignment and Refinement in Diffusion Models [48.335262141752715]
  拡散モデルのための後トレーニングパイプラインには、キュレートされたデータに対する教師付き微調整(SFT)と報酬モデルによる強化学習(RL)の2段階がある。 本稿では,このギャップを埋めるバイアス補正ポストトレーニング法であるSOAR(Self-Correction for Optimal Alignment and Refinement)を提案する。 オンライン政治であり、報酬なしであり、クレジット割り当ての問題なく、時間ごとの密集した監督を提供する。
  論文  参考訳（メタデータ） (2026-04-14T11:45:15Z)
• Time Is All It Takes: Spike-Retiming Attacks on Event-Driven Spiking Neural Networks [87.16809558673403]
  スパイキングニューラルネットワーク(SNN)は離散スパイクで計算し、時間構造を利用する。 イベント駆動SNNにおけるスパイク数と振幅を保存しながら、既存のスパイクを繰り返すタイミングのみの敵について検討する。
  論文  参考訳（メタデータ） (2026-02-03T09:06:53Z)
• TempSamp-R1: Effective Temporal Sampling with Reinforcement Fine-Tuning for Video LLMs [67.55973229034319]
  本稿では,マルチモーダルな大規模言語モデル(MLLM)をビデオ時間的グラウンド処理に適応させることの有効性向上を目的とした,新しい強化微調整フレームワークであるTempSamp-R1を紹介する。 我々は、TempSamp-R1がGRPOベースのベースラインより優れており、ベンチマークデータセット上で新しい最先端のパフォーマンスを確立していることを示す。
  論文  参考訳（メタデータ） (2025-09-22T17:30:15Z)
• Efficiently Training Time-to-First-Spike Spiking Neural Networks from Scratch [39.05124192217359]
  スパイキングニューラルネットワーク(SNN)はエネルギー効率の良いニューロモルフィックハードウェアに適している。 Time-to-First-Spike(TTFS)コーディングは、ニューロン毎の1回のスパイクを使用し、極端に間隔とエネルギー効率を提供するが、スパース発射による不安定なトレーニングと低い精度に悩まされている。 本稿では,パラメータ正規化,トレーニング正規化,時間出力復号化,プール層再評価を取り入れたトレーニングフレームワークを提案する。 実験では、M上のTTFS SNNのトレーニングを安定化し、加速し、レイテンシを低減し、最先端の精度を達成する。
  論文  参考訳（メタデータ） (2024-10-31T04:14:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。