論文の概要: SpikeDecoder: Realizing the GPT Architecture with Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2606.12287v1
• Date: Wed, 10 Jun 2026 16:23:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-11 16:42:38.56173
• Title: SpikeDecoder: Realizing the GPT Architecture with Spiking Neural Networks
• Title（参考訳）: SpikeDecoder: スパイクニューラルネットワークによるGPTアーキテクチャの実現
• Authors: Claas Beger, Florian Walter, Alois Knoll,
• Abstract要約: スパイキングニューラルネットワーク(SNN)は、従来のニューラルネットワーク(ANN)に代わるエネルギー効率の高い代替品である 本稿では,Transformerデコーダブロックの完全なSNN実装であるSpikeDecoderを提案する。
• 参考スコア（独自算出の注目度）: 31.286863918611605
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Transformer architecture is widely regarded as the most powerful tool for natural language processing, but due to a high number of complex operations, it inherently faces the issue of high energy consumption. To address this issue, we consider Spiking Neural Networks (SNNs), which are an energy-efficient alternative to conventional Artificial Neural Networks (ANNs) due to their naturally event-driven approach to processing information. However, this inherently makes them difficult to train. Often, many SNN-based models circumvent this issue by converting pre-trained ANNs. More recently, attempts have been made to design directly trainable SNN-based adaptations of the Transformer model structure. Although the results showed great promise, the application field was computer vision. Moreover, the proposed model incorporates only encoder blocks. In this paper, we propose SpikeDecoder, a fully SNN-based implementation of the Transformer decoder block, for applications in natural language processing. In a series of experiments, we analyze the impact of exchanging different blocks of the ANN model with spike-based alternatives to identify trade-offs and significant sources of performance loss. We further investigate the role of residual connections and the selection of SNN-compatible normalization techniques. Besides the work on the model architecture, we formulate and compare different embedding methods to project text data into spikes. Finally, we demonstrate that our proposed SNN-based decoder block reduces the theoretical energy consumption by 87% to 93% compared to the ANN baseline.
• Abstract（参考訳）: トランスフォーマーアーキテクチャは、自然言語処理の最も強力なツールとされているが、多くの複雑な操作のため、本質的に高エネルギー消費の問題に直面している。 この問題に対処するために,従来のニューラルネットワーク(ANN)に代わるエネルギー効率の高いスパイキングニューラルネットワーク(SNN)について検討する。 しかし、これは本質的に訓練を困難にしている。 多くの場合、多くのSNNベースのモデルは、事前訓練されたANNを変換することでこの問題を回避する。 最近では、トランスフォーマーモデル構造を直接訓練可能なSNNベースの適応を設計する試みがなされている。 結果は有望なものだったが、応用分野はコンピュータビジョンであった。 さらに,提案モデルではエンコーダブロックのみを組み込む。 本稿では,自然言語処理への応用を目的とした,完全にSNNベースのTransformerデコーダブロックの実装であるSpikeDecoderを提案する。 一連の実験で、我々はANNモデルの異なるブロックをスパイクベースの代替品で交換し、トレードオフと重要な性能損失源を特定することの影響を分析した。 さらに,残差接続の役割とSNN互換正規化手法の選択について検討する。 モデルアーキテクチャの研究の他に、テキストデータをスパイクに投影するために異なる埋め込み方法を定式化し、比較する。 最後に,提案したSNNデコーダブロックは,ANNベースラインと比較して理論エネルギー消費量を87%から93%削減することを示した。

関連論文リスト

• Large Language Models Inference Engines based on Spiking Neural Networks [5.529385616266398]
  我々は、トランスモデルを設計するためにスパイキングニューラルネットワーク(SNN)を探索する。 大規模SNNのトレーニングにおける課題は、非効率で時間を要する。 推論のためのトランスフォーマーベースSNNを設計する手法であるNeurTransformerを提案する。
  論文  参考訳（メタデータ） (2025-09-30T18:11:13Z)
• Spiking Neural Network Decision Feedback Equalization [70.3497683558609]
  決定フィードバック等化器(DFE)に似たフィードバック構造を持つSNNベースの等化器を提案する。 提案手法は,3種類の模範チャネルに対して,従来の線形等化器よりも明らかに優れていることを示す。 決定フィードバック構造を持つSNNは、競合エネルギー効率の良いトランシーバへのパスを可能にする。
  論文  参考訳（メタデータ） (2022-11-09T09:19:15Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for Event-Based Vision [64.71260357476602]
  イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。 イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。 本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-12-06T23:45:58Z)
• Optimal Conversion of Conventional Artificial Neural Networks to Spiking Neural Networks [0.0]
  spiking neural networks (snns) は生物学に触発されたニューラルネットワーク (anns) である。 しきい値バランスとソフトリセット機構を組み合わせることで、重みをターゲットSNNに転送する新しい戦略パイプラインを提案する。 提案手法は,SNNのエネルギーとメモリの制限によるサポートを向上し,組込みプラットフォームに組み込むことが期待できる。
  論文  参考訳（メタデータ） (2021-02-28T12:04:22Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。