論文の概要: Spiking Transformer:Introducing Accurate Addition-Only Spiking Self-Attention for Transformer

• arxiv url: http://arxiv.org/abs/2503.00226v2
• Date: Mon, 17 Mar 2025 03:17:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-18 12:31:51.687798
• Title: Spiking Transformer:Introducing Accurate Addition-Only Spiking Self-Attention for Transformer
• Title（参考訳）: スパイク変圧器:変圧器の精密加重専用スパイク自己注意の導入
• Authors: Yufei Guo, Xiaode Liu, Yuanpei Chen, Weihang Peng, Yuhan Zhang, Zhe Ma,
• Abstract要約: スパイキングニューラルネットワークは、従来のニューラルネットワークに代わる有望なエネルギー効率の代替として登場した。 本稿では,A$2$OS$2$Aの精度付加型スパイク自己注意について紹介する。
• 参考スコア（独自算出の注目度）: 15.93436166506258
• License:
• Abstract: Transformers have demonstrated outstanding performance across a wide range of tasks, owing to their self-attention mechanism, but they are highly energy-consuming. Spiking Neural Networks have emerged as a promising energy-efficient alternative to traditional Artificial Neural Networks, leveraging event-driven computation and binary spikes for information transfer. The combination of Transformers' capabilities with the energy efficiency of SNNs offers a compelling opportunity. This paper addresses the challenge of adapting the self-attention mechanism of Transformers to the spiking paradigm by introducing a novel approach: Accurate Addition-Only Spiking Self-Attention (A$^2$OS$^2$A). Unlike existing methods that rely solely on binary spiking neurons for all components of the self-attention mechanism, our approach integrates binary, ReLU, and ternary spiking neurons. This hybrid strategy significantly improves accuracy while preserving non-multiplicative computations. Moreover, our method eliminates the need for softmax and scaling operations. Extensive experiments show that the A$^2$OS$^2$A-based Spiking Transformer outperforms existing SNN-based Transformers on several datasets, even achieving an accuracy of 78.66\% on ImageNet-1K. Our work represents a significant advancement in SNN-based Transformer models, offering a more accurate and efficient solution for real-world applications.
• Abstract（参考訳）: トランスフォーマーは、自己保持機構のため、幅広いタスクで優れたパフォーマンスを示してきたが、それらは非常にエネルギーを消費している。 スパイキングニューラルネットワークは、イベント駆動型計算とバイナリスパイクを活用した、従来のニューラルネットワークに代わる有望なエネルギー効率の代替として登場した。 トランスフォーマーの能力とSNNのエネルギー効率の組み合わせは、魅力的な機会を提供する。 本稿では,トランスフォーマーの自己注意機構をスパイクパラダイムに適応させる上で,新たなアプローチを提案する。 自覚機構の全ての構成要素にバイナリスパイキングニューロンのみに依存する既存の方法とは異なり、我々のアプローチはバイナリ、ReLU、第三次スパイキングニューロンを統合する。 このハイブリッド戦略は、非乗算計算を保存しながら精度を大幅に向上させる。 さらに,本手法はソフトマックスやスケーリング操作の必要性を解消する。 A$^2$OS$^2$Aベースのスパイキングトランスフォーマーは、既存のSNNベースのトランスフォーマーを複数のデータセットで上回り、ImageNet-1Kで78.66\%の精度を達成した。 我々の研究は、SNNベースのTransformerモデルの大幅な進歩を示し、現実世界のアプリケーションに対してより正確で効率的なソリューションを提供する。

関連論文リスト

• Binary Event-Driven Spiking Transformer [36.815359983551986]
  トランスフォーマーベースのスパイキングニューラルネットワーク(SNN)は、イベント駆動型自己注意パラダイムを導入している。 本稿では,2値イベント駆動型スパイキング変換器,BESTformerを提案する。 BESTformerは、バイナライゼーションの限られた表現能力のため、完全な精度で性能が低下する。
  論文  参考訳（メタデータ） (2025-01-10T12:00:11Z)
• Combining Aggregated Attention and Transformer Architecture for Accurate and Efficient Performance of Spiking Neural Networks [44.145870290310356]
  近年、スパイキングニューラルネットワークは、その特徴的な低消費電力特性のために、大きな注目を集めている。 トランスフォーマーモデルは、強力な自己アテンション機構と並列処理能力で知られており、様々な領域で例外的な性能を示している。 SNNとTransformersの双方の大きな利点にもかかわらず、SNNの低消費電力の利点とTransformersの性能を直接組み合わせることは困難である。
  論文  参考訳（メタデータ） (2024-12-18T07:07:38Z)
• CARE Transformer: Mobile-Friendly Linear Visual Transformer via Decoupled Dual Interaction [77.8576094863446]
  本稿では,新しいdetextbfCoupled dutextbfAl-interactive lineatextbfR atttextbfEntion (CARE) 機構を提案する。 まず,非対称な特徴分離戦略を提案し,非対称的に学習プロセスを局所帰納バイアスと長距離依存に分解する。 分離学習方式を採用し,特徴間の相補性を完全に活用することにより,高い効率性と精度を両立させることができる。
  論文  参考訳（メタデータ） (2024-11-25T07:56:13Z)
• Shrinking the Giant : Quasi-Weightless Transformers for Low Energy Inference [0.30104001512119216]
  高速でエネルギー効率のよい推論モデルの構築は、様々なトランスフォーマーベースのアプリケーションを実現するために不可欠である。 拡張有限差分法によりLUTネットワークを直接学習する手法を構築した。 これにより、トランスベースのモデルに対する計算的でエネルギー効率の良い推論ソリューションが実現される。
  論文  参考訳（メタデータ） (2024-11-04T05:38:56Z)
• SpikingResformer: Bridging ResNet and Vision Transformer in Spiking Neural Networks [22.665939536001797]
  そこで本研究では,DSSA(Dual Spike Self-Attention)という新たな自己注意機構を提案する。 本稿では,DSSAに基づく新しいスパイキングビジョントランスフォーマーアーキテクチャであるSpikeResformerを提案する。 SpikingResformerは、他のスパイキングビジョン変換器よりも少ないパラメータと少ないエネルギー消費で高い精度を達成できることを示す。
  論文  参考訳（メタデータ） (2024-03-21T11:16:42Z)
• RWKV: Reinventing RNNs for the Transformer Era [54.716108899349614]
  本稿では,変換器の効率的な並列化学習とRNNの効率的な推論を組み合わせた新しいモデルアーキテクチャを提案する。 モデルを最大14億のパラメータにスケールし、トレーニングされたRNNの中では最大で、同じサイズのTransformerと同等のRWKVのパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2023-05-22T13:57:41Z)
• Efficient Sparsely Activated Transformers [0.34410212782758054]
  トランスフォーマーベースのニューラルネットワークは、多くの機械学習ドメインで最先端のタスクパフォーマンスを実現している。 最近の研究は、これらのネットワークへの動的挙動の混合層(mixed-of-expert layer)の形での統合について検討している。 我々は,既存のTransformerベースのネットワークとユーザ定義のレイテンシターゲットを取り入れたPLANERという新しいシステムを導入する。
  論文  参考訳（メタデータ） (2022-08-31T00:44:27Z)
• The Nuts and Bolts of Adopting Transformer in GANs [124.30856952272913]
  高忠実度画像合成のためのGAN(Generative Adversarial Network)フレームワークにおけるTransformerの特性について検討する。 我々の研究は、STrans-Gと呼ばれる畳み込みニューラルネットワーク(CNN)フリージェネレータであるGANにおけるトランスフォーマーの新しい代替設計につながる。
  論文  参考訳（メタデータ） (2021-10-25T17:01:29Z)
• Efficient pre-training objectives for Transformers [84.64393460397471]
  本研究はトランスフォーマーモデルにおける高効率事前学習目標について検討する。 マスクトークンの除去と損失時のアウトプット全体の考慮が,パフォーマンス向上に不可欠な選択であることを証明する。
  論文  参考訳（メタデータ） (2021-04-20T00:09:37Z)
• Finetuning Pretrained Transformers into RNNs [81.72974646901136]
  トランスフォーマーは自然言語生成においてリカレントニューラルネットワーク(RNN)を上回っている。 線形複雑リカレント変種は自己回帰生成に適していることが証明されている。 この研究は、事前訓練された変換器を効率の良い再帰変換器に変換することを目的としている。
  論文  参考訳（メタデータ） (2021-03-24T10:50:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。