論文の概要: Winner-Take-All Spiking Transformer for Language Modeling

• arxiv url: http://arxiv.org/abs/2604.11321v1
• Date: Mon, 13 Apr 2026 11:23:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-14 20:13:16.499103
• Title: Winner-Take-All Spiking Transformer for Language Modeling
• Title（参考訳）: 言語モデリングのためのWinner-Take-All Spiking Transformer
• Authors: Chenlin Zhou, Sihang Guo, Jiaqi Wang, Dongyang Ma, Kaiwei Che, Baiyu Chen, Qingyan Meng, Zhengyu Ma, Yonghong Tian,
• Abstract要約: スパイキングトランスフォーマーは、ニューロモルフィックとビジョンタスクで素晴らしい成果を上げました。 既存のトレーニングされたスパイクトランスは、主に視覚タスクに焦点を当てている。 スパイキング変換器を用いた言語モデリングでは、収束はソフトマックスベースのスパイキング自己注意に大きく依存する。
• 参考スコア（独自算出の注目度）: 34.33306823715349
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spiking Transformers, which combine the scalability of Transformers with the sparse, energy-efficient property of Spiking Neural Networks (SNNs), have achieved impressive results in neuromorphic and vision tasks and attracted increasing attention. However, existing directly trained spiking transformers primarily focus on vision tasks. For language modeling with spiking transformer, convergence relies heavily on softmax-based spiking self-attention, which incurs high energy costs and poses challenges for neuromorphic deployment. To address this issue, we introduce Winner-Take-All (WTA) mechanisms into spiking transformers and propose two novel softmax-free, spike-driven self-attention modules: WTA Spiking Self-Attention (WSSA) and Causal WTA Spiking Self-Attention (CWSSA). Based on them, we design WTA-based Encoder-only Spiking Transformer (WE-Spikingformer) for masked language modeling and WTA-based Decoder-only Spiking Transformer (WD-Spikingformer) for causal language modeling, systematically exploring softmax-free, spiking-driven Transformer architectures trained end-to-end for natural language processing tasks. Extensive experiments on 16 datasets spanning natural language understanding, question-answering tasks, and commonsense reasoning tasks validate the effectiveness of our approach and highlight the promise of spiking transformers for general language modeling and energy-efficient artificial intelligence.
• Abstract（参考訳）: スパイキングトランスフォーマーは、トランスフォーマーのスケーラビリティと、スパイキングニューラルネットワーク(SNN)のスパースでエネルギー効率の良い特性を組み合わせることで、ニューロモルフィックやビジョンタスクにおいて印象的な成果を上げ、注目を集めている。 しかし、既存の直接訓練されたスパイクトランスは、主に視覚タスクに焦点を当てている。 スパイク変換器を用いた言語モデリングでは、収束はソフトマックスベースのスパイク自己注意に大きく依存し、高いエネルギーコストを発生させ、ニューロモルフィックな展開に挑戦する。 この問題に対処するため,Winner-Take-All(WTA)機構をスパイキングトランスフォーマーに導入し,WTAスパイキング・セルフアテンション(WSSA)とCausal WTAスパイキング・セルフアテンション(CWSSA)という2つの新しいソフトマックスフリーでスパイク駆動型セルフアテンションモジュールを提案する。 そこで我々は,WTAベースのエンコーダオンリースパイキングトランスフォーマ (WE-Spikingformer) とWTAベースのコーカライズ言語モデリングのためのデコーダオンスパイキングトランスフォーマ (WD-Spikingformer) を設計した。 自然言語理解,質問応答タスク,コモンセンス推論タスクにまたがる16のデータセットに対する大規模な実験により,我々のアプローチの有効性が検証され,汎用言語モデリングとエネルギー効率の高い人工知能のためのスパイキングトランスフォーマーの約束が強調された。

関連論文リスト

• Spiking Transformer:Introducing Accurate Addition-Only Spiking Self-Attention for Transformer [15.93436166506258]
  スパイキングニューラルネットワークは、従来のニューラルネットワークに代わる有望なエネルギー効率の代替として登場した。 本稿では,A$2$OS$2$Aの精度付加型スパイク自己注意について紹介する。
  論文  参考訳（メタデータ） (2025-02-28T22:23:29Z)
• Sorbet: A Neuromorphic Hardware-Compatible Transformer-Based Spiking Language Model [4.8915861089531205]
  スパイキングニューラルネットワーク(SNN)はそのエネルギー効率のために有望なソリューションを提供する。 ソフトマックスやレイヤー正規化(LN)のような重要な操作は、ニューロモルフィックハードウェア上で実装するのが困難である。 よりニューロモルフィックなハードウェア互換なトランスフォーマーベースのスパイク言語モデルであるSorbetを紹介する。
  論文  参考訳（メタデータ） (2024-09-04T10:20:50Z)
• Linear Transformers with Learnable Kernel Functions are Better In-Context Models [3.3865605512957453]
  In-Context学習能力を増幅するベースカーネルにエレガントな変更を加える。 本稿では,マルチクエリ・アソシエイト・リコールタスクによって評価されたインコンテキスト学習能力を増幅する,独特でエレガントな変更をベースカーネルに提示する。
  論文  参考訳（メタデータ） (2024-02-16T12:44:15Z)
• Foundation Transformers [105.06915886136524]
  我々は、真の汎用モデリングのためのファンデーショントランスフォーマーの開発を求めている。 本研究では,その目的を達成するための変圧器の変種であるマグニートーを導入する。
  論文  参考訳（メタデータ） (2022-10-12T17:16:27Z)
• Your Transformer May Not be as Powerful as You Expect [88.11364619182773]
  連続列列列関数を近似できるかどうかに関して, RPE ベースの変換器のパワーを数学的に解析する。 RPEをベースとしたトランスフォーマーでは,ニューラルネットワークの深さや幅がどんなに深くても近似できない連続列列列列関数が存在することを示す。 我々は,その条件を満たす,Universal RPE-based (URPE) Attentionと呼ばれる新しいアテンションモジュールを開発する。
  論文  参考訳（メタデータ） (2022-05-26T14:51:30Z)
• Towards Lightweight Transformer via Group-wise Transformation for Vision-and-Language Tasks [126.33843752332139]
  本稿では,LW-Transformerと呼ばれる視覚・言語タスクのための,普遍的で軽量なトランスフォーマーに対するグループワイズ変換を提案する。 LW-Transformerを一組のTransformerベースのネットワークに適用し、3つの視覚・言語タスクと6つのベンチマークデータセットで定量的に測定する。 実験の結果,LW-Transformerは多数のパラメータや計算を節約しながら,視覚・言語タスクのためのトランスフォーマーネットワークと非常に競合する性能を発揮することがわかった。
  論文  参考訳（メタデータ） (2022-04-16T11:30:26Z)
• Transformers Solve the Limited Receptive Field for Monocular Depth Prediction [82.90445525977904]
  畳み込みニューラルネットワークとトランスの両方の恩恵を受けるアーキテクチャであるTransDepthを提案します。 連続ラベルを含む画素単位での予測問題にトランスフォーマーを適用する最初の論文である。
  論文  参考訳（メタデータ） (2021-03-22T18:00:13Z)
• Variational Transformers for Diverse Response Generation [71.53159402053392]
  変分変換器(VT)は、変分自己注意フィードフォワードシーケンスモデルである。 VTはトランスフォーマーの並列化性と大域的受容場計算とCVAEの変動特性を組み合わせる。 本稿では,1)大域潜伏変数を用いた談話レベルの多様性のモデル化,2)細粒潜伏変数の列によるトランスフォーマーデコーダの拡張,の2種類のVTについて検討する。
  論文  参考訳（メタデータ） (2020-03-28T07:48:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。