論文の概要: BiSpikCLM: A Spiking Language Model integrating Softmax-Free Spiking Attention and Spike-Aware Alignment Distillation

• arxiv url: http://arxiv.org/abs/2605.13859v1
• Date: Tue, 14 Apr 2026 09:57:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-18 04:51:46.023875
• Title: BiSpikCLM: A Spiking Language Model integrating Softmax-Free Spiking Attention and Spike-Aware Alignment Distillation
• Title（参考訳）: BiSpikCLM: ソフトマックスフリースパイク注意とスパイクアライメント蒸留を統合したスパイク言語モデル
• Authors: Sihang Guo, Chenlin Zhou, Jiaqi Wang, Kehai Chen, Qingyan Meng, Zhengyu Ma,
• Abstract要約: Spiking Neural Networks (SNN)は、大規模言語モデル(LLM)に対するエネルギー効率の良い代替手段を提供する BiSpikCLMは、自然言語生成タスクの計算コストの5.87%の4.1トークンで競合性能を達成する。
• 参考スコア（独自算出の注目度）: 28.280090126234807
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Spiking Neural Networks (SNNs) offer promising energy-efficient alternatives to large language models (LLMs) due to their event-driven nature and ultra-low power consumption. However, to preserve capacity, most existing spiking LLMs still incur intensive floating-point matrix multiplication (MatMul) and nonlinearities, or training difficulties arising from the complex spatiotemporal dynamics. To address these challenges, we propose BiSpikCLM, the first fully binary spiking MatMul-free causal language model. BiSpikCLM introduces Softmax-Free Spiking Attention (SFSA), eliminating softmax and floating-point operations in autoregressive language modeling. For efficient training, we introduce Spike-Aware Alignment Distillation (SpAD), which aligns ANN teacher and SNN student across embeddings, attention maps, intermediate features, and output logits. SpAD framework allows BiSpikCLM to reach comparable performance to ANN counterparts using substantially fewer training tokens (e.g., only 5.6% of the tokens for the 1.3B model). As a result, BiSpikCLM achieves competitive performance at only 4.16% - 5.87% of the computational cost on natural language generation tasks. Our results highlight the feasibility and effectiveness of fully binary spike-driven LLMs and establish the distillation as a promising pathway for brain-inspired spiking NLP.
• Abstract（参考訳）: Spiking Neural Networks (SNN)は、イベント駆動性と超低消費電力のため、大きな言語モデル(LLM)に対するエネルギー効率の良い代替手段を提供する。 しかし, キャパシティを維持するため, スパイク LLM のほとんどが, 複雑な時空間力学から生じる, 集中的な浮動小数点行列乗算 (MatMul) や非線形性, あるいは訓練困難を伴っている。 これらの課題に対処するため,最初の完全バイナリなMateMulフリー因果言語モデルであるBiSpikCLMを提案する。 BiSpikCLMは、Softmax-Free Spiking Attention (SFSA)を導入し、自動回帰言語モデリングにおけるソフトマックスと浮動小数点演算を排除した。 効率的なトレーニングのために,ANN教師とSNN学生を組込み,注意マップ,中間機能,出力ロジットで整列させるSpAD(Spike-Aware Alignment Distillation)を導入する。 SpADフレームワークにより、BiSpikCLMはトレーニングトークンをかなり少ない(例えば、1.3Bモデルのトークンの5.6%しか使用していない)ANNと同等のパフォーマンスに到達できる。 その結果、BiSpikCLMは、自然言語生成タスクの計算コストのわずか4.16%から5.87%の競争性能を達成した。 本研究は, 完全二成分スパイク駆動型LPMの実現可能性と有効性を強調し, 脳にスパイクを誘発するNLPに期待できる経路として蒸留を確立した。

関連論文リスト

• Spike-driven Large Language Model [49.52947423982696]
  スパイキングニューラルネットワーク(SNN)はスパイク駆動特性を持つ。 現在のLarge Language Models (LLM) は主に大規模密度行列乗法に基づいている。 本研究では,スパース加算操作により高密度行列乗算を除去するスパイク駆動型大規模言語モデルであるSDLLMを提案する。
  論文  参考訳（メタデータ） (2026-04-11T17:58:35Z)
• ESLM: Risk-Averse Selective Language Modeling for Efficient Pretraining [53.893792844055106]
  大規模言語モデルの事前学習は計算集約的であるが、多くのトークンが学習にわずかに寄与し、非効率になる。 Selective Efficient Language Modelingは、オンライントークンレベルのバッチ選択を行うことで、トレーニング効率と分散ロバスト性を改善するリスク認識アルゴリズムである。 GPT-2プレトレーニング実験の結果、ESLMはベースラインに比べて複雑度と下流性能の両面を維持・改善しながら、トレーニングFLOPを著しく低減することが示された。
  論文  参考訳（メタデータ） (2025-05-26T12:23:26Z)
• SPAM: Spike-Aware Adam with Momentum Reset for Stable LLM Training [60.9776082805359]
  大規模言語モデル(LLM)は、様々なタスクにまたがる例外的なパフォーマンスを示しているが、そのトレーニングは、非常にリソース集約的で、トレーニングの不安定性に影響を受けやすいままである。 本稿では,LLMトレーニング中に観測された勾配スパイクを包括的に調査し,複数のアーキテクチャやデータセットにまたがる傾向を明らかにする。 本稿では,モーメントムリセットを用いたスパイク・アウェア・アダムを提案し,モーメントムリセットとスパイク・アウェア・クリッピングによる勾配スパイク対策について述べる。
  論文  参考訳（メタデータ） (2025-01-12T15:21:22Z)
• Q-Sparse: All Large Language Models can be Fully Sparsely-Activated [93.45300714803429]
  Q-Sparseは、スパースアクティベートされた大規模言語モデル(LLM)を訓練するための、シンプルで効果的なアプローチである。 Q-Sparse は LLM における活性化の完全な分散を可能にし、推論においてかなりの効率向上をもたらす。 バッチトレーニングと推論のためのBlock Q-Sparseも導入しています。
  論文  参考訳（メタデータ） (2024-07-15T17:59:29Z)
• When Linear Attention Meets Autoregressive Decoding: Towards More Effective and Efficient Linearized Large Language Models [13.061946833851605]
  自己回帰型LDMに対する既存の線形注意法の有効性に関する総合的研究を行った。 本稿では,投機的復号化との整合性を保証する線形注意のための拡張手法を提案する。 提案手法は,LLaMAモデルにおけるパープレキシティの最大6.67低減と,従来の線形アテンション法と比較して,生成時の最大2$times$スピードアップを実現する。
  論文  参考訳（メタデータ） (2024-06-11T15:34:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。