論文の概要: Large Language Models with At Most One Spike per Neuron

• arxiv url: http://arxiv.org/abs/2609.05151v1
• Date: Fri, 04 Sep 2026 13:53:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-07 18:15:24.061802
• Title: Large Language Models with At Most One Spike per Neuron
• Title（参考訳）: ニューロン1個当たり1スパイクの大きい言語モデル
• Authors: Zhuoya Zhao, Parsa Omidi, Aref Jafari, Richard Naud,
• Abstract要約: タイム・ツー・ファースト・スパイク(TTFS)符号化は、時間ウィンドウ内でニューロン当たりのスパイクを少なくとも1つ生成し、非常に低い発火率をもたらす。 4つの中核LCMコンポーネントをエンコードする参照ベースの戦略を導入する。 完全にTTFSベースのSNNアーキテクチャを構築し、エンドツーエンドでトレーニングします。
• 参考スコア（独自算出の注目度）: 1.1175141719762662
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Leveraging their inherent sparse event-driven computation, spiking neural networks (SNNs) offer a promising path toward energy-efficient large language models (LLMs). Time-to-first-spike (TTFS) coding generates at most one spike per neuron within a time window, yielding extremely low firing rates. However, conventional TTFS SNNs are restricted to specific structures, making it challenging to encode certain blocks in LLM -- such as layer normalization and matrix multiplication --using TTFS. To overcome this limitation, we introduce a reference-based strategy specifically to encode the four core LLM components: embedding layers, layer normalization, attention-related operations and dropout. We construct a fully TTFS-based SNN architecture and train it end-to-end. Experiments on modern LLMs like BERT and GPT-2 demonstrate that our approach achieves performance comparable to ANN counterparts on natural language understanding and common-sense reasoning, while a clear gap remains on language modeling perplexity. To the best of our knowledge, this is the first work to scale a spiking LLM to 1.5 billion parameters using TTFS coding. We also report an estimate of spike-related energy; this is a spike-count proxy under an established cost model rather than a measurement on neuromorphic hardware.
• Abstract（参考訳）: 独自のスパースイベント駆動計算を活用して、スパイクニューラルネットワーク(SNN)は、エネルギー効率の高い大規模言語モデル(LLM)への有望な道を提供する。 タイム・ツー・ファースト・スパイク(TTFS)符号化は、時間ウィンドウ内でニューロン当たりのスパイクを少なくとも1つ生成し、非常に低い発火率をもたらす。 しかし、従来のTTFS SNNは特定の構造に制限されているため、レイヤの正規化や行列の乗算といった LLM の特定のブロックを TTFS を使ってエンコードすることは困難である。 この制限を克服するために,レイヤの埋め込み,レイヤの正規化,アテンション関連の操作,ドロップアウトという,4つの中核LCMコンポーネントを符号化する参照ベースの戦略を導入する。 完全にTTFSベースのSNNアーキテクチャを構築し、エンドツーエンドでトレーニングします。 BERT や GPT-2 のような現代の LLM の実験では,自然言語理解や常識推論において,我々のアプローチが ANN に匹敵する性能を実現しているのに対して,言語モデリングの難易度には明確なギャップが残っている。 私たちの知る限りでは、これはTTFSコーディングを使用して、スパイクするLLMを15億のパラメータにスケールする最初の作業です。 我々はまたスパイク関連エネルギーの推定を報告し、これはニューロモルフィックハードウェアの測定ではなく、確立されたコストモデルに基づくスパイクカウントプロキシである。

関連論文リスト

• LongSpike: Fractional Order Spiking State Space Models for Efficient Long Sequence Learning [53.855185131868446]
  スパイキングニューラルネットワーク(SNN)は、シーケンシャルデータを処理する際の生物学的な妥当性とエネルギー効率を十分に考慮している。 本研究では,数次状態空間モデリングを統合した新しいSNNフレームワークであるLongSpikeを提案する。 従来の整数階数 SSM を分数計算系に拡張することにより、LongSpike は長いメモリカーネルとニューロンダイナミクスの階層的な統合を可能にする。
  論文  参考訳（メタデータ） (2026-06-11T04:54:07Z)
• SpikeMLLM: Spike-based Multimodal Large Language Models via Modality-Specific Temporal Scales and Temporal Compression [46.709828328948724]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアに固有のエネルギー効率の利点を提供する。 MLLMの最初のスパイクベースフレームワークであるSpikeMLLMを提案する。 この結果から,SpikeMLLMはアグレッシブ・タイムステップ圧縮下でほぼ無作為な性能を維持していることがわかった。
  論文  参考訳（メタデータ） (2026-04-13T15:32:44Z)
• Spike-driven Large Language Model [49.52947423982696]
  スパイキングニューラルネットワーク(SNN)はスパイク駆動特性を持つ。 現在のLarge Language Models (LLM) は主に大規模密度行列乗法に基づいている。 本研究では,スパース加算操作により高密度行列乗算を除去するスパイク駆動型大規模言語モデルであるSDLLMを提案する。
  論文  参考訳（メタデータ） (2026-04-11T17:58:35Z)
• Optimal Scheduling Algorithms for LLM Inference: Theory and Practice [6.043830060363904]
  本稿では,大規模言語モデル推論システムにおけるルーティングとスケジューリングをモデル化する理論的枠組みを開発する。 スループット向上に不可欠な設計原則として,最適化タイリングと動的リソース割り当ての2つがあげられる。 本稿では,リソース・アウェア・ダイナミック(RAD)スケジューラが軽度条件下でスループットの最適化を実現することを示す。
  論文  参考訳（メタデータ） (2025-08-01T18:12:21Z)
• Federated Learning-Enabled Hybrid Language Models for Communication-Efficient Token Transmission [87.68447072141402]
  ハイブリッド言語モデル(HLM)は、エッジデバイス上でのSLM(Small Language Model)の低レイテンシ効率と、集中型サーバ上でのLLM(Large Language Model)の高精度を組み合わせたものである。 我々は、不確実性を考慮した推論とフェデレートラーニング(FL)を統合する通信効率の高いHLMフレームワークであるFedHLMを提案する。
  論文  参考訳（メタデータ） (2025-06-30T02:56:11Z)
• LESA: Learnable LLM Layer Scaling-Up [57.0510934286449]
  LLM(Large Language Models)をスクラッチからトレーニングするには膨大な計算資源が必要であるため、非常に高価である。 モデルスケーリングアップは、より小さなモデルのパラメータを活用してより大きなモデルを作成することで、有望なソリューションを提供する。 深度スケールアップのための新しい学習方法である textbfLESA を提案する。
  論文  参考訳（メタデータ） (2025-02-19T14:58:48Z)
• LC-TTFS: Towards Lossless Network Conversion for Spiking Neural Networks with TTFS Coding [55.64533786293656]
  我々は,AIタスクにおいて,ANNのアクティベーション値とSNNのスパイク時間とのほぼ完全なマッピングを実現することができることを示す。 この研究は、電力制約のあるエッジコンピューティングプラットフォームに超低消費電力のTTFSベースのSNNをデプロイする方法を舗装している。
  論文  参考訳（メタデータ） (2023-10-23T14:26:16Z)
• You Only Spike Once: Improving Energy-Efficient Neuromorphic Inference to ANN-Level Accuracy [51.861168222799186]
  スパイキングニューラルネットワーク(英: Spiking Neural Networks、SNN)は、神経型ネットワークの一種である。 SNNはスパースであり、重量はごくわずかであり、通常、より電力集約的な乗算および累積演算の代わりに追加操作のみを使用する。 本研究では,TTFS符号化ニューロモルフィックシステムの限界を克服することを目的としている。
  論文  参考訳（メタデータ） (2020-06-03T15:55:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。