論文の概要: QuantaSpike: Short-Window Spike-Driven Quantization for Large Language Models

• arxiv url: http://arxiv.org/abs/2609.34259v1
• Date: Mon, 28 Sep 2026 04:03:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 22:27:48.571419
• Title: QuantaSpike: Short-Window Spike-Driven Quantization for Large Language Models
• Title（参考訳）: QuantaSpike: 大規模言語モデルのためのショートウィンドスパイク駆動量子化
• Abstract要約: 大規模言語モデル (LLM) は、多くのタスクにわたって高い性能を達成するが、推論中に密度の高い乗算累積 (MAC) 演算に依存する。 我々は,対数三元積分系を中心に構築されたLLMのための短ウィンドウスパイク駆動量子化フレームワークQuantaSpikeを提案する。
• 参考スコア（独自算出の注目度）: 20.175709977291586
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) achieve strong performance across many tasks but rely on dense multiply-accumulate (MAC) operations during inference, resulting in high energy cost. Spiking neural networks (SNNs) offer an event-driven alternative in which synaptic integration uses lightweight accumulation. However, spike-driven LLM inference remains difficult because outlier-heavy activations typically require long firing windows or auxiliary non-spiking paths. We propose QuantaSpike, a short-window spike-driven quantization framework for LLMs built around Logarithmic Ternary Integrate-and-Fire (LTIF) neurons. LTIF uses ternary events with power-of-two membrane-response quanta, improving the information represented by each firing step while retaining shift-ACC-compatible computation. QuantaSpike combines this neuron with group-adaptive gain and selective outlier admission: normal values use residual LTIF steps, whereas admitted outliers receive one additional onset spike before entering the same residual dynamics. Across OPT and Llama-2, QuantaSpike achieves state-of-the-art or competitive perplexity and zero-shot accuracy among spike-driven LLM quantization methods. It also transfers to newer dense LLMs, remaining close to the FP16 reference on Llama-3-8B and Qwen3-8B under the same four-step firing window. Analytical linear-energy projections show that QuantaSpike reduces the energy of one linear transformation by about $80.0\%$ on OPT models and $67.1\%$ on Llama-2 models relative to SpikeQuant, providing an accurate and energy-efficient spike-driven path for LLM inference.
• Abstract（参考訳）: 大規模言語モデル (LLM) は、多くのタスクにおいて高い性能を達成するが、推論中に高密度の乗算累積 (MAC) 演算に依存するため、高いエネルギーコストが生じる。 スパイキングニューラルネットワーク(SNN)は、シナプス統合が軽量蓄積を使用するイベント駆動の代替手段を提供する。 しかし、スパイク駆動のLSM推論は、通常、外周重いアクティベーションは、長時間の発射窓や補助的な非喫煙経路を必要とするため、依然として困難である。 本研究では,LTIF(Logarithmic Ternary Integrate-and-Fire)ニューロンを中心に構築されたLPMの短時間スパイク駆動量子化フレームワークであるQuantaSpikeを提案する。 LTIFは、2つの膜応答量子のパワーを持つ3次イベントを使用し、シフト-ACC互換の計算を維持しながら、各発射ステップで表される情報を改善する。 QuantaSpikeはこのニューロンを、グループ適応的なゲインと選択的アウトリーチの入力と組み合わせ、通常の値は残留LTIFステップを使用するが、認められたアウトリーチは同じ残留ダイナミクスに入る前に1つの追加のオンセットスパイクを受ける。 OPT と Llama-2 全体で、QuantaSpike はスパイク駆動 LLM 量子化法において、最先端または競合的なパープレキシティとゼロショット精度を達成する。 また、Llama-3-8BとQwen3-8BのFP16基準に近い4段の発射窓で、より高密度のLLMに転送される。 解析的線形エネルギー予測により、QuantaSpikeは1つの線形変換のエネルギーを、OPTモデルで約80.0 %、SpikeQuantと比較してLlama-2モデルで約67.1 %削減し、LLM推論の正確かつエネルギー効率の良いスパイク駆動経路を提供する。

関連論文リスト

• SpikeMLLM: Spike-based Multimodal Large Language Models via Modality-Specific Temporal Scales and Temporal Compression [46.709828328948724]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアに固有のエネルギー効率の利点を提供する。 MLLMの最初のスパイクベースフレームワークであるSpikeMLLMを提案する。 この結果から,SpikeMLLMはアグレッシブ・タイムステップ圧縮下でほぼ無作為な性能を維持していることがわかった。
  論文  参考訳（メタデータ） (2026-04-13T15:32:44Z)
• Spike-driven Large Language Model [49.52947423982696]
  スパイキングニューラルネットワーク(SNN)はスパイク駆動特性を持つ。 現在のLarge Language Models (LLM) は主に大規模密度行列乗法に基づいている。 本研究では,スパース加算操作により高密度行列乗算を除去するスパイク駆動型大規模言語モデルであるSDLLMを提案する。
  論文  参考訳（メタデータ） (2026-04-11T17:58:35Z)
• FlatQuant: Flatness Matters for LLM Quantization [58.28221892035609]
  重みとアクティベーションの平坦性を高める新しいポストトレーニング量子化手法であるFlatQuantを提案する。 本手法では, 線形層毎の最適アフィン変換を, 軽量な目的により数時間で調整する。 LLaMA-3-70BモデルでのW4A4量子化の精度は1%以下で、SpinQuantを7.5%上回る。
  論文  参考訳（メタデータ） (2024-10-12T08:10:28Z)
• SpikeLLM: Scaling up Spiking Neural Network to Large Language Models via Saliency-based Spiking [43.275370104552344]
  人間の脳は、同様のパラメータを持つ大きな言語モデルよりもはるかにエネルギー効率が高い。 本稿では,最初のスパイク型大言語モデルであるSpikeLLMを提案する。 SpikeLLMは11.01%のWikiText2の複雑さを低減し、一般的なシーン推論の2.55%の精度を改善する。
  論文  参考訳（メタデータ） (2024-07-05T08:37:17Z)
• BiLLM: Pushing the Limit of Post-Training Quantization for LLMs [53.31402059062365]
  BiLLMは、事前訓練された大規模言語モデルに適した1ビット後のトレーニング後の量子化スキームである。 LLaMA2-70Bの8.41パープレキシティは、様々なLLMファミリーで1.08ビットの重みしか持たない。
  論文  参考訳（メタデータ） (2024-02-06T09:26:34Z)
• Dynamic Sparse No Training: Training-Free Fine-tuning for Sparse LLMs [67.38165028487242]
  そこで我々は,DSnoT(Dynamic Sparse No Training, 動的スパース・ノー・トレーニング)を導入した。 動的スパーストレーニングにインスパイアされたDSnoTは、密度とスパースLLM間の再構成誤差を最小限に抑える。 本稿は, LLMのスパースを, 効率的なトレーニング自由な方法で微調整し, 新たな会場をオープンして, LLMの空間性に大きな可能性を拡大する方法について, 新たな知見を提供する。
  論文  参考訳（メタデータ） (2023-10-13T07:38:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。