論文の概要: Event-Driven Language Models with Sparse Neural Activity for Neuromorphic Hardware

• arxiv url: http://arxiv.org/abs/2608.30439v1
• Date: Mon, 31 Aug 2026 08:28:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:31.316425
• Title: Event-Driven Language Models with Sparse Neural Activity for Neuromorphic Hardware
• Title（参考訳）: ニューロモルフィックハードウェアのためのスパースニューラル能を有するイベント駆動型言語モデル
• Abstract要約: トランスフォーマーベースの大規模言語モデル(LLM)による推論は、メモリバウンドなKVキャッシュと二次的注意コストによって制限されることが多い。 本稿では,性能損失を最小限に抑えた重量子化線形アテンションモデルにおいて,スパースニューラルアクティビティを誘導する手法を提案する。
• 参考スコア（独自算出の注目度）: 5.066906328188419
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Inference with transformer-based large language models (LLMs) is often limited by the memory-bound KV cache and quadratic attention cost. State-space models (SSMs) mitigate this through linear attention and fixed-size recurrent states, but their large dense linear projections remain computationally expensive even after quantization. We introduce a method that induces sparse neural activity in heavily quantized linear-attention models with minimal performance loss. Activations below a per-projection trainable threshold ($\pm Δ$) are nullified while preserving crucial outliers, achieving comparable performance to dense models with up to 4$\times$ fewer effective arithmetic operations. Targeting a multi-core, multi-chip neuromorphic platform, where event-driven execution converts unstructured sparsity into throughput at both the compute and communication levels, a capability GPU architectures fundamentally lack, we project up to 37$\times$ higher throughput and 16$\times$ lower power versus edge GPU inference of a comparable transformer-based model, and up to 5.4$\times$ improvements over the non-sparsified baseline. These results position sparse, quantized linear-attention models as a natural fit for deploying LLMs on event-driven multi-core platforms.
• Abstract（参考訳）: トランスフォーマーベースの大規模言語モデル(LLM)による推論は、メモリバウンドなKVキャッシュと二次的注意コストによって制限されることが多い。 状態空間モデル(SSM)は、線形の注意と固定サイズのリカレント状態を通じてこれを緩和するが、その大きな密度の線形射影は量子化後も計算的に高価である。 本稿では,性能損失を最小限に抑えた重量子化線形アテンションモデルにおいて,スパースニューラルアクティビティを誘導する手法を提案する。 プロジェクションごとのトレーニング可能なしきい値($\pm Δ$)以下のアクティベーションは、重要な外れ値を保持しながら無効化され、最大4$\times$より少ない有効演算演算を持つ高密度モデルに匹敵するパフォーマンスを達成する。 マルチコアでマルチチップなニューロモーフィックプラットフォームをターゲットにして、イベント駆動実行は、非構造化のスパーシリティを、計算レベルと通信レベルの両方でスループットに変換する。GPUアーキテクチャは基本的に欠如しており、37$\times$高スループットと16$\times$低消費電力と同等のトランスフォーマーベースモデルのエッジGPU推論に対して、最大5.4$\times$非スパーシフィケートベースラインよりも改善する。 これらの結果は、イベント駆動マルチコアプラットフォームにLLMをデプロイするための自然な適合性として、スパース、量子化線形アテンションモデルとして位置づけられる。

関連論文リスト

• M$^2$RNN: Non-Linear RNNs with Matrix-Valued States for Scalable Language Modeling [53.351103753419046]
  本稿では,行列値の隠蔽状態と表現的非線形状態遷移を持つアーキテクチャであるMatrix-to-Matrix RNNを紹介する。 非線形RNNの言語モデリング性能は,その状態サイズによって制限されていることを示す。 また、状態サイズ拡大機構がテンソルコアの効率的な利用を可能にすることを示す。
  論文  参考訳（メタデータ） (2026-03-15T12:53:09Z)
• The Curious Case of In-Training Compression of State Space Models [49.819321766705514]
  ステートスペースモデル(SSM)は、並列化可能なトレーニングと高速推論の両方を提供する。 鍵となる設計上の課題は、表現力の最大化と計算負荷の制限の間の適切なバランスを打つことだ。 我々のアプローチである textscCompreSSM はリニアリカレントユニットのような線形時間不変SSMに適用されるが、選択モデルにも拡張可能である。
  論文  参考訳（メタデータ） (2025-10-03T09:02:33Z)
• Analog Foundation Models [8.881648853584165]
  アナログインメモリコンピューティング(AIMC)は、ニューラルネットワーク計算の速度と電力効率を改善するための有望な計算パラダイムである。 AIMCは、ノイズ計算や入力と量子化に関する厳密な推論といった基本的な課題を導入している。 低精度アナログハードウェア上で堅牢な適応と実行を実現するための,汎用的なスケーラブルな手法を提案する。
  論文  参考訳（メタデータ） (2025-05-14T14:52:22Z)
• DeepInsert: Early Layer Bypass for Efficient and Performant Multimodal Understanding [26.39397960987363]
  本稿では,事前学習したトランスモデルに対する簡単な修正を提案する。 まず最初に言語プロンプトと結合するのではなく、マルチモーダルトークンを直接中央に挿入します。 その結果,本手法は,学習と推論の双方において計算コストを削減できることが示唆された。
  論文  参考訳（メタデータ） (2025-04-27T18:56:26Z)
• LESA: Learnable LLM Layer Scaling-Up [57.0510934286449]
  LLM(Large Language Models)をスクラッチからトレーニングするには膨大な計算資源が必要であるため、非常に高価である。 モデルスケーリングアップは、より小さなモデルのパラメータを活用してより大きなモデルを作成することで、有望なソリューションを提供する。 深度スケールアップのための新しい学習方法である textbfLESA を提案する。
  論文  参考訳（メタデータ） (2025-02-19T14:58:48Z)
• CoLA: Compute-Efficient Pre-Training of LLMs via Low-Rank Activation [19.447967755388092]
  我々は,計算効率の高いオートエンコーダを用いて,CoLAとそのメモリ効率の高い実装であるCoLA-Mを提案する。 6000万から70億のパラメータを持つLLaMAモデルに対する実験は、CoLAが計算コストを$bf 2pmbtimes$.bf 2pmbtimes$.comに削減したことを示している。 CoLA-Mはスループットを犠牲にすることなくメモリコストをさらに削減し、全体として優れたパラメータ、計算、メモリ効率を備えた事前学習アプローチを提供する。
  論文  参考訳（メタデータ） (2025-02-16T01:05:16Z)
• Linearizing Large Language Models [26.94551511277412]
  本稿では,既存の大規模事前学習型トランスフォーマーを,控えめな計算予算でリカレントニューラルネットワーク(RNN)にアップトレーニングする方法を提案する。 線形化手法は標準ベンチマーク上での競合性能につながるが,最大線形モデルにおいても,永続的な文脈内学習と長期コンテキストモデリングの欠点を同定する。
  論文  参考訳（メタデータ） (2024-05-10T17:59:08Z)
• FineQuant: Unlocking Efficiency with Fine-Grained Weight-Only Quantization for LLMs [9.072821427818557]
  大規模言語モデル(LLM)は、様々な言語タスクで最先端のパフォーマンスを達成しているが、実用的なデプロイメントには課題がある。 メモリ消費を削減し,LLMの推論を高速化する,効率的な重みのみの量子化法を提案する。 我々は,OPT-175Bや内部MoEモデルのような大規模オープンソースモデルに対するアプローチを評価し,スループットを最大3.65倍に向上しながら,最小限の精度の損失を示す。
  論文  参考訳（メタデータ） (2023-08-16T23:57:41Z)
• SqueezeLLM: Dense-and-Sparse Quantization [80.32162537942138]
  LLMにおける生成推論の主なボトルネックは、単一のバッチ推論のための計算ではなく、メモリ帯域幅である。 学習後量子化フレームワークであるSqueezeLLMを導入し、最大3ビットの超低精度でのロスレス圧縮を実現する。 本フレームワークは,2次情報に基づく最適ビット精度割当を探索する感度ベース非一様量子化法と,2次情報に基づくDense-and-Sparse分解法と,2次情報量割当値と感度重み値を効率的にスパース形式で格納するDense-and-Sparse分解法である。
  論文  参考訳（メタデータ） (2023-06-13T08:57:54Z)
• Efficient Long Sequence Modeling via State Space Augmented Transformer [92.74707853711374]
  我々はSPADE($underlinetextbfS$tate sunderlinetextbfP$ace)を提案する。 我々は,SPADEの底層にSSMを付加し,他の層に対して効率的な局所的注意法を適用した。 Long Range Arenaベンチマークと言語モデリングタスクの実験結果から,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2022-12-15T20:51:27Z)
• Sparse Upcycling: Training Mixture-of-Experts from Dense Checkpoints [59.39280540478479]
  密なチェックポイントから疎活性化されたMixture-of-Expertsモデルを初期化することにより、サンクトレーニングコストを再利用する簡単な方法であるスパースアップサイクリングを提案する。 我々は, 比較的高サイクルなT5 Base, Large, XL言語モデル, Vision Transformer Base と Large モデルが, SuperGLUE と ImageNet の高密度モデルよりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2022-12-09T18:57:37Z)
• Confident Adaptive Language Modeling [95.45272377648773]
  CALMは、入力と生成時間ごとに異なる量の計算を動的に割り当てるフレームワークである。 ハイパフォーマンスを確実に維持しつつ、計算能力、潜在的スピードアップを最大3ドルまで削減する上で、我々のフレームワークの有効性を実証する。
  論文  参考訳（メタデータ） (2022-07-14T17:00:19Z)
• LUT-GEMM: Quantized Matrix Multiplication based on LUTs for Efficient Inference in Large-Scale Generative Language Models [9.727062803700264]
  量子化行列乗算のための効率的なカーネルであるLUT-GEMMを紹介する。 LUT-GEMMは資源集約化プロセスを取り除き、計算コストを削減する。 我々は,3ビット量子化を用いたOPT-175Bモデルに適用した場合,LUT-GEMMはトークン生成遅延を大幅に高速化することを示した。
  論文  参考訳（メタデータ） (2022-06-20T03:48:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。