論文の概要: LAS: Loss-less ANN-SNN Conversion for Fully Spike-Driven Large Language Models

• arxiv url: http://arxiv.org/abs/2505.09659v1
• Date: Wed, 14 May 2025 06:18:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-16 22:29:06.041801
• Title: LAS: Loss-less ANN-SNN Conversion for Fully Spike-Driven Large Language Models
• Title（参考訳）: LAS: 完全にスパイク駆動の大規模言語モデルのためのロスレスANN-SNN変換
• Authors: Long Chen, Xiaotian Song, Yanan Sun,
• Abstract要約: スパイキング大型言語モデル (LLM) は従来のLLMに代わるエネルギー効率の高い代替品として登場した。 完全スパイク駆動LDMにおける損失のないANN-SNN変換をLASと呼ぶ。 6つの言語モデルと2つの視覚言語モデルに対する実験結果から、LASはロスレス変換を実現することが示された。
• 参考スコア（独自算出の注目度）: 7.843523957690854
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spiking Large Language Models (LLMs) have emerged as an energy-efficient alternative to conventional LLMs through their event-driven computation. To effectively obtain spiking LLMs, researchers develop different ANN-to-SNN conversion methods by leveraging pre-trained ANN parameters while inheriting the energy efficiency of SNN. However, existing conversion methods struggle with extreme activation outliers and incompatible nonlinear operations of ANN-based LLMs. To address this, we propose a loss-less ANN-SNN conversion for fully spike-driven LLMs, termed LAS. Specifically, LAS introduces two novel neurons to convert the activation outlier and nonlinear operation of ANN-based LLMs. Moreover, LAS tailors the spike-equivalent Transformer components for spiking LLMs, which can ensure full spiking conversion without any loss of performance. Experimental results on six language models and two vision-language models demonstrate that LAS achieves loss-less conversion. Notably, on OPT-66B, LAS even improves the accuracy of 2\% on the WSC task. In addition, the parameter and ablation studies further verify the effectiveness of LAS. The source code is available at https://github.com/lc783/LAS
• Abstract（参考訳）: Spiking Large Language Models (LLMs) は、イベント駆動型計算によって従来のLLMに代わるエネルギー効率の高い代替品として登場した。 SNN のエネルギー効率を継承しつつ,事前学習した ANN パラメータを活用することにより,異なる ANN-to-SNN 変換法を開発した。 しかし、既存の変換手法は、ANNベースのLLMの極端なアクティベーション出力と非互換な非線形演算に苦慮している。 そこで本研究では,完全なスパイク駆動型LLM(LAS)に対するロスレスANN-SNN変換を提案する。 具体的には、LASは2つの新しいニューロンを導入し、ANNベースのLLMの活性化異常値と非線形動作を変換する。 さらに、LASはLLMのスパイク等価トランスフォーマーコンポーネントを調整し、パフォーマンスを損なうことなく完全なスパイク変換を保証できる。 6つの言語モデルと2つの視覚言語モデルに対する実験結果から、LASはロスレス変換を実現することが示された。 特に、OPT-66Bでは、LASはWSCタスクの2\%の精度も向上する。 さらに、パラメータおよびアブレーション研究により、LASの有効性をさらに検証した。 ソースコードはhttps://github.com/lc783/LASで入手できる。

関連論文リスト

• FAS: Fast ANN-SNN Conversion for Spiking Large Language Models [28.801133095207298]
  スパイキング大言語モデルを作成する既存の方法は、しばしば性能劣化と比較的高い計算コストに悩まされる。 本稿では, 高速ANN-SNN変換戦略 (FAS) を提案する。 言語と視覚言語の両方のタスクを4つの異なるスケールで実験した結果、FASは予測レイテンシと計算コストを大幅に削減して最先端のパフォーマンスを達成できることが示された。
  論文  参考訳（メタデータ） (2025-02-06T09:08:12Z)
• Transducer-Llama: Integrating LLMs into Streamable Transducer-based Speech Recognition [26.79555533538622]
  本稿では,大規模言語モデル(LLM)をFactized Transducer(FT)モデルに統合する新しいモデルアーキテクチャであるTransducer-Llamaを提案する。 提案されたストリーミングTransducer-Llamaアプローチは、強いFTベースラインに17%の相対的なWER削減(WERR)、RNN-Tベースラインに32%のWERRを与えた。
  論文  参考訳（メタデータ） (2024-12-21T03:35:49Z)
• Extend Model Merging from Fine-Tuned to Pre-Trained Large Language Models via Weight Disentanglement [72.97553348776425]
  我々は、FTからPT LLMへのマージ技術の適用性を拡大するための先駆的な取り組みを行っている。 WeIght DisENtanglement (WIDEN) に基づくアプローチを導入し、マージ範囲を効果的に拡張する。 Qwen1.5-Chat (FT LLM with instruction-following skills) と Sailor (PT LLM with multilingual abilities) を7Bおよび14Bモデルスケールにマージする。
  論文  参考訳（メタデータ） (2024-08-06T10:46:46Z)
• Q-Sparse: All Large Language Models can be Fully Sparsely-Activated [93.45300714803429]
  Q-Sparseは、スパースアクティベートされた大規模言語モデル(LLM)を訓練するための、シンプルで効果的なアプローチである。 Q-Sparse は LLM における活性化の完全な分散を可能にし、推論においてかなりの効率向上をもたらす。 バッチトレーニングと推論のためのBlock Q-Sparseも導入しています。
  論文  参考訳（メタデータ） (2024-07-15T17:59:29Z)
• Dynamic Sparse No Training: Training-Free Fine-tuning for Sparse LLMs [67.38165028487242]
  そこで我々は,DSnoT(Dynamic Sparse No Training, 動的スパース・ノー・トレーニング)を導入した。 動的スパーストレーニングにインスパイアされたDSnoTは、密度とスパースLLM間の再構成誤差を最小限に抑える。 本稿は, LLMのスパースを, 効率的なトレーニング自由な方法で微調整し, 新たな会場をオープンして, LLMの空間性に大きな可能性を拡大する方法について, 新たな知見を提供する。
  論文  参考訳（メタデータ） (2023-10-13T07:38:52Z)
• Cheap and Quick: Efficient Vision-Language Instruction Tuning for Large Language Models [77.2078051555533]
  大規模言語モデル(LLM)の有効なVL適応のための,新規で安価なソリューションを提案する。 画像エンコーダとLLMを接続するために大きなニューラルネットワークを使用する代わりに、MMAは軽量モジュール、すなわちアダプタを採用する。 MMAはまた、LLMがシングルモードとマルチモードの命令を自動シフトするのを助けるルーティングアルゴリズムも備えている。
  論文  参考訳（メタデータ） (2023-05-24T11:06:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。