論文の概要: ProSparse: Introducing and Enhancing Intrinsic Activation Sparsity within Large Language Models

• arxiv url: http://arxiv.org/abs/2402.13516v4
• Date: Wed, 3 Jul 2024 05:56:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-04 20:04:00.449606
• Title: ProSparse: Introducing and Enhancing Intrinsic Activation Sparsity within Large Language Models
• Title（参考訳）: ProSparse: 大規模言語モデルにおける本質的なアクティベーションスパシティの導入と改善
• Authors: Chenyang Song, Xu Han, Zhengyan Zhang, Shengding Hu, Xiyu Shi, Kuai Li, Chen Chen, Zhiyuan Liu, Guangli Li, Tao Yang, Maosong Sun,
• Abstract要約: 活性化スパーシリティ(Activation sparsity)とは、活性化出力の間に弱い分散要素が存在することを指す。 本稿では,PLMを高活性化空間にプッシュするために,"ProSparse" という,シンプルで効果的なスペース化手法を提案する。
• 参考スコア（独自算出の注目度）: 74.59731375779934
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Activation sparsity refers to the existence of considerable weakly-contributed elements among activation outputs. As a prevalent property of the models using the ReLU activation function, activation sparsity has been proven a promising paradigm to boost model inference efficiency. Nevertheless, most large language models (LLMs) adopt activation functions without intrinsic activation sparsity (e.g., GELU and Swish). Some recent efforts have explored introducing ReLU or its variants as the substitutive activation function to help LLMs achieve activation sparsity and inference acceleration, but few can simultaneously obtain high sparsity and comparable model performance. This paper introduces a simple and effective sparsification method named "ProSparse" to push LLMs for higher activation sparsity while maintaining comparable performance. Specifically, after substituting the activation function of LLMs with ReLU, ProSparse adopts progressive sparsity regularization with a factor smoothly increasing along the multi-stage sine curves. This can enhance activation sparsity and mitigate performance degradation by avoiding radical shifts in activation distributions. With ProSparse, we obtain high sparsity of 89.32% for LLaMA2-7B, 88.80% for LLaMA2-13B, and 87.89% for end-size MiniCPM-1B, respectively, achieving comparable performance to their original Swish-activated versions. These present the most sparsely activated models among open-source LLaMA versions and competitive end-size models, considerably surpassing ReluLLaMA-7B (66.98%) and ReluLLaMA-13B (71.56%). Our inference acceleration experiments further demonstrate the significant practical acceleration potential of LLMs with higher activation sparsity, obtaining up to 4.52$\times$ inference speedup.
• Abstract（参考訳）: 活性化スパーシリティ(Activation sparsity)とは、活性化出力の間にかなり弱い結合要素が存在することを指す。 ReLUアクティベーション関数を用いたモデルの一般的な特性として、アクティベーション空間がモデル推論効率を高めるための有望なパラダイムであることが証明されている。 それにもかかわらず、ほとんどの大きな言語モデル(LLM)は、固有のアクティベーション間隔のないアクティベーション機能(例えば、GELU、Swish)を採用している。 最近の研究では、LLMが活性化空間と推論加速度を達成するのに役立つ代替活性化関数としてReLUやその変種を導入することを検討しているが、高い間隔と同等のモデル性能を同時に得られるものはほとんどない。 本稿では,LLMを高いアクティベーション空間にプッシュする上で,同等の性能を維持しつつ,シンプルかつ効果的なスペース化手法であるProSparseを提案する。 具体的には、LLMの活性化関数をReLUで置換した後、ProSparseは多段正弦曲線に沿って円滑に増大する因子を持つ進行時空間正則化を採用する。 これにより、活性化分布の急激なシフトを回避して、活性化間隔を高め、性能劣化を軽減することができる。 ProSparseでは、LLaMA2-7Bが89.32%、LLaMA2-13Bが88.80%、エンドサイズMiniCPM-1Bが87.89%の高間隔を実現し、元のSwish-activatedバージョンに匹敵する性能を実現した。 これらはオープンソースのLLaMAバージョンと競合するエンドサイズモデルの中で最も緩やかに活性化されたモデルであり、ReluLLaMA-7B (66.98%) とReluLLaMA-13B (71.56%) を大きく上回っている。 我々の推論加速実験は、より高い活性化間隔を持つLLMの有意な実用的な加速ポテンシャルを示し、最大4.52$\times$推論スピードアップを得る。

関連論文リスト

• Sparsing Law: Towards Large Language Models with Greater Activation Sparsity [62.09617609556697]
  活性化空間性は、除去できる活性化出力の中に、かなり弱い分散要素が存在することを表す。 PPL-$p%$ sparsity, a accurate and performance-aware activation sparsity metric。 我々は、SiLUよりも活性化関数としてReLUが効率的であることを示し、より多くのトレーニングデータを利用してアクティベーション空間を改善することができることを示した。
  論文  参考訳（メタデータ） (2024-11-04T17:59:04Z)
• Not All Diffusion Model Activations Have Been Evaluated as Discriminative Features [115.33889811527533]
  拡散モデルは当初、画像生成のために設計されている。 近年の研究では、バックボーンの内部シグナルはアクティベーションと呼ばれ、様々な識別タスクの高密度な特徴として機能することが示されている。
  論文  参考訳（メタデータ） (2024-10-04T16:05:14Z)
• Q-Sparse: All Large Language Models can be Fully Sparsely-Activated [93.45300714803429]
  Q-Sparseは、スパースアクティベートされた大規模言語モデル(LLM)を訓練するための、シンプルで効果的なアプローチである。 Q-Sparse は LLM における活性化の完全な分散を可能にし、推論においてかなりの効率向上をもたらす。 バッチトレーニングと推論のためのBlock Q-Sparseも導入しています。
  論文  参考訳（メタデータ） (2024-07-15T17:59:29Z)
• ShadowLLM: Predictor-based Contextual Sparsity for Large Language Models [67.97667465509504]
  我々は,LLMの挙動を隠蔽し,より親密なパターンを強制できる新しい予測器であるShadowLLMを開発した。 ShadowLLMは最先端のDejaVuフレームワーク上で最大20%のスピードアップを達成する。
  論文  参考訳（メタデータ） (2024-06-24T13:41:08Z)
• Turbo Sparse: Achieving LLM SOTA Performance with Minimal Activated Parameters [20.093224415258174]
  活性化間隔は活性化関数によって決定されるが、一般的に使用されるSwiGLUやGeGLUのような活性化間隔は限られている。 高品質なトレーニングデータ混合比とともに, LLMの活性化間隔を改善するために設計された新しいdReLU関数を提案する。 携帯電話では、TurboSparse-Mixtral-47Bが毎秒11トークンの推論速度を実現しています。
  論文  参考訳（メタデータ） (2024-06-10T01:21:59Z)
• Dynamic Activation Pitfalls in LLaMA Models: An Empirical Study [20.404448253054014]
  言語モデルのLLaMAファミリーにおける動的アクティベーション機構の有効性について検討した。 我々の経験的発見は、現在の動的アクティベーションスキームに固有のいくつかの落とし穴を発見した。
  論文  参考訳（メタデータ） (2024-05-15T11:42:42Z)
• Learn To be Efficient: Build Structured Sparsity in Large Language Models [17.940183066850565]
  大きな言語モデル(LLM)は、その10億レベルのパラメータで驚くべき成功を収めていますが、高い推論オーバーヘッドを引き起こします。 既存の方法は、訓練後の環境で自然に形成された活性化空間の利用にのみ焦点をあてる。 本稿では,Learning-To-Efficient (LTE) という学習学習アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2024-02-09T01:18:16Z)
• ReLU$^2$ Wins: Discovering Efficient Activation Functions for Sparse LLMs [91.31204876440765]
  本稿では、ニューロンの出力の等級と調整された等級しきい値によってニューロンの活性化を定義する一般的な方法を提案する。 スパース計算における最も効率的なアクティベーション関数を見つけるために,本手法を提案する。 我々は、ReLU、SwiGLU、ReGLU、ReLU$2$といった異なるアクティベーション機能を利用したLCMの徹底的な実験を行う。
  論文  参考訳（メタデータ） (2024-02-06T08:45:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。