論文の概要: CATS: Contextually-Aware Thresholding for Sparsity in Large Language Models

• arxiv url: http://arxiv.org/abs/2404.08763v3
• Date: Sun, 27 Oct 2024 08:15:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-29 12:17:45.579621
• Title: CATS: Contextually-Aware Thresholding for Sparsity in Large Language Models
• Title（参考訳）: CATS: 大規模言語モデルにおける疎性に対する文脈認識閾値
• Authors: Je-Yong Lee, Donghyun Lee, Genghan Zhang, Mo Tiwari, Azalia Mirhoseini,
• Abstract要約: 大規模言語モデル(LLM)は、劇的に高度なAIアプリケーションを持っているが、その膨大な推論コストのため、そのデプロイメントは難しいままである。 本稿では,基本LLMの活性化と推論コストの低減を両立させる新しいフレームワーク,CATS(Contextually Aware Thresholding for Sparsity)を提案する。 提案手法は,Mistral-7BやLlama2-7Bなどの各種ベースモデルに適用可能であり,下流タスク性能において既存のスペーサー化手法よりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 6.3578653946004255
• License:
• Abstract: Large Language Models (LLMs) have dramatically advanced AI applications, yet their deployment remains challenging due to their immense inference costs. Recent studies ameliorate the computational costs of LLMs by increasing their activation sparsity but suffer from significant performance degradation on downstream tasks. In this work, we introduce a new framework for sparsifying the activations of base LLMs and reducing inference costs, dubbed Contextually Aware Thresholding for Sparsity (CATS). CATS is relatively simple, easy to implement, and highly effective. At the heart of our framework is a new non-linear activation function. We demonstrate that CATS can be applied to various base models, including Mistral-7B and Llama2-7B, and outperforms existing sparsification techniques in downstream task performance. More precisely, CATS-based models often achieve downstream task performance within 1-2% of their base models without any fine-tuning and even at activation sparsity levels of 50%. Furthermore, CATS-based models converge faster and display better task performance than competing techniques when fine-tuning is applied. Finally, we develop a custom GPU kernel for efficient implementation of CATS that translates the activation of sparsity of CATS to real wall-clock time speedups. Our custom kernel implementation of CATS results in a ~15% improvement in wall-clock inference latency of token generation on both Llama-7B and Mistral-7B.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、劇的に高度なAIアプリケーションを持っているが、その膨大な推論コストのため、そのデプロイメントは難しいままである。 最近の研究は, LLMの活性化間隔を増大させることによって計算コストを向上するが, 下流タスクの大幅な性能劣化に悩まされている。 本研究では,基本LLMの活性化と推論コストの低減を両立させる新しいフレームワーク,CATS(Contextually Aware Thresholding for Sparsity)を提案する。 CATSは比較的シンプルで、実装が容易で、非常に効果的です。 私たちのフレームワークの中心は、新しい非線形アクティベーション機能です。 提案手法は,Mistral-7BやLlama2-7Bなどの各種ベースモデルに適用可能であり,下流タスク性能において既存のスペーサー化手法よりも優れていることを示す。 より正確には、CATSベースのモデルは、細調整なしで、50%のアクティベーション間隔でも、ベースモデルの1～2%のダウンストリームタスク性能を達成する。 さらに、CATSベースのモデルはより高速に収束し、微調整を行う場合の競合技術よりも優れたタスク性能を示す。 最後に,CATSのスパーシリティの活性化を実際のウォールクロックタイム・スピードアップに変換する,CATSの効率的な実装のためのカスタムGPUカーネルを開発する。 CATSのカスタムカーネル実装により,Llama-7BとMistral-7Bの両方で,トークン生成のウォールクロック推論レイテンシが約15%向上した。

関連論文リスト

• CHESS: Optimizing LLM Inference via Channel-Wise Thresholding and Selective Sparsification [7.8430836312711465]
  エッジデバイス上の大規模言語モデル(LLM)は、計算オーバーヘッドとメモリ要求がかなり大きいため、大きな課題を呈している。 活性化スパーシフィケーションは、推論中に活性化されたニューロンの数を減らすことでこれらの課題を軽減することができる。 本稿では,CHESS(CHannel-wise thrEsholding and Selective Sparsification)による一般的なアクティベーションスカラー化手法を紹介する。
  論文  参考訳（メタデータ） (2024-09-02T16:41:44Z)
• First Activations Matter: Training-Free Methods for Dynamic Activation in Large Language Models [25.15698344467722]
  本稿では,シークエンス情報を利用したトレーニングフリーなThresholdベースの動的アクティベーション手法を提案する。 本研究は,歴史関連アクティベーションの不確かさと意味不明アクティベーション慣性という2つの重要な特徴を理論的に分析する。
  論文  参考訳（メタデータ） (2024-08-21T07:38:51Z)
• ProSparse: Introducing and Enhancing Intrinsic Activation Sparsity within Large Language Models [74.59731375779934]
  活性化スパーシリティ(Activation sparsity)とは、活性化出力の間に弱い分散要素が存在することを指す。 本稿では,PLMを高活性化空間にプッシュするために,"ProSparse" という,シンプルで効果的なスペース化手法を提案する。
  論文  参考訳（メタデータ） (2024-02-21T03:58:49Z)
• Learn To be Efficient: Build Structured Sparsity in Large Language Models [17.940183066850565]
  大きな言語モデル(LLM)は、その10億レベルのパラメータで驚くべき成功を収めていますが、高い推論オーバーヘッドを引き起こします。 既存の方法は、訓練後の環境で自然に形成された活性化空間の利用にのみ焦点をあてる。 本稿では,Learning-To-Efficient (LTE) という学習学習アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2024-02-09T01:18:16Z)
• Are GATs Out of Balance? [73.2500577189791]
  本稿では,ノード近傍のアグリゲーションをパラメータ化注意係数で重み付けするグラフ注意ネットワーク(GAT)について検討する。 我々の主定理は、注意機構を持つ正の同次モデルの学習力学を研究するための足掛かりとなる。
  論文  参考訳（メタデータ） (2023-10-11T06:53:05Z)
• An Efficiency Study for SPLADE Models [5.725475501578801]
  本稿では,SPLADEモデルの効率向上に焦点をあてる。 本稿では、クエリのL1正規化、ドキュメント/エンコーダの分離、FLOPS正規化ミドルトレーニング、高速なクエリエンコーダの使用など、いくつかの手法を提案する。
  論文  参考訳（メタデータ） (2022-07-08T11:42:05Z)
• Few-Shot Parameter-Efficient Fine-Tuning is Better and Cheaper than In-Context Learning [81.3514358542452]
  ICL (Few-shot in-context Learning) は、予測を行うたびにトレーニング例を全て処理するので、かなりの計算、メモリ、ストレージコストを発生させる。 パラメータ効率の良い微調整は、モデルの新たなタスクの実行を可能にするために、小さなパラメータセットをトレーニングする、代替パラダイムを提供する。 本稿では,少数ショットICLとパラメータ効率の微調整を厳密に比較し,後者が計算コストを劇的に削減できることを示す。
  論文  参考訳（メタデータ） (2022-05-11T17:10:41Z)
• Online Convolutional Re-parameterization [51.97831675242173]
  2段階のパイプラインであるオンライン畳み込み再パラメータ化(OREPA)は、複雑なトレーニング時間ブロックを単一の畳み込みに絞ることで、巨大なトレーニングオーバーヘッドを低減することを目的としている。 最先端のre-paramモデルと比較して、OREPAはトレーニング時間のメモリコストを約70%削減し、トレーニング速度を約2倍向上させることができる。 また、オブジェクト検出とセマンティックセグメンテーションの実験を行い、下流タスクに一貫した改善を示す。
  論文  参考訳（メタデータ） (2022-04-02T09:50:19Z)
• Efficient Few-Shot Object Detection via Knowledge Inheritance [62.36414544915032]
  Few-shot Object Detection (FSOD) は、未確認のタスクに少ないトレーニングサンプルで適応できるジェネリック検出器を学習することを目的としている。 計算量の増加を伴わない効率的なプレトレイン・トランスファー・フレームワーク(PTF)のベースラインを提案する。 また,予測された新しいウェイトと事前訓練されたベースウェイトとのベクトル長の不整合を軽減するために,適応長再スケーリング(ALR)戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-23T06:24:31Z)
• ATTACC the Quadratic Bottleneck of Attention Layers [3.2741800634280245]
  本稿では、ディープニューラルネットワーク(DNN)アクセラレーターのための新しいアテンション調整データフローであるFLATを紹介する。 高帯域幅で低容量のオンチップバッファを効率的に利用することで、効果的なメモリ帯域幅を増大させる。 評価では,ATTACCは最先端エッジやクラウドアクセラレータと比較して1.94倍,1.76倍,49%,42%のエネルギー削減を達成した。
  論文  参考訳（メタデータ） (2021-07-13T22:23:40Z)
• Towards Practical Lipreading with Distilled and Efficient Models [57.41253104365274]
  ニューラルネットワークの復活により、リリーディングは多くの進歩を目の当たりにした。 最近の研究は、最適なアーキテクチャを見つけるか、一般化を改善することで、パフォーマンスを改善するといった側面に重点を置いている。 現在の方法論と、実践的なシナリオにおける効果的なリップリーディングのデプロイ要件との間には、依然として大きなギャップがあります。 まず, LRW と LRW-1000 をそれぞれ 88.5% と 46.6% に比例して, 最先端の性能を高めることを提案する。
  論文  参考訳（メタデータ） (2020-07-13T16:56:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。