論文の概要: PowerInfer: Fast Large Language Model Serving with a Consumer-grade GPU

• arxiv url: http://arxiv.org/abs/2312.12456v1
• Date: Sat, 16 Dec 2023 02:27:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-21 18:38:46.755861
• Title: PowerInfer: Fast Large Language Model Serving with a Consumer-grade GPU
• Title（参考訳）: PowerInfer: コンシューマグレードGPUを使用した高速大規模言語モデル
• Authors: Yixin Song, Zeyu Mi, Haotong Xie, Haibo Chen
• Abstract要約: 本稿では,1つのコンシューマグレードGPUを備えたパーソナルコンピュータ(PC)上での高速大言語モデル(LLM)推論エンジンであるPowerInferを紹介する。
• 参考スコア（独自算出の注目度）: 3.7414094253425296
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper introduces PowerInfer, a high-speed Large Language Model (LLM) inference engine on a personal computer (PC) equipped with a single consumer-grade GPU. The key underlying the design of PowerInfer is exploiting the high locality inherent in LLM inference, characterized by a power-law distribution in neuron activation. This distribution indicates that a small subset of neurons, termed hot neurons, are consistently activated across inputs, while the majority, cold neurons, vary based on specific inputs. PowerInfer exploits such an insight to design a GPU-CPU hybrid inference engine: hot-activated neurons are preloaded onto the GPU for fast access, while cold-activated neurons are computed on the CPU, thus significantly reducing GPU memory demands and CPU-GPU data transfers. PowerInfer further integrates adaptive predictors and neuron-aware sparse operators, optimizing the efficiency of neuron activation and computational sparsity. Evaluation shows that PowerInfer attains an average token generation rate of 13.20 tokens/s, with a peak of 29.08 tokens/s, across various LLMs (including OPT-175B) on a single NVIDIA RTX 4090 GPU, only 18% lower than that achieved by a top-tier server-grade A100 GPU. This significantly outperforms llama.cpp by up to 11.69x while retaining model accuracy.
• Abstract（参考訳）: 本稿では,1つのコンシューマグレードGPUを備えたパーソナルコンピュータ(PC)上での高速大言語モデル(LLM)推論エンジンであるPowerInferを紹介する。 powerinferの設計の根底にある鍵は、llm推論に固有の高い局所性を利用しており、ニューロンの活性化におけるパワーロー分布が特徴である。 この分布は、熱いニューロンと呼ばれるニューロンの小さなサブセットが入力間で一貫して活性化されていることを示しているが、大多数の冷いニューロンは特定の入力に基づいて異なる。 ホットアクティベートされたニューロンはGPUにプリロードされ、コールドアクティベートされたニューロンはCPU上で計算され、GPUメモリ要求とCPU-GPUデータ転送が大幅に削減される。 PowerInferはさらに適応予測器とニューロン認識スパース演算子を統合し、ニューロン活性化と計算空間の効率を最適化する。 評価によると、PowerInferは平均トークン生成レートが13.20トークン/秒に達し、ピークは29.08トークン/秒であり、1つのNVIDIA RTX 4090 GPU上の様々なLCM(OPT-175Bを含む)で、トップレベルのサーバグレードのA100 GPUよりもわずか18%低い。 これはモデルの精度を維持しつつ、最大で11.69倍のllama.cppを上回る。

関連論文リスト

• GPU-accelerated Effective Hamiltonian Calculator [70.12254823574538]
  本研究では,非摂動解析対角化法(NPAD)とマグナス拡大法に着想を得た数値解析手法を提案する。 私たちの数値技術は、オープンソースPythonパッケージとして、$rm qCH_eff$で利用可能です。
  論文  参考訳（メタデータ） (2024-11-15T06:33:40Z)
• Benchmarking Edge AI Platforms for High-Performance ML Inference [0.0]
  エッジコンピューティングは、通信遅延を減らし、リアルタイム処理を可能にする能力から、高性能で異質なSystem-on-Chipソリューションの興隆を促進している。 現在のアプローチでは、現代的なハードウェアをスケールダウンすることが多いが、ニューラルネットワークワークロードのパフォーマンス特性は、大きく異なる場合がある。 我々は、CPUのみ、CPU/GPU、CPU/NPU統合ソリューション間で、様々な線形代数およびニューラルネットワーク推論タスクのレイテンシとスループットを比較した。
  論文  参考訳（メタデータ） (2024-09-23T08:27:27Z)
• FLUX: Fast Software-based Communication Overlap On GPUs Through Kernel Fusion [9.5114389643299]
  本稿では,GPUに依存する計算で通信遅延を著しく隠蔽する新しいFlux法を提案する。 Fluxは核融合によって最大96%の通信を重複させる可能性がある。 全体としては、様々なGPU世代と相互接続を持つ128GPUのクラスタ上で、Megatron-LM上でのトレーニングのために、最大1.24倍のスピードアップを達成することができる。
  論文  参考訳（メタデータ） (2024-06-11T00:17:39Z)
• FlexGen: High-Throughput Generative Inference of Large Language Models with a Single GPU [89.2451963569343]
  FlexGenは、単一のコモディティGPU上で大きな言語モデル(LLM)推論を実行するための世代エンジンである。 1つの16GB GPU上でOPT-175Bを実行する場合、FlexGenは最先端のオフロードシステムに比べてスループットが大幅に向上する。 HELMベンチマークでは、FlexGenは7つの代表サブシナリオに16GBのGPUで30Bモデルを21時間でベンチマークすることができる。
  論文  参考訳（メタデータ） (2023-03-13T05:19:28Z)
• Variable Bitrate Neural Fields [75.24672452527795]
  本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。 辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
  論文  参考訳（メタデータ） (2022-06-15T17:58:34Z)
• AxoNN: An asynchronous, message-driven parallel framework for extreme-scale deep learning [1.5301777464637454]
  AxoNNは並列ディープラーニングフレームワークで、非同期とメッセージ駆動の実行を利用して、各GPU上でのニューラルネットワーク操作をスケジュールする。 トレーニング中に定期的にデータをオフロードするスクラッチスペースとしてCPUメモリを使用することで、AxoNNはGPUメモリ使用量を4倍削減することができる。
  論文  参考訳（メタデータ） (2021-10-25T14:43:36Z)
• Efficient and Generic 1D Dilated Convolution Layer for Deep Learning [52.899995651639436]
  幅広いパラメータをカバーする汎用的な1D畳み込み層の効率的な実装を紹介します。 特にIntel AVX-512とAVX-512 BFloat16命令を含むアーキテクチャ向けに最適化されている。 本稿では,最適化された1次元畳み込み層の性能を,実際のゲノミクスデータセットを用いたエンドツーエンドニューラルネットワークトレーニングで実証する。
  論文  参考訳（メタデータ） (2021-04-16T09:54:30Z)
• DistGNN: Scalable Distributed Training for Large-Scale Graph Neural Networks [58.48833325238537]
  大規模グラフの構造を学ぶためにGNN(Graph Neural Networks)のフルバッチトレーニングは、実現可能な数百の計算ノードにスケールする必要がある重要な問題です。 本稿では,CPUクラスタ上でのフルバッチトレーニングのためのDGL(Deep Graph Library)を最適化したGNNについて述べる。 4つの一般的なGNNベンチマークデータセットの結果は、1つのCPUソケットを使用して最大3.7倍のスピードアップ、128のCPUソケットを使用して最大97倍のスピードアップを示す。
  論文  参考訳（メタデータ） (2021-04-14T08:46:35Z)
• AdderNet and its Minimalist Hardware Design for Energy-Efficient Artificial Intelligence [111.09105910265154]
  アドラー畳み込みニューラルネットワーク(AdderNet)を用いた新しいミニマリストハードウェアアーキテクチャを提案する。 AdderNet全体の16%の高速化を実現している。 我々は、AdderNetが他の競争相手を追い越せると結論付けている。
  論文  参考訳（メタデータ） (2021-01-25T11:31:52Z)
• At-Scale Sparse Deep Neural Network Inference with Efficient GPU Implementation [24.824295164938604]
  本稿では,Sparse Deep Neural Network Challenge 2020の推論モデルに対するGPU性能の最適化とスケーリング結果について述べる。 スパースディープニューラルネットワーク(SpDNN)は、大規模なニューラルネットワークのメモリフットプリントを制御することを約束している。 本研究では,ReLU関数と融合したスパース行列乗算カーネルを提案する。
  論文  参考訳（メタデータ） (2020-07-28T12:09:43Z)
• A Simple Model for Portable and Fast Prediction of Execution Time and Power Consumption of GPU Kernels [2.9853894456071077]
  このモデルは、Parboil、Rodinia、Polybench-GPU、SHOCなどのベンチマークから189個の計算カーネルを使用してランダムなフォレストに基づいて構築されている。 クロスバリデーションを用いたモデル性能の評価では、中央値平均パーセンテージエラー(MAPE)は8.86-52.00%と1.84-2.94%で、それぞれ5つのGPUで電力予測を行う。
  論文  参考訳（メタデータ） (2020-01-20T13:40:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。