Fugu-MT 論文翻訳(概要): An exploration of the effect of quantisation on energy consumption and inference time of StarCoder2

論文の概要: An exploration of the effect of quantisation on energy consumption and inference time of StarCoder2

arxiv url: http://arxiv.org/abs/2411.12758v1
Date: Fri, 15 Nov 2024 21:28:19 GMT
ステータス: 翻訳完了
システム内更新日: 2024-11-28 17:07:49.225996
Title: An exploration of the effect of quantisation on energy consumption and inference time of StarCoder2
Title（参考訳）: StarCoder2のエネルギー消費と推定時間に及ぼす量子化の影響の探索
Authors: Pepijn de Reus, Ana Oprescu, Jelle Zuidema,
Abstract要約: 本研究では,Large Language Models (LLMs) 推論におけるエネルギー消費を削減するための量子化とプルーニング戦略について検討する。我々は,低スループットとある程度の精度の損失により,量子化によるエネルギー需要の増加を観察する。精度の低下を最小限に抑えて効率を向上させるため,ハードウェア最適化量子化に関する今後の研究を提案する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This study examines quantisation and pruning strategies to reduce energy consumption in code Large Language Models (LLMs) inference. Using StarCoder2, we observe increased energy demands with quantization due to lower throughput and some accuracy losses. Conversely, pruning reduces energy usage but impairs performance. The results highlight challenges and trade-offs in LLM model compression. We suggest future work on hardware-optimized quantization to enhance efficiency with minimal loss in accuracy.
Abstract（参考訳）: 本研究では,Large Language Models (LLMs) 推論におけるエネルギー消費を削減するための量子化とプルーニング戦略について検討する。 StarCoder2を用いて、スループットの低下と精度の低下による量子化に伴うエネルギー需要の増加を観察した。逆に、プルーニングはエネルギー消費を減らすが、性能を損なう。その結果,LLMモデル圧縮における課題とトレードオフが浮き彫りになった。精度の低下を最小限に抑えて効率を向上させるため,ハードウェア最適化量子化に関する今後の研究を提案する。

関連論文リスト

Sustainable LLM Inference for Edge AI: Evaluating Quantized LLMs for Energy Efficiency, Output Accuracy, and Inference Latency [6.306413686006502]
我々はOllamaライブラリから28の量子化大言語モデル(LLM)を包括的に分析する。我々は、複数の量子化レベルおよびタスクタイプにわたるエネルギー効率、推論性能、出力精度を評価する。その結果,異なる量子化設定におけるエネルギー効率,推定速度,精度のトレードオフが明らかになった。
論文参考訳（メタデータ） (2025-04-04T11:29:30Z)
LLMPi: Optimizing LLMs for High-Throughput on Raspberry Pi [0.48212500317840945]
Raspberry Piのようなリソース制約のあるエッジデバイス上の大規模言語モデル(LLM)は、計算効率、消費電力、レスポンスレイテンシの課題を提示している。本稿では,低消費電力組込みシステム上でのLLMの高スループット・エネルギー効率実行を実現するために,量子化に基づく最適化手法について検討する。我々の発見は、エッジデバイス上でリアルタイムの対話型AIのための量子LLMの可能性を強調し、モバイルおよび組み込みアプリケーションにおける低消費電力で高効率なAIデプロイメントの道を開いた。
論文参考訳（メタデータ） (2025-04-02T20:29:39Z)
QuartDepth: Post-Training Quantization for Real-Time Depth Estimation on the Edge [55.75103034526652]
ASIC のハードウェアアクセラレーションによる MDE モデルの定量化を後学習量子化に応用した QuartDepth を提案する。提案手法では,重みとアクティベーションの両方を4ビット精度で定量化し,モデルサイズと計算コストを削減する。我々は、カーネル融合とカスタマイズされた命令プログラム性をサポートすることにより、フレキシブルでプログラム可能なハードウェアアクセラレータを設計する。
論文参考訳（メタデータ） (2025-03-20T21:03:10Z)
HALO: Hardware-aware quantization with low critical-path-delay weights for LLM acceleration [5.88033624474104]
ハードウェア・アウェア・ポスト・トライニング・量子化(PTQ)のための汎用フレームワークHALO 従来の方法とは異なり、HALOはクリティカルパスのタイミングや消費電力など、ハードウェアの詳細な特徴を明示的に取り入れている。ベースライン量子化法では, 平均270%, 51%の省エネ性能が向上した。
論文参考訳（メタデータ） (2025-02-27T01:08:33Z)
Discovering highly efficient low-weight quantum error-correcting codes with reinforcement learning [0.5524804393257919]
我々は、強化学習(RL)に基づく安定化符号量削減のための汎用的で計算効率の良いアプローチを導入する。提案手法は,重み6符号の1～2桁の既存の結果と比較して,物理量子ビットオーバーヘッドの削減を実証する。
論文参考訳（メタデータ） (2025-02-20T09:05:34Z)
The Energy Loss Phenomenon in RLHF: A New Perspective on Mitigating Reward Hacking [72.45765726160151]
この研究は、人間からのフィードバックからの強化学習におけるエネルギー損失現象と、そのハッキング報酬への関連を識別する。報酬計算において最終層におけるエネルギー損失の増加をペナルティ化し,過大なエネルギー損失を防止するEnergy Los-Aware PPOアルゴリズム(EPPO)を提案する。
論文参考訳（メタデータ） (2025-01-31T18:10:53Z)
Prompt engineering and its implications on the energy consumption of Large Language Models [4.791072577881446]
ソフトウェア工学における大規模言語モデル(LLM)は、計算資源、データセンター、二酸化炭素排出に関する深刻な問題を引き起こす。本稿では,コード生成タスクにおけるLlama 3モデルの炭素排出に及ぼすPETの影響について検討する。
論文参考訳（メタデータ） (2025-01-10T11:49:31Z)
MixPE: Quantization and Hardware Co-design for Efficient LLM Inference [16.42907854119748]
MixPEは、大規模言語モデルにおける効率的な低ビット量子化のために設計された、特殊な混合精度処理素子である。我々は、MixPEが最先端の量子化アクセラレータを2.6倍のスピードアップと1.4倍のエネルギー削減で超えることを示した。
論文参考訳（メタデータ） (2024-11-25T07:34:53Z)
Q-VLM: Post-training Quantization for Large Vision-Language Models [73.19871905102545]
本稿では,大規模視覚言語モデル(LVLM)の学習後量子化フレームワークを提案する。視覚言語モデル全体の離散化誤差に大きな影響を及ぼす層間依存関係を抽出し、この依存関係を最適な量子化戦略に組み込む。実験の結果,提案手法はメモリを2.78倍圧縮し,出力速度を約13B LLaVAモデルで1.44倍向上させることができた。
論文参考訳（メタデータ） (2024-10-10T17:02:48Z)
Impact of ML Optimization Tactics on Greener Pre-Trained ML Models [46.78148962732881]
本研究の目的は,画像分類データセットと事前学習モデルの解析,最適化モデルと非最適化モデルを比較して推論効率を向上させること,最適化の経済的影響を評価することである。画像分類におけるPyTorch最適化手法(動的量子化、トーチ・コンパイル、局所プルーニング、グローバルプルーニング)と42のHugging Faceモデルの影響を評価するための制御実験を行った。動的量子化は推論時間とエネルギー消費の大幅な削減を示し、大規模システムに非常に適している。
論文参考訳（メタデータ） (2024-09-19T16:23:03Z)
DiTAS: Quantizing Diffusion Transformers via Enhanced Activation Smoothing [5.174900115018253]
効率的な拡散変換器(DiT)のためのデータフリー後トレーニング量子化(PTQ)法を提案する。 DiTASは、入力アクティベーションにおけるチャネルワイド・アウトレイアの影響を軽減するために、時間的凝集平滑化手法が提案されている。提案手法により,DiTの4ビット重み付き8ビットアクティベーション(W4A8)量子化が可能であり,全精度モデルとして同等の性能を維持した。
論文参考訳（メタデータ） (2024-09-12T05:18:57Z)
PikeLPN: Mitigating Overlooked Inefficiencies of Low-Precision Neural Networks [4.827161693957252]
非量子化要素演算は、低精度モデルの推論コストを支配している。 PikeLPNモデルは、要素演算と乗算累積演算の両方に量子化を適用することで、これらの問題に対処する。
論文参考訳（メタデータ） (2024-03-29T18:23:34Z)
What Makes Quantization for Large Language Models Hard? An Empirical Study from the Lens of Perturbation [55.153595212571375]
量子化は、大規模言語モデル(LLM)のメモリと計算効率を改善する技術である。本稿では,LLMの重みと活性化に付加される摂動として,量子化の新しい視点を提案する。各種人工摂動実験を行い,LLMの性能への影響について検討する。
論文参考訳（メタデータ） (2024-03-11T03:42:51Z)
WKVQuant: Quantizing Weight and Key/Value Cache for Large Language Models Gains More [55.0856305773081]
大規模言語モデル (LLM) は、そのメモリ要求と自動回帰テキスト生成プロセスの計算要求のために、重要なデプロイメント課題に直面している。本稿では、モデルパラメータとアクティベーションを低ビット整数に変換することでメモリ消費を低減する手法であるLCMの量子化に着目し、これらの課題に対処する。
論文参考訳（メタデータ） (2024-02-19T11:33:21Z)
Do Emergent Abilities Exist in Quantized Large Language Models: An Empirical Study [90.34226812493083]
本研究の目的は,LLMを小言語モデルと区別する重要な特徴である現象能力に対する量子化の影響を検討することである。実験により、これらの創発能力は4ビット量子化モデルに残っており、2ビットモデルは深刻な性能劣化に直面していることがわかった。低ビットモデルの性能向上のために,(1) 部品(またはサブ構造)が量子化に敏感である場合の微視的影響解析,(2) モデル微視化による性能補償の2つの実験を行った。
論文参考訳（メタデータ） (2023-07-16T15:11:01Z)
NoisyQuant: Noisy Bias-Enhanced Post-Training Activation Quantization for Vision Transformers [53.85087932591237]
NoisyQuantは、視覚変換器のトレーニング後のアクティベーション量子化性能に対する量子化器に依存しない拡張である。理論的な洞察に基づいて、NoisyQuantは重い尾の活性化分布を積極的に変化させる最初の成功を達成している。 NoisyQuantは、最小の計算オーバーヘッドで視覚変換器のトレーニング後の量子化性能を大幅に改善する。
論文参考訳（メタデータ） (2022-11-29T10:02:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。