論文の概要: Reducing Compute Waste in LLMs through Kernel-Level DVFS

• arxiv url: http://arxiv.org/abs/2601.08539v1
• Date: Tue, 13 Jan 2026 13:26:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-14 18:27:19.213931
• Title: Reducing Compute Waste in LLMs through Kernel-Level DVFS
• Title（参考訳）: カーネルレベルDVFSによるLCMのコンピュータ廃棄物削減
• Authors: Jeffrey Spaan, Kuan-Hsun Chen, Ana-Lucia Varbanescu,
• Abstract要約: 我々は、新しい周波数構成を探求するカーネルレベルのDVFSアプローチを提案し、これらが従来のパスレベルやイテレーションレベルのソリューションよりも省エネであることを証明した。 GPT-3のトレーニングでは、パスレベルアプローチは(性能を損なわずに)エネルギー消費を2%削減するが、カーネルレベルのアプローチは最大14.6%削減できる。
• 参考スコア（独自算出の注目度）: 0.4747334911695324
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rapid growth of AI has fueled the expansion of accelerator- or GPU-based data centers. However, the rising operational energy consumption has emerged as a critical bottleneck and a major sustainability concern. Dynamic Voltage and Frequency Scaling (DVFS) is a well-known technique used to reduce energy consumption, and thus improve energy-efficiency, since it requires little effort and works with existing hardware. Reducing the energy consumption of training and inference of Large Language Models (LLMs) through DVFS or power capping is feasible: related work has shown energy savings can be significant, but at the cost of significant slowdowns. In this work, we focus on reducing waste in LLM operations: i.e., reducing energy consumption without losing performance. We propose a fine-grained, kernel-level, DVFS approach that explores new frequency configurations, and prove these save more energy than previous, pass- or iteration-level solutions. For example, for a GPT-3 training run, a pass-level approach could reduce energy consumption by 2% (without losing performance), while our kernel-level approach saves as much as 14.6% (with a 0.6% slowdown). We further investigate the effect of data and tensor parallelism, and show our discovered clock frequencies translate well for both. We conclude that kernel-level DVFS is a suitable technique to reduce waste in LLM operations, providing significant energy savings with negligible slow-down.
• Abstract（参考訳）: AIの急速な成長は、アクセラレーターまたはGPUベースのデータセンターの拡大を加速させた。 しかし、運用エネルギー消費の増大は重要なボトルネックとなり、大きな持続可能性への懸念が高まっている。 動的電圧と周波数スケーリング(DVFS)は、エネルギー消費を削減し、エネルギー効率を向上させるためによく知られた手法である。 大規模言語モデル(LLM)のDVFSやパワーキャッピングによる訓練と推論のエネルギー消費量の削減は実現可能である。 本研究では, LLM 運転における無駄を削減すること,すなわち, 性能を損なうことなくエネルギー消費を減らすことに焦点を当てる。 我々は、新しい周波数構成を探索し、これらが以前のパスレベルやイテレーションレベルのソリューションよりも省エネであることを証明した、きめ細かいカーネルレベルのDVFSアプローチを提案する。 例えば、GPT-3のトレーニングでは、パスレベルアプローチはエネルギー消費を2%削減し(性能を損なうことなく)、カーネルレベルのアプローチは最大14.6%削減する(0.6%の減速)。 さらに、データとテンソル並列性の影響について検討し、その双方について、検出したクロック周波数がよく翻訳されていることを示す。 カーネルレベルのDVFSは, LLM操作における無駄を削減するのに適した手法であり, 無視できるスローダウンで大幅な省エネを実現することができる。

関連論文リスト

• The Energy Loss Phenomenon in RLHF: A New Perspective on Mitigating Reward Hacking [72.45765726160151]
  この研究は、人間からのフィードバックからの強化学習におけるエネルギー損失現象と、そのハッキング報酬への関連を識別する。 報酬計算において最終層におけるエネルギー損失の増加をペナルティ化し,過大なエネルギー損失を防止するEnergy Los-Aware PPOアルゴリズム(EPPO)を提案する。
  論文  参考訳（メタデータ） (2025-01-31T18:10:53Z)
• On the Effectiveness of Microservices Tactics and Patterns to Reduce Energy Consumption: An Experimental Study on Trade-Offs [3.928499292698212]
  マイクロサービスベースのシステムは、ソフトウェア産業に定着しています。 持続可能性に関する法律とエネルギー消費ソフトウェアのコストの増大は、これらのシステムにおけるエネルギー効率の重要性を高めます。 アーキテクチャの戦術やパターンについてはいくつかの提案があるが、その効果と、他の品質特性(QA)に関する潜在的なトレードオフは、まだ不明である。
  論文  参考訳（メタデータ） (2025-01-24T11:15:23Z)
• TinyML NLP Scheme for Semantic Wireless Sentiment Classification with Privacy Preservation [49.801175302937246]
  本研究は、エッジデバイスにプライバシ保護、エネルギー効率の高いNLPモデルをデプロイする際の洞察を提供する。 セマンティックスプリットラーニング(SL)を,エネルギー効率,プライバシ保護,小型機械学習(TinyML)フレームワークとして導入する。 その結果,FLの4倍,CLの約18倍の再現誤差の増加により,SLは計算能力とCO2排出量を著しく低減し,プライバシーの向上を図った。
  論文  参考訳（メタデータ） (2024-11-09T21:26:59Z)
• Hybrid Heterogeneous Clusters Can Lower the Energy Consumption of LLM Inference Workloads [0.2389598109913753]
  大規模言語モデル(LLM)の訓練と使用には大量のエネルギーが必要である。 本稿では, LLM を運用するデータセンターにおけるエネルギー消費削減の課題に対処する。 本稿では,コストベースのスケジューリングフレームワークを用いて,ハードウェアアクセラレータ間でタスクを動的に割り当てるハイブリッドデータセンターモデルを提案する。
  論文  参考訳（メタデータ） (2024-04-25T11:24:08Z)
• Energy-Efficient Power Control for Multiple-Task Split Inference in UAVs: A Tiny Learning-Based Approach [27.48920259431965]
  無人航空機(UAV)における分割推論におけるエネルギー最小化のための2段階のアプローチを提案する。 送信電力の最適化を送信時間に置き換えて,計算複雑性を低減する。 シミュレーションの結果,提案アルゴリズムは低消費電力でタスク完了確率が高いことを示す。
  論文  参考訳（メタデータ） (2023-12-31T10:16:59Z)
• Great Power, Great Responsibility: Recommendations for Reducing Energy for Training Language Models [8.927248087602942]
  一般的なNLPアプリケーションのエネルギー消費を削減できる技術について検討する。 これらの手法は、訓練言語モデルや推論に使用する際のエネルギー消費を著しく減少させる可能性がある。
  論文  参考訳（メタデータ） (2022-05-19T16:03:55Z)
• Deep Reinforcement Learning Based Multidimensional Resource Management for Energy Harvesting Cognitive NOMA Communications [64.1076645382049]
  エネルギー収穫(EH)、認知無線(CR)、非直交多重アクセス(NOMA)の組み合わせはエネルギー効率を向上させるための有望な解決策である。 本稿では,決定論的CR-NOMA IoTシステムにおけるスペクトル,エネルギー,時間資源管理について検討する。
  論文  参考訳（メタデータ） (2021-09-17T08:55:48Z)
• Memory-Aware Partitioning of Machine Learning Applications for Optimal Energy Use in Batteryless Systems [17.072240411944914]
  電池レスアプリケーションの総エネルギーコストを最適化する自動化手法であるJulinningを提案する。 本手法では, エネルギー負荷を0.12%に抑えながら, 必要なエネルギー貯蔵量を94%以上削減できる。
  論文  参考訳（メタデータ） (2021-08-05T09:49:42Z)
• SmartDeal: Re-Modeling Deep Network Weights for Efficient Inference and Training [82.35376405568975]
  ディープニューラルネットワーク(DNN)は重いパラメータ化を伴い、ストレージ用の外部動的ランダムアクセスメモリ(DRAM)につながります。 We present SmartDeal (SD), a algorithm framework to trade high-cost memory storage/ access for lower-cost compute。 SDは貯蔵および訓練エネルギーの10.56xそして4.48x減少、最先端の訓練のベースラインと比較される無視可能な正確さの損失をもたらすことを示します。
  論文  参考訳（メタデータ） (2021-01-04T18:54:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。