論文の概要: One Simple Trick for Improving the Performance of Energy-Limited Local Inference and Training

• arxiv url: http://arxiv.org/abs/2609.11936v1
• Date: Thu, 02 Jul 2026 13:01:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-05 14:48:16.082112
• Title: One Simple Trick for Improving the Performance of Energy-Limited Local Inference and Training
• Title（参考訳）: 省エネ型ローカル推論・トレーニングの性能向上のための簡単な試み
• Abstract要約: 現代のGPUデプロイメントにおいて、エネルギー供給と放熱が主な課題の2つだ。 作業負荷を高い周波数で計算とメモリを交互に行う小さな部分に分割することで、これらの電力と温度のスパイクを滑らかにすることができることを示す。 この効果をDGX Spark上で最大2%の性能向上とエネルギー効率の向上で活用できるシナリオをいくつか提示する。
• 参考スコア（独自算出の注目度）: 40.49884532005752
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Energy supply and heat dissipation are two of the main challenges with modern GPU deployments. While typically discussed in the context of new datacenter constructions, the same constraints also apply to small form-factor consumer devices, such as the DGX spark. In workloads characterized by alternating compute-intensive tasks such as matmuls with memory-bound operations such as norms or cross-entropy, the compute-intensive parts might hit power and/or thermal limits and start throttling. In this short paper, we show that chunking the workload into smaller parts that alternate compute and memory in higher frequencies, these power and temperature spikes can be smoothed out, preventing throttling and resulting in considerably faster wall-clock time and reduced total energy consumption. We present several scenarios in which this effect can be exploited on a DGX Spark with up to 2% performance and energy improvements, and demonstrate that the same phenomenon also happens on less constrained systems, such as a multi-GPU server, albeit at significantly reduced effect size of 1-2%.
• Abstract（参考訳）: 現代のGPUデプロイメントにおいて、エネルギー供給と放熱が主な課題の2つだ。 新しいデータセンター構築の文脈では通常議論されるが、DGXスパークのような小さなフォームファクターのコンシューマーデバイスにも同様の制約が適用される。 計算集約的なタスクをノルムやクロスエントロピーといったメモリバウンドな操作と交互に行うことで特徴づけられるワークロードでは、計算集約的な部分は電力や熱制限にぶつかってスロットリングを始めます。 本稿では,作業負荷を高い周波数で計算とメモリを交互に行う小さな部分に分割することで,これらの電力と温度のスパイクをスムーズにし,スロットリングを防止し,壁面時間を大幅に短縮し,総エネルギー消費量を削減できることを示す。 この効果を最大2%の性能とエネルギー改善でDGX Sparkで活用できるシナリオをいくつか提示し、マルチGPUサーバのような制約の少ないシステムでも同様の現象が起こっていることを実証する。

関連論文リスト

• A principled approach for energy-efficient training via phase-aware GPU frequency tuning [0.28106259549258145]
  本稿では,相認識型動的適応型GPU周波数チューニングシステムPAFTについて述べる。 12種類の広く使用されているモデルで実施された実験では、PAFTは全てのベースラインを一貫して上回り、平均4%のオーバーヘッドで最大46%の省エネを実現している。
  論文  参考訳（メタデータ） (2026-09-21T07:20:57Z)
• Ge$^\text{2}$mS-T: Multi-Dimensional Grouping for Ultra-High Energy Efficiency in Spiking Transformer [84.8831358775386]
  スパイキングニューラルネットワーク(SNN)は、ニューラルネットワーク(ANN)よりも優れたエネルギー効率を提供する ANN-SNN ConversionやSpatial-Temporal Backpropagation (STBP)といった既存のパラダイムは、固有の制限に悩まされている。 Ge$text2$mS-Tを提案する。これは時間的・空間的・ネットワーク的構造次元にまたがるグループ計算を実装した新しいアーキテクチャである。
  論文  参考訳（メタデータ） (2026-04-10T02:58:46Z)
• Evolutionary Mapping of Neural Networks to Spatial Accelerators [64.13809409887254]
  ニューロモルフィック加速器のための最初の進化的ハードウェア・イン・ザ・ループマッピングフレームワークを紹介する。 我々は,2次元メッシュに152コアを配置した空間加速器であるIntel Loihi 2のアプローチを評価した。 提案手法は,2つのスパース多層パーセプトロンネットワーク上でのデフォルトコアと比較して,最大35%のレイテンシ削減を実現している。
  論文  参考訳（メタデータ） (2026-02-04T16:28:08Z)
• Reducing Compute Waste in LLMs through Kernel-Level DVFS [0.4747334911695324]
  我々は、新しい周波数構成を探求するカーネルレベルのDVFSアプローチを提案し、これらが従来のパスレベルやイテレーションレベルのソリューションよりも省エネであることを証明した。 GPT-3のトレーニングでは、パスレベルアプローチは(性能を損なわずに)エネルギー消費を2%削減するが、カーネルレベルのアプローチは最大14.6%削減できる。
  論文  参考訳（メタデータ） (2026-01-13T13:26:57Z)
• Prefill vs. Decode Bottlenecks: SRAM-Frequency Tradeoffs and the Memory-Bandwidth Ceiling [5.606289163036201]
  エネルギー消費は、大規模言語モデルの展開によるコストと環境への影響を規定する。 本稿では,LLM推論のエネルギー効率と性能に及ぼすオンチップサイズと動作周波数の影響について検討する。
  論文  参考訳（メタデータ） (2025-12-26T15:42:29Z)
• Power- and Fragmentation-aware Online Scheduling for GPU Datacenters [9.29180785233729]
  我々はGPUのフラグメンテーションの最小化と消費電力の削減という2つの目標に焦点を当てている。 そこで本稿では,電力効率のよいGPUとCPUの組み合わせを選択することで,電力使用量を最小限に抑える新しいスケジューリングポリシーであるPWRを提案する。 本稿では,PWRがFGDと組み合わせることで,消費電力削減とGPUフラグメンテーションの最小化のトレードオフを実現することを示す。
  論文  参考訳（メタデータ） (2024-12-23T11:27:17Z)
• RS-vHeat: Heat Conduction Guided Efficient Remote Sensing Foundation Model [59.37279559684668]
  本稿では,効率的なマルチモーダルリモートセンシング基盤モデルであるRS-vHeatを紹介する。 具体的には、RS-vHeatは、O(N1.5)$の複雑さを持つ熱伝導演算子(HCO)と、大域的受容場を適用している。 注意に基づくリモートセンシング基礎モデルと比較して、メモリ使用量を84%削減し、FLOPを24%削減し、スループットを2.7倍改善する。
  論文  参考訳（メタデータ） (2024-11-27T01:43:38Z)
• Online Energy Optimization in GPUs: A Multi-Armed Bandit Approach [15.28157695259566]
  エネルギー消費は、将来のコンピューティングアーキテクチャの開発において重要な設計基準と制限要因となっている。 本稿では,HPCシナリオにおけるGPUのための新しい,実用的なオンラインエネルギー最適化問題について検討する。 EnergyUCBは、GPUコア周波数をリアルタイムで動的に調整し、パフォーマンスへの影響を最小限に抑えるように設計されている。
  論文  参考訳（メタデータ） (2024-10-03T17:05:34Z)
• Energy-Efficient Model Compression and Splitting for Collaborative Inference Over Time-Varying Channels [52.60092598312894]
  本稿では,エッジノードとリモートノード間のモデル圧縮と時間変化モデル分割を利用して,エッジデバイスにおける総エネルギーコストを削減する手法を提案する。 提案手法は, 検討されたベースラインと比較して, エネルギー消費が最小限であり, 排出コストが$CO$となる。
  論文  参考訳（メタデータ） (2021-06-02T07:36:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。