論文の概要: Automating Energy-Efficient GPU Kernel Generation: A Fast Search-Based Compilation Approach

• arxiv url: http://arxiv.org/abs/2411.18873v1
• Date: Thu, 28 Nov 2024 02:51:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-02 15:18:43.834662
• Title: Automating Energy-Efficient GPU Kernel Generation: A Fast Search-Based Compilation Approach
• Title（参考訳）: エネルギー効率の良いGPUカーネル生成の自動化:高速検索ベースのコンパイル手法
• Authors: Yijia Zhang, Zhihong Gou, Shijie Cao, Weigang Feng, Sicheng Zhang, Guohao Dai, Ningyi Xu,
• Abstract要約: エネルギー効率の良いGPUカーネルを生成するための新しい検索ベースコンパイル手法を提案する。 提案手法は,最大21.69%の省エネでGPUカーネルを生成可能であることを示す。
• 参考スコア（独自算出の注目度）: 5.03421342195771
• License:
• Abstract: Deep Neural Networks (DNNs) have revolutionized various fields, but their deployment on GPUs often leads to significant energy consumption. Unlike existing methods for reducing GPU energy consumption, which are either hardware-inflexible or limited by workload constraints, this paper addresses the problem at the GPU kernel level. We propose a novel search-based compilation method to generate energy-efficient GPU kernels by incorporating energy efficiency into the search process. To accelerate the energy evaluation process, we develop an accurate energy cost model based on high-level kernel features. Furthermore, we introduce a dynamic updating strategy for the energy cost model, reducing the need for on-device energy measurements and accelerating the search process. Our evaluation demonstrates that the proposed approach can generate GPU kernels with up to 21.69% reduced energy consumption while maintaining low latency.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、さまざまな分野に革命をもたらしたが、GPUへの展開は、しばしばかなりのエネルギー消費につながる。 ハードウェア非フレキシブルあるいはワークロード制約によって制限される既存のGPUエネルギー消費削減手法とは異なり、本論文はGPUカーネルレベルでの問題に対処する。 本稿では,エネルギー効率を探索プロセスに組み込むことで,エネルギー効率の高いGPUカーネルを生成する新しい検索ベースコンパイル手法を提案する。 エネルギー評価プロセスの高速化を目的として,高レベルカーネル特性に基づく正確なエネルギーコストモデルを構築した。 さらに,エネルギーコストモデルに対する動的更新戦略を導入し,デバイス上でのエネルギー測定の必要性を低減し,探索プロセスの高速化を図る。 提案手法は,低レイテンシを維持しながら,最大21.69%の省エネでGPUカーネルを生成可能であることを示す。

関連論文リスト

• Online Energy Optimization in GPUs: A Multi-Armed Bandit Approach [15.28157695259566]
  エネルギー消費は、将来のコンピューティングアーキテクチャの開発において重要な設計基準と制限要因となっている。 本稿では,HPCシナリオにおけるGPUのための新しい,実用的なオンラインエネルギー最適化問題について検討する。 EnergyUCBは、GPUコア周波数をリアルタイムで動的に調整し、パフォーマンスへの影響を最小限に抑えるように設計されている。
  論文  参考訳（メタデータ） (2024-10-03T17:05:34Z)
• Energy-Efficient Spiking Recurrent Neural Network for Gesture Recognition on Embedded GPUs [1.37621344207686]
  本研究では,スピーキングリカレントニューラルネットワーク(SRNN)と液体時間定数ニューロンを併用したジェスチャー認識システムについて検討した。 NVIDIA Jetson Nano組み込みGPUプラットフォームにおけるエネルギー効率と計算効率に着目した。
  論文  参考訳（メタデータ） (2024-08-23T10:50:29Z)
• PolyThrottle: Energy-efficient Neural Network Inference on Edge Devices [10.01838504586422]
  ML駆動システムの連続運転は、推論中にかなりのエネルギー消費をもたらす。 本稿では,GPU,メモリ,CPU周波数などのデバイス上のハードウェア要素の構成が,通常の微調整によるNN推論のエネルギー消費に与える影響について検討する。 本稿では,Constrained Bayesian Optimization を用いて,各ハードウェアコンポーネント間の構成をエネルギー保存的に最適化するPolyThrottleを提案する。
  論文  参考訳（メタデータ） (2023-10-30T20:19:41Z)
• Sustainable AIGC Workload Scheduling of Geo-Distributed Data Centers: A Multi-Agent Reinforcement Learning Approach [48.18355658448509]
  生成的人工知能の最近の進歩は、機械学習トレーニングの需要が急増し、エネルギー消費の大幅な増加によるコスト負担と環境問題を引き起こしている。 地理的に分散したクラウドデータセンタ間でのトレーニングジョブのスケジューリングは、安価で低炭素エネルギーのコンピューティング能力の使用を最適化する機会を浮き彫りにする。 本研究では,実生活におけるワークロードパターン,エネルギー価格,炭素強度を組み込んだクラウドシステムと対話することで,マルチエージェント強化学習とアクタクリティカルな手法に基づく最適協調スケジューリング戦略の学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-04-17T02:12:30Z)
• FemtoDet: An Object Detection Baseline for Energy Versus Performance Tradeoffs [27.006082622843653]
  常にオンの監視カメラのような畳み込みニューラルネットワークの視覚応用は、エネルギー制約にとって重要である。 本稿では,2つの視点からエネルギーと性能のトレードオフに到達するための検出器を設計し,ベースラインとして機能することを目的とする。
  論文  参考訳（メタデータ） (2023-01-17T06:24:08Z)
• Great Power, Great Responsibility: Recommendations for Reducing Energy for Training Language Models [8.927248087602942]
  一般的なNLPアプリケーションのエネルギー消費を削減できる技術について検討する。 これらの手法は、訓練言語モデルや推論に使用する際のエネルギー消費を著しく減少させる可能性がある。
  論文  参考訳（メタデータ） (2022-05-19T16:03:55Z)
• ETAD: A Unified Framework for Efficient Temporal Action Detection [70.21104995731085]
  時間的行動検出(TAD)のようなトリミングされていないビデオ理解は、しばしば計算資源に対する膨大な需要の苦痛に悩まされる。 我々は、効率的なエンド・ツー・エンドの時間的行動検出(ETAD)のための統合されたフレームワークを構築している。 ETADはTHUMOS-14とActivityNet-1.3の両方で最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2022-05-14T21:16:21Z)
• BottleFit: Learning Compressed Representations in Deep Neural Networks for Effective and Efficient Split Computing [48.11023234245863]
  圧縮速度が強い場合でも高い精度を達成するための新しいトレーニング戦略を含む,BottleFitと呼ばれる新しいフレームワークを提案する。 BottleFitは77.1%のデータ圧縮を実現し、ImageNetデータセットでは最大で0.6%の精度でロスする。 本稿では,BottleFitが消費電力とレイテンシを最大で49%,(w.r.t.)ローカルコンピューティングでは89%,エッジオフロードでは37%,W.r.t.エッジオフロードでは55%削減することを示した。
  論文  参考訳（メタデータ） (2022-01-07T22:08:07Z)
• AdderNet and its Minimalist Hardware Design for Energy-Efficient Artificial Intelligence [111.09105910265154]
  アドラー畳み込みニューラルネットワーク(AdderNet)を用いた新しいミニマリストハードウェアアーキテクチャを提案する。 AdderNet全体の16%の高速化を実現している。 我々は、AdderNetが他の競争相手を追い越せると結論付けている。
  論文  参考訳（メタデータ） (2021-01-25T11:31:52Z)
• The Architectural Implications of Distributed Reinforcement Learning on CPU-GPU Systems [45.479582612113205]
  CPU-GPUシステムにおけるRLトレーニングの性能と電力効率を改善する方法について述べる。 我々は,最先端分散rlトレーニングフレームワーク上でのハードウェア利用全体の定量化を行う。 また、新しいシステム設計メトリック、CPU/GPU比を導入し、CPUリソースとGPUリソースの最適なバランスを見つける方法を紹介します。
  論文  参考訳（メタデータ） (2020-12-08T04:50:05Z)
• Risk-Aware Energy Scheduling for Edge Computing with Microgrid: A Multi-Agent Deep Reinforcement Learning Approach [82.6692222294594]
  マイクログリッドを用いたMECネットワークにおけるリスク対応エネルギースケジューリング問題について検討する。 ニューラルネットワークを用いたマルチエージェントディープ強化学習(MADRL)に基づくアドバンテージアクター・クリティック(A3C)アルゴリズムを適用し,その解を導出する。
  論文  参考訳（メタデータ） (2020-02-21T02:14:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。