論文の概要: SparseDVFS: Sparse-Aware DVFS for Energy-Efficient Edge Inference
- arxiv url: http://arxiv.org/abs/2603.21908v1
- Date: Mon, 23 Mar 2026 12:29:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-24 19:11:39.666853
- Title: SparseDVFS: Sparse-Aware DVFS for Energy-Efficient Edge Inference
- Title(参考訳): スパースDVFS:エネルギー効率の良いエッジ推論のためのスパース認識DVFS
- Authors: Ziyang Zhang, Zheshun Wu, Jie Liu, Luca Mottola,
- Abstract要約: 本稿では,エネルギー効率の良いエッジ推論のための細粒度でスパース対応なDVFSフレームワークであるSparseDVFSを提案する。
我々の重要な洞察は、演算子間隔がハードウェア周波数変調の主要な指標であるということである。
SparseDVFSは最先端のソリューションよりも平均78.17%のエネルギー効率向上を実現している。
- 参考スコア(独自算出の注目度): 24.06892697687466
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deploying deep neural networks (DNNs) on power-sensitive edge devices presents a formidable challenge. While Dynamic Voltage and Frequency Scaling (DVFS) is widely employed for energy optimization, traditional model-level scaling is often too coarse to capture intra-inference variations, whereas fine-grained operator-level scaling suffers from prohibitive performance degradation due to significant hardware switching latency. This paper presents SparseDVFS, a fine-grained, sparse-aware DVFS framework designed for energy-efficient edge inference. Our key insight is that operator sparsity is a primary metric for hardware frequency modulation. By distinguishing between compute-bound dense operators and memory-bound sparse operators, the system can apply specialized frequency triplets to maximize energy efficiency. To overcome switching overheads and component interference, SparseDVFS incorporates three key innovations: (1) an offline modeler that established a deterministic mapping between operator sparsity and optimal frequency triplets (CPU/GPU/EMC) via white-box timeline analysis; (2) a runtime graph partitioner that utilizes a greedy merging heuristic to aggregate operators into super-blocks, balancing scaling granularity and DVFS switching latency through a latency amortization constraint; and (3) a unified co-governor that employs a frequency unified scaling engine (FUSE) and a look-ahead instruction queue to eliminate antagonistic effects between independent controllers and hide hardware transition latencies. Extensive evaluations show that SparseDVFS achieves an average 78.17% energy efficiency gain over state-of-the-art solutions while maintaining a superior 14% cost-gain ratio.
- Abstract(参考訳): 電力に敏感なエッジデバイスにディープニューラルネットワーク(DNN)をデプロイすることは、非常に難しい課題である。
動的電圧と周波数スケーリング(DVFS)はエネルギー最適化に広く用いられているが、従来のモデルレベルのスケーリングは推論内変動を捉えるには粗いことが多い。
本稿では,エネルギー効率のよいエッジ推論のために設計された細粒度でスパース対応のDVFSフレームワークであるSparseDVFSを提案する。
我々の重要な洞察は、演算子間隔がハードウェア周波数変調の主要な指標であるということである。
計算バウンド密度演算子とメモリバウンドスパース演算子を区別することにより、エネルギー効率を最大化するために特別な周波数三重項を適用することができる。
スイッチングオーバヘッドとコンポーネントの干渉を克服するために、SparseDVFSは、(1)演算子間隔と最適周波数トリプレット(CPU/GPU/EMC)のホワイトボックスタイムライン解析による決定論的マッピングを確立するオフラインモデラー、(2)演算子を集約するグリージーマージヒューリスティックを利用するランタイムグラフパーティショナ、遅延補正制約によるスケーリング粒度とDVFS切り替え遅延のバランス、(3)周波数統一スケーリングエンジン(FUSE)とルックアヘッド命令キューを併用して、独立制御子とハードウェアトランジッシャ間のアンタゴニスティック効果を排除した、という3つの重要なイノベーションを取り入れている。
SparseDVFSは、最先端のソリューションよりも平均78.17%のエネルギー効率向上を実現し、優れた14%のコストゲイン比を維持している。
関連論文リスト
- HALO: Semantic-Aware Distributed LLM Inference in Lossy Edge Network [50.33808558714122]
エッジでの大規模言語モデル(LLM)推論は、ユーザのプライバシを保護すると同時に、サービスの応答性を促進する。
損失エッジネットワークにおける分散LLM推論を向上する新しいフレームワークであるHALOを提案する。
Raspberry Piクラスタによる実験の結果、HALOは信頼性の低いネットワーク条件下でLLaMAシリーズLLMの3.41倍のエンドツーエンドのスピードアップを達成した。
論文 参考訳(メタデータ) (2026-01-16T07:37:23Z) - SPJFNet: Self-Mining Prior-Guided Joint Frequency Enhancement for Ultra-Efficient Dark Image Restoration [3.2735437407166414]
現在の暗黒画像復元法は、深刻な効率のボトルネックに悩まされている。
本稿では,SPJFNetを用いた自己マイニング事前誘導型結合周波数拡張ネットワークを提案する。
論文 参考訳(メタデータ) (2025-08-06T03:06:29Z) - Intra-DP: A High Performance Collaborative Inference System for Mobile Edge Computing [67.98609858326951]
Intra-DPはモバイルデバイス上でのディープニューラルネットワーク(DNN)に最適化された高性能な協調推論システムである。
推論毎のレイテンシを最大50%削減し、最先端のベースラインと比較してエネルギー消費量を最大75%削減する。
評価の結果,DP内の遅延は,最先端のベースラインと比較して最大50%,エネルギー消費は最大75%減少することがわかった。
論文 参考訳(メタデータ) (2025-07-08T09:50:57Z) - The Larger the Merrier? Efficient Large AI Model Inference in Wireless Edge Networks [56.37880529653111]
大規模計算モデル(LAIM)サービスの需要は、従来のクラウドベースの推論から、低レイテンシでプライバシ保護のアプリケーションのためのエッジベースの推論へのパラダイムシフトを推進している。
本稿では,事前学習したLAIMをデバイス上のサブモデルとサーバ上のサブモデルに分割して配置するLAIM推論方式について検討する。
論文 参考訳(メタデータ) (2025-05-14T08:18:55Z) - Delayed Random Partial Gradient Averaging for Federated Learning [2.9914612342004503]
我々は、フェデレートラーニング(FL)を強化するために、遅延ランダム部分勾配平均化(DPGA)を提案する。
DPGAでは、クライアントはサーバと部分的なローカルモデル勾配しか共有しないが、ローカルモデルにおける共有部分のサイズは更新率によって決定される。
論文 参考訳(メタデータ) (2024-12-28T03:14:27Z) - FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
分散トレーニングは、システム設計と効率に関する重要な課題に直面します。
大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。
本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45~9.39倍の高速化を実現可能であることを示す。
論文 参考訳(メタデータ) (2024-10-16T16:13:19Z) - Adaptive Frequency Filters As Efficient Global Token Mixers [100.27957692579892]
適応周波数フィルタは効率的なグローバルトークンミキサーとして機能することを示す。
我々は、AFFNetと呼ばれる軽量ニューラルネットワークを構築するために、AFFトークンミキサーを主要なニューラルネットワークとして捉えています。
論文 参考訳(メタデータ) (2023-07-26T07:42:28Z) - DVFO: Learning-Based DVFS for Energy-Efficient Edge-Cloud Collaborative
Inference [12.095934624748686]
本稿では,新しいDVFS対応エッジクラウド協調推論フレームワークであるDVFOを提案する。
エッジデバイスのCPU、GPU、メモリの周波数を自動的に最適化し、機能マップをクラウドサーバにオフロードする。
最先端の計画に比べて、エネルギー消費を平均で33%削減する。
論文 参考訳(メタデータ) (2023-06-02T07:00:42Z) - EdgeBERT: Sentence-Level Energy Optimizations for Latency-Aware
Multi-Task NLP Inference [82.1584439276834]
BERTのようなトランスフォーマーベースの言語モデルでは、自然言語処理(NLP)タスクの精度が大幅に向上する。
We present EdgeBERT, a in-deepth algorithm- hardware co-design for latency-aware energy optimization for multi-task NLP。
論文 参考訳(メタデータ) (2020-11-28T19:21:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。