論文の概要: E4: Energy-Efficient DNN Inference for Edge Video Analytics Via Early-Exit and DVFS

• arxiv url: http://arxiv.org/abs/2503.04865v1
• Date: Thu, 06 Mar 2025 10:41:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-10 12:24:02.376231
• Title: E4: Energy-Efficient DNN Inference for Edge Video Analytics Via Early-Exit and DVFS
• Title（参考訳）: E4: 早期およびDVFSによるエッジビデオ分析のためのエネルギー効率の良いDNN推論
• Authors: Ziyang Zhang, Yang Zhao, Ming-Ching Chang, Changyao Lin, Jie Liu,
• Abstract要約: ディープニューラルネットワーク(DNN)モデルは、エッジビデオ分析アプリケーションでますます人気が高まっている。 現在のソリューションでは、ビデオフレームのさまざまな複雑さを考慮できないため、エッジビデオ分析では、サブ最適パフォーマンスが期待できる。 本稿では,エッジビデオ解析におけるDNN推論効率を向上させるためのエネルギー効率の良い早期実行フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 24.936645018139078
• License:
• Abstract: Deep neural network (DNN) models are increasingly popular in edge video analytic applications. However, the compute-intensive nature of DNN models pose challenges for energy-efficient inference on resource-constrained edge devices. Most existing solutions focus on optimizing DNN inference latency and accuracy, often overlooking energy efficiency. They also fail to account for the varying complexity of video frames, leading to sub-optimal performance in edge video analytics. In this paper, we propose an Energy-Efficient Early-Exit (E4) framework that enhances DNN inference efficiency for edge video analytics by integrating a novel early-exit mechanism with dynamic voltage and frequency scaling (DVFS) governors. It employs an attention-based cascade module to analyze video frame diversity and automatically determine optimal DNN exit points. Additionally, E4 features a just-in-time (JIT) profiler that uses coordinate descent search to co-optimize CPU and GPU clock frequencies for each layer before the DNN exit points. Extensive evaluations demonstrate that E4 outperforms current state-of-the-art methods, achieving up to 2.8x speedup and 26% average energy saving while maintaining high accuracy.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)モデルは、エッジビデオ分析アプリケーションでますます人気が高まっている。 しかし、DNNモデルの計算集約性は、資源制約されたエッジデバイス上でエネルギー効率の高い推論を困難にしている。 既存のソリューションの多くはDNN推論のレイテンシと精度を最適化することに重点を置いている。 また、ビデオフレームの複雑さの相違も考慮せず、エッジビデオ分析の準最適性能に繋がる。 本稿では,動的電圧と周波数スケーリング(DVFS)を併用した新しい早期出力機構を組み込むことで,エッジビデオ解析におけるDNN推論効率を向上させるEnergy-Efficient Early-Exit(E4)フレームワークを提案する。 ビデオフレームの多様性を分析し、最適なDNNエグジットポイントを自動的に決定するために、アテンションベースのカスケードモジュールを使用している。 さらにE4はジャスト・イン・タイム(JIT)プロファイラを備えており、座標降下探索を使用して、DNN出口前の各レイヤのCPUとGPUクロックの周波数を最適化する。 大規模な評価では、E4は最先端の手法よりも優れており、高い精度を維持しながら2.8倍のスピードアップと26%の省エネを実現している。

関連論文リスト

• Arena: A Patch-of-Interest ViT Inference Acceleration System for Edge-Assisted Video Analytics [18.042752812489276]
  視覚変換器(ViT)を用いたエッジ・ツー・エンドビデオ推論高速化システムを提案する。 その結果、Arenaは平均で1.58(時間)と1.82(時間)の推論速度を向上でき、それぞれ帯域幅の47%と31%しか消費していないことがわかった。
  論文  参考訳（メタデータ） (2024-04-14T13:14:13Z)
• Best of Both Worlds: Hybrid SNN-ANN Architecture for Event-based Optical Flow Estimation [12.611797572621398]
  非同期イベント駆動型計算でニューラルネットワーク(SNN)をスパイクすることは、イベントストリームから機能を抽出する大きな可能性を秘めている。 本稿では,両者の強みを組み合わせた新しいSNN-ANNハイブリッドアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-06-05T15:26:02Z)
• DVFO: Learning-Based DVFS for Energy-Efficient Edge-Cloud Collaborative Inference [12.095934624748686]
  本稿では,新しいDVFS対応エッジクラウド協調推論フレームワークであるDVFOを提案する。 エッジデバイスのCPU、GPU、メモリの周波数を自動的に最適化し、機能マップをクラウドサーバにオフロードする。 最先端の計画に比べて、エネルギー消費を平均で33%削減する。
  論文  参考訳（メタデータ） (2023-06-02T07:00:42Z)
• Attention-based Feature Compression for CNN Inference Offloading in Edge Computing [93.67044879636093]
  本稿では,デバイスエッジ共振器におけるCNN推論の計算負荷について検討する。 エンドデバイスにおける効率的な特徴抽出のための新しいオートエンコーダベースのCNNアーキテクチャ(AECNN)を提案する。 実験の結果、AECNNは中間データを約4%の精度で256倍圧縮できることがわかった。
  論文  参考訳（メタデータ） (2022-11-24T18:10:01Z)
• Dynamic Split Computing for Efficient Deep Edge Intelligence [78.4233915447056]
  通信チャネルの状態に基づいて最適な分割位置を動的に選択する動的分割計算を導入する。 本研究では,データレートとサーバ負荷が時間とともに変化するエッジコンピューティング環境において,動的スプリットコンピューティングが高速な推論を実現することを示す。
  論文  参考訳（メタデータ） (2022-05-23T12:35:18Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)
• Energy-Efficient Model Compression and Splitting for Collaborative Inference Over Time-Varying Channels [52.60092598312894]
  本稿では,エッジノードとリモートノード間のモデル圧縮と時間変化モデル分割を利用して,エッジデバイスにおける総エネルギーコストを削減する手法を提案する。 提案手法は, 検討されたベースラインと比較して, エネルギー消費が最小限であり, 排出コストが$CO$となる。
  論文  参考訳（メタデータ） (2021-06-02T07:36:27Z)
• PV-NAS: Practical Neural Architecture Search for Video Recognition [83.77236063613579]
  ビデオタスクのためのディープニューラルネットワークは高度にカスタマイズされており、そのようなネットワークの設計にはドメインの専門家と高価な試行錯誤テストが必要である。 ネットワークアーキテクチャ検索の最近の進歩により、画像認識性能は大幅に向上した。 本研究では,実用的ビデオニューラルアーキテクチャ探索(PV-NAS)を提案する。
  論文  参考訳（メタデータ） (2020-11-02T08:50:23Z)
• Automated Design Space Exploration for optimised Deployment of DNN on Arm Cortex-A CPUs [13.628734116014819]
  組み込みデバイスにおけるディープラーニングは、ディープニューラルネットワーク(DNN)のデプロイを最適化する多くの方法の開発を促している。 テストし、グローバルに最適化されたソリューションを得るには、アプローチの空間が大きすぎるため、クロスレベル最適化に関する研究が不足している。 我々は、Arm Cortex-A CPUプラットフォーム上での最先端DNNの一連の結果を示し、最大4倍の性能向上とメモリの2倍以上の削減を実現した。
  論文  参考訳（メタデータ） (2020-06-09T11:00:06Z)
• Energy-Aware DNN Graph Optimization [15.308980366876705]
  本稿では,ディープニューラルネットワーク(DNN)グラフのエネルギー消費やエネルギーと推論性能のバランスを最適化する手法を提案する。 その結果,提案手法は24%の省エネ,すなわち無視可能な性能への影響を達成できることがわかった。
  論文  参考訳（メタデータ） (2020-05-12T14:56:19Z)
• PatDNN: Achieving Real-Time DNN Execution on Mobile Devices with Pattern-based Weight Pruning [57.20262984116752]
  粗粒構造の内部に新しい次元、きめ細かなプルーニングパターンを導入し、これまで知られていなかった設計空間の点を明らかにした。 きめ細かいプルーニングパターンによって高い精度が実現されているため、コンパイラを使ってハードウェア効率を向上し、保証することがユニークな洞察である。
  論文  参考訳（メタデータ） (2020-01-01T04:52:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。