論文の概要: Benchmarking Test-Time Unsupervised Deep Neural Network Adaptation on Edge Devices

• arxiv url: http://arxiv.org/abs/2203.11295v1
• Date: Mon, 21 Mar 2022 19:10:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-24 12:44:40.101765
• Title: Benchmarking Test-Time Unsupervised Deep Neural Network Adaptation on Edge Devices
• Title（参考訳）: エッジデバイス上でのテスト時間非教師なしディープニューラルネットワーク適応ベンチマーク
• Authors: Kshitij Bhardwaj, James Diffenderfer, Bhavya Kailkhura, Maya Gokhale
• Abstract要約: エッジへの展開後のディープニューラルネットワーク(DNN)の予測精度は、新しいデータの分布の変化によって、時間とともに低下する可能性がある。 バッチ正規化パラメータを再調整することにより、ノイズデータに対するモデルの予測精度を向上させるため、近年の予測時間非教師なしDNN適応技術が導入されている。 本論文は, 各種エッジデバイスの性能とエネルギーを定量化するために, この種の技術に関する総合的な研究を初めて行ったものである。
• 参考スコア（独自算出の注目度）: 19.335535517714703
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The prediction accuracy of the deep neural networks (DNNs) after deployment at the edge can suffer with time due to shifts in the distribution of the new data. To improve robustness of DNNs, they must be able to update themselves to enhance their prediction accuracy. This adaptation at the resource-constrained edge is challenging as: (i) new labeled data may not be present; (ii) adaptation needs to be on device as connections to cloud may not be available; and (iii) the process must not only be fast but also memory- and energy-efficient. Recently, lightweight prediction-time unsupervised DNN adaptation techniques have been introduced that improve prediction accuracy of the models for noisy data by re-tuning the batch normalization (BN) parameters. This paper, for the first time, performs a comprehensive measurement study of such techniques to quantify their performance and energy on various edge devices as well as find bottlenecks and propose optimization opportunities. In particular, this study considers CIFAR-10-C image classification dataset with corruptions, three robust DNNs (ResNeXt, Wide-ResNet, ResNet-18), two BN adaptation algorithms (one that updates normalization statistics and the other that also optimizes transformation parameters), and three edge devices (FPGA, Raspberry-Pi, and Nvidia Xavier NX). We find that the approach that only updates the normalization parameters with Wide-ResNet, running on Xavier GPU, to be overall effective in terms of balancing multiple cost metrics. However, the adaptation overhead can still be significant (around 213 ms). The results strongly motivate the need for algorithm-hardware co-design for efficient on-device DNN adaptation.
• Abstract（参考訳）: エッジへのデプロイ後のディープニューラルネットワーク(dnn)の予測精度は、新しいデータの分布の変化によって時間とともに低下する可能性がある。 dnnのロバスト性を改善するためには、自分自身をアップデートして予測精度を高める必要がある。 リソース制約のあるエッジでのこの適応は、次のように難しい。 i) 新しいラベル付きデータが存在しない場合 (ii)クラウドへの接続が利用できない場合、デバイス上への適応が必要である。 (iii)プロセスは高速であるだけでなく、メモリ効率やエネルギー効率も必要である。 近年,バッチ正規化(BN)パラメータを再調整することにより,ノイズデータに対するモデルの予測精度を向上させる軽量な予測時間非教師付きDNN適応手法が導入された。 本稿では,様々なエッジデバイス上での性能とエネルギーを定量化し,ボトルネックを見つけ,最適化の機会を提案する手法について,初めて包括的な計測を行う。 特に,破壊を伴うcifar-10-c画像分類データセット,3つの堅牢なdnn (resnext, wide-resnet, resnet-18),2つのbn適応アルゴリズム (正規化統計の更新と変換パラメータの最適化),3つのエッジデバイス (fpga,raspberry-pi,nvidia xavier nx) について検討した。 Xavier GPU上で動作するWide-ResNetで正規化パラメータだけを更新するアプローチは、複数のコストメトリクスのバランスをとるという点で全体として効果的である。 しかし、適応オーバーヘッド(約213ms)は依然として大きい可能性がある。 その結果,効率的なオンデバイスDNN適応のためのアルゴリズムハードウェア共同設計の必要性が強く示唆された。

関連論文リスト

• Inference-to-complete: A High-performance and Programmable Data-plane Co-processor for Neural-network-driven Traffic Analysis [18.75879653408466]
  NN駆動型インテリジェントデータプレーン(NN駆動型IDP)は,精度と高性能のために,新たな話題になりつつある。 Kaleidoscopeは、データプレーンのバイパスに位置するフレキシブルで高性能なコプロセッサである。 Kaleidoscopeは256-352 nsの推論遅延と100Gbpsのスループットに到達し、データプレーンへの影響は無視できる。
  論文  参考訳（メタデータ） (2024-11-01T07:10:08Z)
• Towards Hyperparameter-Agnostic DNN Training via Dynamical System Insights [4.513581513983453]
  本稿では,ディープニューラルネットワーク(DNN),ECCO-DNNに特化した一階最適化手法を提案する。 本手法は, 最適変数軌道を動的システムとしてモデル化し, 軌道形状に基づいてステップサイズを適応的に選択する離散化アルゴリズムを開発する。
  論文  参考訳（メタデータ） (2023-10-21T03:45:13Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)
• Learning to Solve the AC-OPF using Sensitivity-Informed Deep Neural Networks [52.32646357164739]
  最適な電力フロー(ACOPF)のソリューションを解決するために、ディープニューラルネットワーク(DNN)を提案します。 提案されたSIDNNは、幅広いOPFスキームと互換性がある。 他のLearning-to-OPFスキームとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-03-27T00:45:23Z)
• Now that I can see, I can improve: Enabling data-driven finetuning of CNNs on the edge [11.789983276366987]
  本稿では,構造化プルーニングに基づくエッジデバイス上でCNNの微調整を可能にするための第一歩を提供する。 パフォーマンスの向上とコストについて検討し、そのようなアプローチの展開を可能にするオープンソースフレームワークを提示する。
  論文  参考訳（メタデータ） (2020-06-15T17:16:45Z)
• APQ: Joint Search for Network Architecture, Pruning and Quantization Policy [49.3037538647714]
  本稿では,リソース制約のあるハードウェア上での効率的なディープラーニング推論のためのAPQを提案する。 ニューラルアーキテクチャ、プルーニングポリシー、量子化ポリシーを別々に検索する従来の方法とは異なり、我々はそれらを共同で最適化する。 同じ精度で、APQはMobileNetV2+HAQよりもレイテンシ/エネルギーを2倍/1.3倍削減する。
  論文  参考訳（メタデータ） (2020-06-15T16:09:17Z)
• FBNetV3: Joint Architecture-Recipe Search using Predictor Pretraining [65.39532971991778]
  サンプル選択とランキングの両方を導くことで、アーキテクチャとトレーニングのレシピを共同でスコアする精度予測器を提案する。 高速な進化的検索をCPU分で実行し、さまざまなリソース制約に対するアーキテクチャと準備のペアを生成します。 FBNetV3は最先端のコンパクトニューラルネットワークのファミリーを構成しており、自動と手動で設計された競合より優れている。
  論文  参考訳（メタデータ） (2020-06-03T05:20:21Z)
• FADNet: A Fast and Accurate Network for Disparity Estimation [18.05392578461659]
  本研究では,FADNetという分散度推定のための効率的かつ高精度なディープネットワークを提案する。 高速な計算を保存するために、2Dベースの効率的な相関層と積み重ねブロックを利用する。 精度を向上させるために、マルチスケールの重みスケジューリングトレーニング技術を活用するために、マルチスケールの予測を含んでいる。
  論文  参考訳（メタデータ） (2020-03-24T10:27:11Z)
• A Privacy-Preserving-Oriented DNN Pruning and Mobile Acceleration Framework [56.57225686288006]
  モバイルエッジデバイスの限られたストレージとコンピューティング能力を満たすために、ディープニューラルネットワーク(DNN)の軽量プルーニングが提案されている。 従来のプルーニング手法は主に、ユーザデータのプライバシを考慮せずに、モデルのサイズを減らしたり、パフォーマンスを向上させることに重点を置いていた。 プライベートトレーニングデータセットを必要としないプライバシ保護指向のプルーニングおよびモバイルアクセラレーションフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-13T23:52:03Z)
• PatDNN: Achieving Real-Time DNN Execution on Mobile Devices with Pattern-based Weight Pruning [57.20262984116752]
  粗粒構造の内部に新しい次元、きめ細かなプルーニングパターンを導入し、これまで知られていなかった設計空間の点を明らかにした。 きめ細かいプルーニングパターンによって高い精度が実現されているため、コンパイラを使ってハードウェア効率を向上し、保証することがユニークな洞察である。
  論文  参考訳（メタデータ） (2020-01-01T04:52:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。