論文の概要: Calibration-Aided Edge Inference Offloading via Adaptive Model Partitioning of Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2010.16335v2
• Date: Thu, 28 Jan 2021 14:05:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-01 17:29:01.477604
• Title: Calibration-Aided Edge Inference Offloading via Adaptive Model Partitioning of Deep Neural Networks
• Title（参考訳）: ニューラルネットワークの適応モデル分割によるキャリブレーション支援エッジ推論オフロード
• Authors: Roberto G. Pacheco, Rodrigo S. Couto and Osvaldo Simeone
• Abstract要約: モバイルデバイスは、ディープニューラルネットワーク(DNN)ベースの推論をクラウドにオフロードし、ローカルハードウェアとエネルギー制限を克服することができる。 本研究は,モデル分割によるオフロードにおける誤校正初期DNNの利用が,推論精度を著しく低下させることを示した。 対照的に、デプロイ前にキャリブレーションアルゴリズムを実装することでこの問題を解決し、より信頼性の高いオフロード決定が可能になると論じる。
• 参考スコア（独自算出の注目度）: 30.800324092046793
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mobile devices can offload deep neural network (DNN)-based inference to the cloud, overcoming local hardware and energy limitations. However, offloading adds communication delay, thus increasing the overall inference time, and hence it should be used only when needed. An approach to address this problem consists of the use of adaptive model partitioning based on early-exit DNNs. Accordingly, the inference starts at the mobile device, and an intermediate layer estimates the accuracy: If the estimated accuracy is sufficient, the device takes the inference decision; Otherwise, the remaining layers of the DNN run at the cloud. Thus, the device offloads the inference to the cloud only if it cannot classify a sample with high confidence. This offloading requires a correct accuracy prediction at the device. Nevertheless, DNNs are typically miscalibrated, providing overconfident decisions. This work shows that the employment of a miscalibrated early-exit DNN for offloading via model partitioning can significantly decrease inference accuracy. In contrast, we argue that implementing a calibration algorithm prior to deployment can solve this problem, allowing for more reliable offloading decisions.
• Abstract（参考訳）: モバイルデバイスは、ディープニューラルネットワーク(DNN)ベースの推論をクラウドにオフロードし、ローカルハードウェアとエネルギー制限を克服することができる。 しかし、オフロードは通信遅延を増し、全体としての推測時間が増加し、必要なときにのみ使用すべきである。 この問題に対処するためのアプローチは、早期のDNNに基づく適応モデル分割の利用である。 したがって、推測はモバイルデバイスから始まり、中間層は精度を推定する: 推定精度が十分であれば、デバイスは推論決定を受け、そうでなければ、DNNの残りの層はクラウドで実行される。 したがって、高い信頼性でサンプルを分類できない場合に限り、デバイスは推論をクラウドにオフロードする。 このオフロードはデバイスで正確な精度の予測を必要とする。 それでも、DNNは一般的に誤解され、過度な決定を下す。 本研究は,モデル分割によるオフロードにおける誤校正初期DNNの利用が,推論精度を著しく低下させることを示した。 対照的に、デプロイ前にキャリブレーションアルゴリズムを実装することでこの問題を解決し、より信頼性の高いオフロード決定が可能になると論じる。

関連論文リスト

• Uncertainty Quantification over Graph with Conformalized Graph Neural Networks [52.20904874696597]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データに基づく強力な機械学習予測モデルである。 GNNには厳密な不確実性見積が欠如しており、エラーのコストが重要な設定での信頼性の高いデプロイメントが制限されている。 本稿では,共形予測(CP)をグラフベースモデルに拡張した共形GNN(CF-GNN)を提案する。
  論文  参考訳（メタデータ） (2023-05-23T21:38:23Z)
• Bridging Precision and Confidence: A Train-Time Loss for Calibrating Object Detection [58.789823426981044]
  本稿では,境界ボックスのクラス信頼度を予測精度に合わせることを目的とした,新たな補助損失定式化を提案する。 その結果,列車の走行時間損失はキャリブレーション基準を超過し,キャリブレーション誤差を低減させることがわかった。
  論文  参考訳（メタデータ） (2023-03-25T08:56:21Z)
• Unsupervised Early Exit in DNNs with Multiple Exits [0.0]
  我々は、Strong Dominance(SD)プロパティをほぼ満足することを示すために、事前訓練されたマルチエクイットDNNであるElastic BERTに焦点を当てた。 IMDbとYelpのデータセット上で,我々のアルゴリズムを実証的に検証する。
  論文  参考訳（メタデータ） (2022-09-20T05:35:54Z)
• Benchmarking Test-Time Unsupervised Deep Neural Network Adaptation on Edge Devices [19.335535517714703]
  エッジへの展開後のディープニューラルネットワーク(DNN)の予測精度は、新しいデータの分布の変化によって、時間とともに低下する可能性がある。 バッチ正規化パラメータを再調整することにより、ノイズデータに対するモデルの予測精度を向上させるため、近年の予測時間非教師なしDNN適応技術が導入されている。 本論文は, 各種エッジデバイスの性能とエネルギーを定量化するために, この種の技術に関する総合的な研究を初めて行ったものである。
  論文  参考訳（メタデータ） (2022-03-21T19:10:40Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)
• Early-exit deep neural networks for distorted images: providing an efficient edge offloading [69.43216268165402]
  ディープニューラルネットワーク(DNN)のエッジオフロードは、入力の複雑さに適応することができる。 画像歪みに対する対策として,特定の歪みタイプを訓練した専門的側枝を導入する。 このアプローチはエッジ上の推定精度を高め、オフロードの決定を改善する。
  論文  参考訳（メタデータ） (2021-08-20T19:52:55Z)
• Uncertainty Modeling of Emerging Device-based Computing-in-Memory Neural Accelerators with Application to Neural Architecture Search [25.841113960607334]
  新興デバイスベースのコンピューティングインメモリ(CiM)は、高エネルギー効率ディープニューラルネットワーク(DNN)計算において有望な候補であることが証明されている。 ほとんどの新興デバイスは不確実な問題に悩まされており、結果として、保存される実際のデータと、それが設計される重み付け値との違いが生じる。 これにより、トレーニングされたモデルから実際にデプロイされたプラットフォームへの精度低下につながる。
  論文  参考訳（メタデータ） (2021-07-06T23:29:36Z)
• AQD: Towards Accurate Fully-Quantized Object Detection [94.06347866374927]
  本稿では,浮動小数点演算を除去するために,AQDと呼ばれる高精度な量子化オブジェクト検出ソリューションを提案する。 我々のAQDは、非常に低ビットのスキームの下での完全精度と比較して、同等またはそれ以上の性能を実現しています。
  論文  参考訳（メタデータ） (2020-07-14T09:07:29Z)
• CacheNet: A Model Caching Framework for Deep Learning Inference on the Edge [3.398008512297358]
  CacheNetは、マシン認識アプリケーションのためのモデルキャッシングフレームワークである。 エンドデバイス上の低複雑さモデルと、エッジまたはクラウドサーバ上の高複雑性(あるいはフル)モデルをキャッシュする。 エンドデバイスまたはエッジサーバ単独で推論タスクを実行するベースラインアプローチよりも58-217%高速である。
  論文  参考訳（メタデータ） (2020-07-03T16:32:14Z)
• Increasing Trustworthiness of Deep Neural Networks via Accuracy Monitoring [20.456742449675904]
  ディープニューラルネットワーク(DNN)の推論精度は重要なパフォーマンス指標であるが、実際のテストデータセットによって大きく異なる可能性がある。 これにより、特に安全クリティカルなアプリケーションにおいて、DNNの信頼性に関する重要な懸念が持ち上がっている。 本稿では、DNNのソフトマックス確率出力のみを入力とするニューラルネットワークに基づく精度監視モデルを提案する。
  論文  参考訳（メタデータ） (2020-07-03T03:09:36Z)
• Calibrating Deep Neural Networks using Focal Loss [77.92765139898906]
  ミススキャリブレーション(Miscalibration)は、モデルの信頼性と正しさのミスマッチである。 焦点損失は、既に十分に校正されたモデルを学ぶことができることを示す。 ほぼすべてのケースにおいて精度を損なうことなく,最先端のキャリブレーションを達成できることを示す。
  論文  参考訳（メタデータ） (2020-02-21T17:35:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。