論文の概要: CONTINUER: Maintaining Distributed DNN Services During Edge Failures
- arxiv url: http://arxiv.org/abs/2206.05267v1
- Date: Mon, 25 Apr 2022 18:53:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-15 17:32:55.152844
- Title: CONTINUER: Maintaining Distributed DNN Services During Edge Failures
- Title(参考訳): CONTINUER: エッジ障害時の分散DNNサービスのメンテナンス
- Authors: Ayesha Abdul Majeed and Peter Kilpatrick and Ivor Spence and Blesson
Varghese
- Abstract要約: エッジノード間のディープニューラルネットワーク(DNN)のパーティショニングとデプロイは、アプリケーションのパフォーマンス目標を満たすために使用することができる。
単一ノードの障害はカスケード障害を引き起こし、サービスのデリバリに悪影響を及ぼす可能性がある。
本稿では, 分割, 早期終了, スキップ接続の3つの手法について検討する。
- 参考スコア(独自算出の注目度): 0.34410212782758043
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Partitioning and deploying Deep Neural Networks (DNNs) across edge nodes may
be used to meet performance objectives of applications. However, the failure of
a single node may result in cascading failures that will adversely impact the
delivery of the service and will result in failure to meet specific objectives.
The impact of these failures needs to be minimised at runtime. Three techniques
are explored in this paper, namely repartitioning, early-exit and
skip-connection. When an edge node fails, the repartitioning technique will
repartition and redeploy the DNN thus avoiding the failed nodes. The early-exit
technique makes provision for a request to exit (early) before the failed node.
The skip connection technique dynamically routes the request by skipping the
failed nodes. This paper will leverage trade-offs in accuracy, end-to-end
latency and downtime for selecting the best technique given user-defined
objectives (accuracy, latency and downtime thresholds) when an edge node fails.
To this end, CONTINUER is developed. Two key activities of the framework are
estimating the accuracy and latency when using the techniques for distributed
DNNs and selecting the best technique. It is demonstrated on a lab-based
experimental testbed that CONTINUER estimates accuracy and latency when using
the techniques with no more than an average error of 0.28% and 13.06%,
respectively and selects the suitable technique with a low overhead of no more
than 16.82 milliseconds and an accuracy of up to 99.86%.
- Abstract(参考訳): エッジノードにまたがるディープニューラルネットワーク(dnn)のパーティショニングとデプロイは、アプリケーションのパフォーマンス目標を満たすために使用できる。
しかしながら、単一ノードの障害はカスケード障害を引き起こし、サービスのデリバリに悪影響を及ぼし、特定の目的を達成するのに失敗する可能性がある。
これらの障害の影響は、実行時に最小化する必要がある。
本稿では, 分割, 早期終了, スキップ接続の3つの手法について検討する。
エッジノードがフェールすると、リパーティショニングテクニックが再分割され、DNNが再デプロイされるため、失敗したノードは回避される。
early-exitテクニックは、失敗したノードの前に(早期に)終了する要求をプロビジョニングする。
スキップ接続技術は、失敗したノードをスキップすることでリクエストを動的にルーティングする。
本稿では,エッジノードが故障した場合のユーザ定義目標(精度,レイテンシ,ダウンタイムしきい値)の最適手法を選択するために,精度,エンドツーエンドレイテンシ,ダウンタイムのトレードオフを利用する。
そのため、CONTINUERが開発された。
フレームワークの2つの重要なアクティビティは、分散DNNのテクニックを使用する際の精度とレイテンシを推定し、最良のテクニックを選択することである。
ラボベースの実験実験ベッドでは、平均誤差0.28%と13.06%以下の技術を使用する場合、継続者が精度とレイテンシを推定し、16.82ミリ秒以下のオーバーヘッドと99.86%の精度で適切な手法を選択することが示されている。
関連論文リスト
- Fast Exploration of the Impact of Precision Reduction on Spiking Neural
Networks [63.614519238823206]
ターゲットハードウェアがコンピューティングの端に達すると、スパイキングニューラルネットワーク(SNN)が実用的な選択となる。
我々は、近似誤差を伝播するそのようなモデルの能力を生かした探索手法を開発するために、インターヴァル算術(IA)モデルを用いる。
論文 参考訳(メタデータ) (2022-11-22T15:08:05Z) - Unsupervised Early Exit in DNNs with Multiple Exits [0.0]
我々は、Strong Dominance(SD)プロパティをほぼ満足することを示すために、事前訓練されたマルチエクイットDNNであるElastic BERTに焦点を当てた。
IMDbとYelpのデータセット上で,我々のアルゴリズムを実証的に検証する。
論文 参考訳(メタデータ) (2022-09-20T05:35:54Z) - TCT: Convexifying Federated Learning using Bootstrapped Neural Tangent
Kernels [141.29156234353133]
最先端の凸学習手法は、クライアントが異なるデータ分布を持つ場合、集中型よりもはるかにパフォーマンスが劣る。
我々は、この格差は、非NISTityが提示した課題に大きく起因していることを示す。
本稿では,Train-Convexify Neural Network (TCT) 手法を提案する。
論文 参考訳(メタデータ) (2022-07-13T16:58:22Z) - GDP: Stabilized Neural Network Pruning via Gates with Differentiable
Polarization [84.57695474130273]
ゲートベースまたは重要度に基づくプルーニング手法は、重要度が最小のチャネルを削除することを目的としている。
GDPは、各チャネルのオン・アンド・オフを制御するために、ベルやホイッスルのない畳み込み層の前に接続することができる。
CIFAR-10とImageNetデータセットを用いて行った実験は、提案したGDPが最先端のパフォーマンスを達成することを示している。
論文 参考訳(メタデータ) (2021-09-06T03:17:10Z) - Edge-Detect: Edge-centric Network Intrusion Detection using Deep Neural
Network [0.0]
エッジノードは、Internet-of-Thingsエンドポイント上の複数のサイバー攻撃を検出するために不可欠である。
DLM技術を用いてエッジノードに対するDoS攻撃を検知する,軽量で高速かつ高精度なEdge-Detectモデルを開発した。
論文 参考訳(メタデータ) (2021-02-03T04:24:34Z) - Calibration-Aided Edge Inference Offloading via Adaptive Model
Partitioning of Deep Neural Networks [30.800324092046793]
モバイルデバイスは、ディープニューラルネットワーク(DNN)ベースの推論をクラウドにオフロードし、ローカルハードウェアとエネルギー制限を克服することができる。
本研究は,モデル分割によるオフロードにおける誤校正初期DNNの利用が,推論精度を著しく低下させることを示した。
対照的に、デプロイ前にキャリブレーションアルゴリズムを実装することでこの問題を解決し、より信頼性の高いオフロード決定が可能になると論じる。
論文 参考訳(メタデータ) (2020-10-30T15:50:12Z) - Scission: Performance-driven and Context-aware Cloud-Edge Distribution
of Deep Neural Networks [1.2949520455740093]
本稿では,対象とするデバイス,エッジ,クラウドリソースのセット上で,ディープニューラルネットワーク(DNN)の自動ベンチマークを行うツールであるScisionを提案する。
意思決定のアプローチは、ターゲットリソースのハードウェア機能を活用することによって、コンテキスト認識である。
Scissionのベンチマークのオーバーヘッドにより、リアルタイムではなく、定期的に運用上の変更に対応することができる。
論文 参考訳(メタデータ) (2020-08-08T13:39:57Z) - AQD: Towards Accurate Fully-Quantized Object Detection [94.06347866374927]
本稿では,浮動小数点演算を除去するために,AQDと呼ばれる高精度な量子化オブジェクト検出ソリューションを提案する。
我々のAQDは、非常に低ビットのスキームの下での完全精度と比較して、同等またはそれ以上の性能を実現しています。
論文 参考訳(メタデータ) (2020-07-14T09:07:29Z) - Boosting Deep Neural Networks with Geometrical Prior Knowledge: A Survey [77.99182201815763]
ディープニューラルネットワーク(DNN)は多くの異なる問題設定において最先端の結果を達成する。
DNNはしばしばブラックボックスシステムとして扱われ、評価と検証が複雑になる。
コンピュータビジョンタスクにおける畳み込みニューラルネットワーク(CNN)の成功に触発された、有望な分野のひとつは、対称幾何学的変換に関する知識を取り入れることである。
論文 参考訳(メタデータ) (2020-06-30T14:56:05Z) - Serving DNNs like Clockwork: Performance Predictability from the Bottom
Up [4.293235171619925]
機械学習推論は、インタラクティブなWebアプリケーションのための中核的なビルディングブロックになりつつある。
既存のモデル提供アーキテクチャでは、よく知られたリアクティブ技術を使用して、一般的なレイテンシのソースを緩和している。
我々は,Deep Neural Network (DNN)モデルを用いた推論が決定論的性能を持つことを示した。
論文 参考訳(メタデータ) (2020-06-03T18:18:45Z) - GraN: An Efficient Gradient-Norm Based Detector for Adversarial and
Misclassified Examples [77.99182201815763]
ディープニューラルネットワーク(DNN)は、敵対的な例やその他のデータ摂動に対して脆弱である。
GraNは、どのDNNにも容易に適応できる時間およびパラメータ効率の手法である。
GraNは多くの問題セットで最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2020-04-20T10:09:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。