論文の概要: Coordinated Deep Neural Networks: A Versatile Edge Offloading Algorithm
- arxiv url: http://arxiv.org/abs/2401.00631v1
- Date: Mon, 1 Jan 2024 01:54:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-03 16:33:08.181892
- Title: Coordinated Deep Neural Networks: A Versatile Edge Offloading Algorithm
- Title(参考訳): 協調型ディープニューラルネットワーク:汎用エッジオフロードアルゴリズム
- Authors: Alireza Maleki, Hamed Shah-Mansouri, Babak H. Khalaj
- Abstract要約: エッジ上での協調DNN(textbfCoDE)と呼ばれる新しいアルゴリズムを提案し,DNNサービス間の協調を容易にする。
CoDEは、推論遅延、モデル精度、局所的な計算負荷を反映したコストが最小となる最適経路を見つけることを目的としている。
結果は、ローカルサービス計算のワークロードを75%削減し、精度をわずか2%低下させ、バランスの取れた負荷条件で同じ推論時間を持つことを示した。
- 参考スコア(独自算出の注目度): 0.27624021966289597
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As artificial intelligence (AI) applications continue to expand, there is a
growing need for deep neural network (DNN) models. Although DNN models deployed
at the edge are promising to provide AI as a service with low latency, their
cooperation is yet to be explored. In this paper, we consider the DNN service
providers share their computing resources as well as their models' parameters
and allow other DNNs to offload their computations without mirroring. We
propose a novel algorithm called coordinated DNNs on edge (\textbf{CoDE}) that
facilitates coordination among DNN services by creating multi-task DNNs out of
individual models. CoDE aims to find the optimal path that results in the
lowest possible cost, where the cost reflects the inference delay, model
accuracy, and local computation workload. With CoDE, DNN models can make new
paths for inference by using their own or other models' parameters. We then
evaluate the performance of CoDE through numerical experiments. The results
demonstrate a $75\%$ reduction in the local service computation workload while
degrading the accuracy by only $2\%$ and having the same inference time in a
balanced load condition. Under heavy load, CoDE can further decrease the
inference time by $30\%$ while the accuracy is reduced by only $4\%$.
- Abstract(参考訳): 人工知能(AI)アプリケーションが拡大を続けるにつれ、ディープニューラルネットワーク(DNN)モデルの必要性が高まっている。
エッジにデプロイされたDNNモデルは、低レイテンシでAIをサービスとして提供することを約束しているが、その協力はまだ検討されていない。
本稿では、DNNサービスプロバイダが自身の計算資源とモデルパラメータを共有し、ミラーリングなしで他のDNNが計算をオフロードできるようにする。
そこで我々は, エッジ上での協調DNN(\textbf{CoDE})と呼ばれる新しいアルゴリズムを提案し, 個別モデルからマルチタスクDNNを作成することにより, DNNサービス間の協調を容易にする。
CoDEは、推論遅延、モデル精度、局所的な計算負荷を反映したコストが最小となる最適経路を見つけることを目的としている。
CoDEでは、DNNモデルは、独自のモデルや他のモデルのパラメータを使用して、推論のための新しいパスを作成することができる。
次に,数値実験によるCoDEの性能評価を行った。
その結果、ローカルサービス計算のワークロードを7,5\%削減し、精度をわずか2\%に低下させ、バランスの取れた負荷条件で同じ推論時間を持つことが示されている。
重い負荷下では、CoDEは推論時間を30\%$に、精度は4\%$に減らすことができる。
関連論文リスト
- NAS-BNN: Neural Architecture Search for Binary Neural Networks [55.058512316210056]
我々は、NAS-BNNと呼ばれる二元ニューラルネットワークのための新しいニューラルネットワーク探索手法を提案する。
我々の発見したバイナリモデルファミリーは、20Mから2Mまでの幅広い操作(OP)において、以前のBNNよりも優れていた。
さらに,対象検出タスクにおける探索されたBNNの転送可能性を検証するとともに,探索されたBNNを用いたバイナリ検出器は,MSデータセット上で31.6% mAP,370万 OPsなどの新たな最先端結果を得る。
論文 参考訳(メタデータ) (2024-08-28T02:17:58Z) - Harnessing Neuron Stability to Improve DNN Verification [42.65507402735545]
我々は最近提案されたDPLLベースの制約DNN検証手法の拡張であるVeriStableを提案する。
完全接続型フィードネットワーク(FNN)、畳み込み型ニューラルネットワーク(CNN)、残留型ネットワーク(ResNet)など、さまざまな課題のあるベンチマークにおいてVeriStableの有効性を評価する。
予備的な結果は、VeriStableは、VNN-COMPの第1および第2のパフォーマーである$alpha$-$beta$-CROWNやMN-BaBなど、最先端の検証ツールよりも優れていることを示している。
論文 参考訳(メタデータ) (2024-01-19T23:48:04Z) - Distributed Graph Neural Network Training: A Survey [51.77035975191926]
グラフニューラルネットワーク(GNN)は、グラフに基づいてトレーニングされたディープラーニングモデルの一種で、さまざまな領域にうまく適用されている。
GNNの有効性にもかかわらず、GNNが大規模グラフに効率的にスケールすることは依然として困難である。
治療法として、分散コンピューティングは大規模GNNをトレーニングするための有望なソリューションとなる。
論文 参考訳(メタデータ) (2022-11-01T01:57:00Z) - Automated machine learning for borehole resistivity measurements [0.0]
ディープニューラルネットワーク(DNN)は、ボアホール比抵抗測定の反転のためのリアルタイムソリューションを提供する。
非常に大きなDNNを使って演算子を近似することができるが、かなりの訓練時間を必要とする。
本研究では,DNNの精度とサイズを考慮したスコアリング機能を提案する。
論文 参考訳(メタデータ) (2022-07-20T12:27:22Z) - Masked Bayesian Neural Networks : Computation and Optimality [1.3649494534428745]
そこで本稿では, 適切な複雑性を伴って, 優れた深層ニューラルネットワークを探索する, スパースベイズニューラルネットワーク(BNN)を提案する。
我々は各ノードのマスキング変数を用いて、後続分布に応じていくつかのノードをオフにし、ノードワイズDNNを生成する。
いくつかのベンチマークデータセットを解析することにより,提案したBNNが既存手法と比較してよく動作することを示す。
論文 参考訳(メタデータ) (2022-06-02T02:59:55Z) - Comparative Analysis of Interval Reachability for Robust Implicit and
Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。
INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。
提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文 参考訳(メタデータ) (2022-04-01T03:31:27Z) - ANNETTE: Accurate Neural Network Execution Time Estimation with Stacked
Models [56.21470608621633]
本稿では,アーキテクチャ検索を対象ハードウェアから切り離すための時間推定フレームワークを提案する。
提案手法は,マイクロカーネルと多層ベンチマークからモデルの集合を抽出し,マッピングとネットワーク実行時間推定のためのスタックモデルを生成する。
生成した混合モデルの推定精度と忠実度, 統計モデルとルーフラインモデル, 評価のための洗練されたルーフラインモデルを比較した。
論文 参考訳(メタデータ) (2021-05-07T11:39:05Z) - Online Limited Memory Neural-Linear Bandits with Likelihood Matching [53.18698496031658]
本研究では,探索学習と表現学習の両方が重要な役割を果たす課題を解決するために,ニューラルネットワークの帯域について検討する。
破滅的な忘れ込みに対して耐性があり、完全にオンラインである可能性の高いマッチングアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-02-07T14:19:07Z) - Dynamic DNN Decomposition for Lossless Synergistic Inference [0.9549013615433989]
ディープニューラルネットワーク(DNN)は、今日のデータ処理アプリケーションで高性能を維持します。
精度損失のない相乗的推論のための動的DNN分解システムD3を提案する。
d3は最先端のdnn推論時間を最大3.4倍に上回り、バックボーンネットワーク通信のオーバーヘッドを3.68倍に削減する。
論文 参考訳(メタデータ) (2021-01-15T03:18:53Z) - Boosting Deep Neural Networks with Geometrical Prior Knowledge: A Survey [77.99182201815763]
ディープニューラルネットワーク(DNN)は多くの異なる問題設定において最先端の結果を達成する。
DNNはしばしばブラックボックスシステムとして扱われ、評価と検証が複雑になる。
コンピュータビジョンタスクにおける畳み込みニューラルネットワーク(CNN)の成功に触発された、有望な分野のひとつは、対称幾何学的変換に関する知識を取り入れることである。
論文 参考訳(メタデータ) (2020-06-30T14:56:05Z) - GraphChallenge.org Sparse Deep Neural Network Performance [8.685102575397874]
MIT/IEEE/Amazon GraphChallenge.orgは、グラフとスパースデータを分析するための新しいソリューションを開発するためのコミュニティアプローチを奨励している。
スパースディープニューラルネットワーク(DNN)チャレンジは、マシンラーニングやハイパフォーマンスコンピューティング、ビジュアル分析といった、先進的なスパースAIシステムに反映した課題を生み出すために、それまでの課題に基づいている。
論文 参考訳(メタデータ) (2020-03-25T00:29:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。