論文の概要: Coordinated Deep Neural Networks: A Versatile Edge Offloading Algorithm
- arxiv url: http://arxiv.org/abs/2401.00631v1
- Date: Mon, 1 Jan 2024 01:54:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-03 16:33:08.181892
- Title: Coordinated Deep Neural Networks: A Versatile Edge Offloading Algorithm
- Title(参考訳): 協調型ディープニューラルネットワーク:汎用エッジオフロードアルゴリズム
- Authors: Alireza Maleki, Hamed Shah-Mansouri, Babak H. Khalaj
- Abstract要約: エッジ上での協調DNN(textbfCoDE)と呼ばれる新しいアルゴリズムを提案し,DNNサービス間の協調を容易にする。
CoDEは、推論遅延、モデル精度、局所的な計算負荷を反映したコストが最小となる最適経路を見つけることを目的としている。
結果は、ローカルサービス計算のワークロードを75%削減し、精度をわずか2%低下させ、バランスの取れた負荷条件で同じ推論時間を持つことを示した。
- 参考スコア(独自算出の注目度): 0.27624021966289597
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As artificial intelligence (AI) applications continue to expand, there is a
growing need for deep neural network (DNN) models. Although DNN models deployed
at the edge are promising to provide AI as a service with low latency, their
cooperation is yet to be explored. In this paper, we consider the DNN service
providers share their computing resources as well as their models' parameters
and allow other DNNs to offload their computations without mirroring. We
propose a novel algorithm called coordinated DNNs on edge (\textbf{CoDE}) that
facilitates coordination among DNN services by creating multi-task DNNs out of
individual models. CoDE aims to find the optimal path that results in the
lowest possible cost, where the cost reflects the inference delay, model
accuracy, and local computation workload. With CoDE, DNN models can make new
paths for inference by using their own or other models' parameters. We then
evaluate the performance of CoDE through numerical experiments. The results
demonstrate a $75\%$ reduction in the local service computation workload while
degrading the accuracy by only $2\%$ and having the same inference time in a
balanced load condition. Under heavy load, CoDE can further decrease the
inference time by $30\%$ while the accuracy is reduced by only $4\%$.
- Abstract(参考訳): 人工知能(AI)アプリケーションが拡大を続けるにつれ、ディープニューラルネットワーク(DNN)モデルの必要性が高まっている。
エッジにデプロイされたDNNモデルは、低レイテンシでAIをサービスとして提供することを約束しているが、その協力はまだ検討されていない。
本稿では、DNNサービスプロバイダが自身の計算資源とモデルパラメータを共有し、ミラーリングなしで他のDNNが計算をオフロードできるようにする。
そこで我々は, エッジ上での協調DNN(\textbf{CoDE})と呼ばれる新しいアルゴリズムを提案し, 個別モデルからマルチタスクDNNを作成することにより, DNNサービス間の協調を容易にする。
CoDEは、推論遅延、モデル精度、局所的な計算負荷を反映したコストが最小となる最適経路を見つけることを目的としている。
CoDEでは、DNNモデルは、独自のモデルや他のモデルのパラメータを使用して、推論のための新しいパスを作成することができる。
次に,数値実験によるCoDEの性能評価を行った。
その結果、ローカルサービス計算のワークロードを7,5\%削減し、精度をわずか2\%に低下させ、バランスの取れた負荷条件で同じ推論時間を持つことが示されている。
重い負荷下では、CoDEは推論時間を30\%$に、精度は4\%$に減らすことができる。
関連論文リスト
- A Hybrid ANN-SNN Architecture for Low-Power and Low-Latency Visual
Perception [49.877675666360695]
Spiking Neural Networks(SNN)は、バイオインスパイアされたニューラルネットワークの一種で、エッジデバイスに低消費電力で低レイテンシな推論をもたらすことを約束する。
イベントベース2Dおよび3Dヒューマンポーズ推定の課題について,本手法では,ANNに比べて性能を4%低下させることなく,88%の消費電力を消費することを示した。
論文 参考訳(メタデータ) (2023-03-24T17:38:45Z) - Quantum-Inspired Tensor Neural Networks for Option Pricing [4.3942901219301564]
近年の深層学習の進歩により,高次元の問題を解くことで,次元性の呪い(COD)に対処することが可能になった。
このようなCODに対処するアプローチのサブセットは、高次元PDEの解決に繋がった。
この結果、数学的な金融から産業用途の制御まで、様々な現実世界の問題を解決するための扉が開けた。
論文 参考訳(メタデータ) (2022-12-28T19:39:55Z) - Distributed Graph Neural Network Training: A Survey [51.77035975191926]
グラフニューラルネットワーク(GNN)は、グラフに基づいてトレーニングされたディープラーニングモデルの一種で、さまざまな領域にうまく適用されている。
GNNの有効性にもかかわらず、GNNが大規模グラフに効率的にスケールすることは依然として困難である。
治療法として、分散コンピューティングは大規模GNNをトレーニングするための有望なソリューションとなる。
論文 参考訳(メタデータ) (2022-11-01T01:57:00Z) - Automated machine learning for borehole resistivity measurements [0.0]
ディープニューラルネットワーク(DNN)は、ボアホール比抵抗測定の反転のためのリアルタイムソリューションを提供する。
非常に大きなDNNを使って演算子を近似することができるが、かなりの訓練時間を必要とする。
本研究では,DNNの精度とサイズを考慮したスコアリング機能を提案する。
論文 参考訳(メタデータ) (2022-07-20T12:27:22Z) - Masked Bayesian Neural Networks : Computation and Optimality [1.3649494534428745]
そこで本稿では, 適切な複雑性を伴って, 優れた深層ニューラルネットワークを探索する, スパースベイズニューラルネットワーク(BNN)を提案する。
我々は各ノードのマスキング変数を用いて、後続分布に応じていくつかのノードをオフにし、ノードワイズDNNを生成する。
いくつかのベンチマークデータセットを解析することにより,提案したBNNが既存手法と比較してよく動作することを示す。
論文 参考訳(メタデータ) (2022-06-02T02:59:55Z) - Model Architecture Adaption for Bayesian Neural Networks [9.978961706999833]
我々はBNNを精度と不確実性の両方に最適化する新しいネットワークアーキテクチャサーチ(NAS)を示す。
我々の実験では,探索されたモデルでは,最先端(ディープアンサンブル)と比較して,不確実性と精度が比較できる。
論文 参考訳(メタデータ) (2022-02-09T10:58:50Z) - ANNETTE: Accurate Neural Network Execution Time Estimation with Stacked
Models [56.21470608621633]
本稿では,アーキテクチャ検索を対象ハードウェアから切り離すための時間推定フレームワークを提案する。
提案手法は,マイクロカーネルと多層ベンチマークからモデルの集合を抽出し,マッピングとネットワーク実行時間推定のためのスタックモデルを生成する。
生成した混合モデルの推定精度と忠実度, 統計モデルとルーフラインモデル, 評価のための洗練されたルーフラインモデルを比較した。
論文 参考訳(メタデータ) (2021-05-07T11:39:05Z) - A Biased Graph Neural Network Sampler with Near-Optimal Regret [57.70126763759996]
グラフニューラルネットワーク(GNN)は、グラフおよびリレーショナルデータにディープネットワークアーキテクチャを適用する手段として登場した。
本論文では,既存の作業に基づいて,GNN近傍サンプリングをマルチアームバンディット問題として扱う。
そこで本研究では,分散を低減し,不安定かつ非限定的な支払いを回避すべく設計されたバイアスをある程度導入した報酬関数を提案する。
論文 参考訳(メタデータ) (2021-03-01T15:55:58Z) - TaxoNN: A Light-Weight Accelerator for Deep Neural Network Training [2.5025363034899732]
本稿では,SGDアルゴリズムを単純な計算要素に分割することで,ベースラインDNNアクセラレータ(推論のみ)にトレーニング能力を付加する手法を提案する。
DNNトレーニングのための軽量加速器であるTaxoNNを提案する。
実験の結果,TaxoNNは実精度よりも平均0.97%,誤分類率が高いことがわかった。
論文 参考訳(メタデータ) (2020-10-11T09:04:19Z) - Boosting Deep Neural Networks with Geometrical Prior Knowledge: A Survey [77.99182201815763]
ディープニューラルネットワーク(DNN)は多くの異なる問題設定において最先端の結果を達成する。
DNNはしばしばブラックボックスシステムとして扱われ、評価と検証が複雑になる。
コンピュータビジョンタスクにおける畳み込みニューラルネットワーク(CNN)の成功に触発された、有望な分野のひとつは、対称幾何学的変換に関する知識を取り入れることである。
論文 参考訳(メタデータ) (2020-06-30T14:56:05Z) - Approximation and Non-parametric Estimation of ResNet-type Convolutional
Neural Networks [52.972605601174955]
本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。
Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
論文 参考訳(メタデータ) (2019-03-24T19:42:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。