論文の概要: Efficient Low-Latency Dynamic Licensing for Deep Neural Network
Deployment on Edge Devices
- arxiv url: http://arxiv.org/abs/2102.12165v1
- Date: Wed, 24 Feb 2021 09:36:39 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-26 08:22:00.758195
- Title: Efficient Low-Latency Dynamic Licensing for Deep Neural Network
Deployment on Edge Devices
- Title(参考訳): エッジデバイスへのディープニューラルネットワーク展開のための高効率低レイテンシダイナミックライセンシング
- Authors: Toan Pham Van, Ngoc N. Tran, Hoang Pham Minh, Tam Nguyen Minh anh
Thanh Ta Minh
- Abstract要約: エッジデバイス上でのディープニューラルネットワークの展開と処理を解決するアーキテクチャを提案する。
このアーキテクチャを採用することで、デバイスの低レイテンシモデル更新が可能になる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Along with the rapid development in the field of artificial intelligence,
especially deep learning, deep neural network applications are becoming more
and more popular in reality. To be able to withstand the heavy load from
mainstream users, deployment techniques are essential in bringing neural
network models from research to production. Among the two popular computing
topologies for deploying neural network models in production are
cloud-computing and edge-computing. Recent advances in communication
technologies, along with the great increase in the number of mobile devices,
has made edge-computing gradually become an inevitable trend. In this paper, we
propose an architecture to solve deploying and processing deep neural networks
on edge-devices by leveraging their synergy with the cloud and the
access-control mechanisms of the database. Adopting this architecture allows
low-latency DNN model updates on devices. At the same time, with only one model
deployed, we can easily make different versions of it by setting access
permissions on the model weights. This method allows for dynamic model
licensing, which benefits commercial applications.
- Abstract(参考訳): 人工知能、特にディープラーニングの分野での急速な発展に伴い、ディープニューラルネットワークアプリケーションは現実的にますます人気が高まっています。
主流のユーザーからの重い負荷に耐えることができるように、展開技術は研究から生産にニューラルネットワークモデルをもたらすために不可欠です。
実運用環境にニューラルネットワークモデルをデプロイするための2つの一般的なコンピューティングトポロジには、クラウドコンピューティングとエッジコンピューティングがある。
近年の通信技術の進歩とともに、モバイルデバイスの数が大幅に増加し、エッジコンピューティングは徐々に避けられない傾向になっています。
本稿では,エッジデバイス上でのディープニューラルネットワークのデプロイと処理を,クラウドとのシナジーとデータベースのアクセス制御機構を利用して解決するアーキテクチャを提案する。
このアーキテクチャを採用することで、デバイスの低遅延dnnモデル更新が可能になる。
同時に、1つのモデルをデプロイするだけで、モデルの重みにアクセス許可を設定することで、その異なるバージョンを簡単に作成できます。
この方法は、商用アプリケーションに有利な動的モデルライセンスを可能にする。
関連論文リスト
- Spyx: A Library for Just-In-Time Compiled Optimization of Spiking Neural
Networks [0.08965418284317034]
Spiking Neural Networks(SNN)は、小さくて低消費電力なハードウェアフットプリントによるエネルギー効率の向上を提供する。
本稿では、JAXで設計された新しい軽量SNNシミュレーションおよび最適化ライブラリSpyxを紹介する。
論文 参考訳(メタデータ) (2024-02-29T09:46:44Z) - Mechanistic Neural Networks for Scientific Machine Learning [58.99592521721158]
我々は、科学における機械学習応用のためのニューラルネットワーク設計であるメカニスティックニューラルネットワークを提案する。
新しいメカニスティックブロックを標準アーキテクチャに組み込んで、微分方程式を表現として明示的に学習する。
我々のアプローチの中心は、線形プログラムを解くために線形ODEを解く技術に着想を得た、新しい線形計画解法(NeuRLP)である。
論文 参考訳(メタデータ) (2024-02-20T15:23:24Z) - SpikingJelly: An open-source machine learning infrastructure platform
for spike-based intelligence [51.6943465041708]
スパイキングニューラルネットワーク(SNN)は、高エネルギー効率のニューロモルフィックチップに脳にインスパイアされたインテリジェンスを実現することを目的としている。
我々は、ニューロモルフィックデータセットの事前処理、深層SNNの構築、パラメータの最適化、およびニューロモルフィックチップへのSNNのデプロイのためのフルスタックツールキットをコントリビュートする。
論文 参考訳(メタデータ) (2023-10-25T13:15:17Z) - Dynamic Early Exiting Predictive Coding Neural Networks [3.542013483233133]
より小型で正確なデバイスを求めると、Deep Learningモデルはデプロイするには重すぎる。
予測符号化理論と動的早期退避に基づく浅層双方向ネットワークを提案する。
我々は,CIFAR-10上の画像分類におけるVGG-16と同等の精度を,より少ないパラメータと少ない計算量で達成した。
論文 参考訳(メタデータ) (2023-09-05T08:00:01Z) - Fluid Batching: Exit-Aware Preemptive Serving of Early-Exit Neural
Networks on Edge NPUs [74.83613252825754]
スマートエコシステム(smart ecosystems)"は、スタンドアロンではなく、センセーションが同時に行われるように形成されています。
これはデバイス上の推論パラダイムを、エッジにニューラル処理ユニット(NPU)をデプロイする方向にシフトしている。
そこで本研究では,実行時のプリエンプションが到着・終了プロセスによってもたらされる動的性を考慮に入れた,新しい早期終了スケジューリングを提案する。
論文 参考訳(メタデータ) (2022-09-27T15:04:01Z) - FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。
この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。
分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
論文 参考訳(メタデータ) (2022-01-18T13:59:22Z) - Communication-Efficient Separable Neural Network for Distributed
Inference on Edge Devices [2.28438857884398]
本稿では,分散推論のためのニューラルネットワークを分離するために,モデル並列性を利用する新しい手法を提案する。
デバイスの適切な仕様とモデルの構成の下で、エッジクラスタ上の大規模ニューラルネットワークの推論が分散し、加速可能であることを示す実験を行った。
論文 参考訳(メタデータ) (2021-11-03T19:30:28Z) - Auto-Split: A General Framework of Collaborative Edge-Cloud AI [49.750972428032355]
本稿では,Huawei Cloudのエッジクラウド共同プロトタイプであるAuto-Splitの技法と技術実践について述べる。
私たちの知る限りでは、Deep Neural Network(DNN)分割機能を提供する既存の産業製品はありません。
論文 参考訳(メタデータ) (2021-08-30T08:03:29Z) - Neuromorphic Processing and Sensing: Evolutionary Progression of AI to
Spiking [0.0]
スパイキングニューラルネットワークアルゴリズムは、計算と電力要求の一部を利用して高度な人工知能を実装することを約束する。
本稿では,スパイクに基づくニューロモルフィック技術の理論的研究について解説し,ハードウェアプロセッサ,ソフトウェアプラットフォーム,ニューロモルフィックセンシングデバイスの現状について概説する。
プログレクションパスは、現在の機械学習スペシャリストがスキルセットを更新し、現在の世代のディープニューラルネットワークからSNNへの分類または予測モデルを作成するために舗装されている。
論文 参考訳(メタデータ) (2020-07-10T20:54:42Z) - Deep Learning for Ultra-Reliable and Low-Latency Communications in 6G
Networks [84.2155885234293]
まず,データ駆動型教師付き深層学習と深部強化学習をURLLCに適用する方法を概説する。
このようなオープンな問題に対処するために、デバイスインテリジェンス、エッジインテリジェンス、およびURLLCのためのクラウドインテリジェンスを可能にするマルチレベルアーキテクチャを開発した。
論文 参考訳(メタデータ) (2020-02-22T14:38:11Z) - Efficient Training of Deep Convolutional Neural Networks by Augmentation
in Embedding Space [24.847651341371684]
データが少ないアプリケーションでは、ディープラーニングモデルの一般化を改善するために、転送学習とデータ拡張技術が一般的に使用される。
生入力空間におけるデータ拡張を伴う転送モデルを微調整すると、拡張入力毎に全ネットワークを実行するのに高い計算コストがかかる。
本稿では, 生の入力空間における拡張を, 埋め込み空間において純粋に作用する近似的に置き換える手法を提案する。
論文 参考訳(メタデータ) (2020-02-12T03:26:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。