論文の概要: Autodidactic Neurosurgeon: Collaborative Deep Inference for Mobile Edge
Intelligence via Online Learning
- arxiv url: http://arxiv.org/abs/2102.02638v1
- Date: Tue, 2 Feb 2021 18:50:06 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-05 16:46:37.213144
- Title: Autodidactic Neurosurgeon: Collaborative Deep Inference for Mobile Edge
Intelligence via Online Learning
- Title（参考訳）: Autodidactic Neurosurgeon: オンライン学習によるモバイルエッジインテリジェンスの協調的深層推論
- Authors: Letian Zhang, Lixing Chen, Jie Xu
- Abstract要約: 本稿では,資源制約のあるモバイルデバイスと強力なエッジサーバとの間に協調的な深層推論システムを構築する。
我々のシステムには、Autodidactic Neurosurgeon (ANS)と呼ばれるオンライン学習モジュールが組み込まれており、最適な分割点を自動的に学習する。
ANSは、トラッキングシステムの変更とエンドツーエンドの推論遅延の低減の観点から、最先端のベンチマークを著しく上回る。
- 参考スコア（独自算出の注目度）: 19.013102763434794
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent breakthroughs in deep learning (DL) have led to the emergence of many
intelligent mobile applications and services, but in the meanwhile also pose
unprecedented computing challenges on resource-constrained mobile devices. This
paper builds a collaborative deep inference system between a
resource-constrained mobile device and a powerful edge server, aiming at
joining the power of both on-device processing and computation offloading. The
basic idea of this system is to partition a deep neural network (DNN) into a
front-end part running on the mobile device and a back-end part running on the
edge server, with the key challenge being how to locate the optimal partition
point to minimize the end-to-end inference delay. Unlike existing efforts on
DNN partitioning that rely heavily on a dedicated offline profiling stage to
search for the optimal partition point, our system has a built-in online
learning module, called Autodidactic Neurosurgeon (ANS), to automatically learn
the optimal partition point on-the-fly. Therefore, ANS is able to closely
follow the changes of the system environment by generating new knowledge for
adaptive decision making. The core of ANS is a novel contextual bandit learning
algorithm, called $\mu$LinUCB, which not only has provable theoretical learning
performance guarantee but also is ultra-lightweight for easy real-world
implementation. We implement our system on a video stream object detection
testbed to validate the design of ANS and evaluate its performance. The
experiments show that ANS significantly outperforms state-of-the-art benchmarks
in terms of tracking system changes and reducing the end-to-end inference
delay.
- Abstract（参考訳）: ディープラーニング(DL)の最近の進歩は、多くのインテリジェントなモバイルアプリケーションとサービスの出現をもたらしましたが、その一方で、リソースに制約のあるモバイルデバイスで前例のないコンピューティングの課題を引き起こします。
本論文では, リソースに制約のあるモバイルデバイスとエッジサーバの協調的な深層推論システムを構築し, オンデバイス処理と計算オフロードの両方のパワーを結集することを目的とする。
このシステムの基本的な考え方は、ディープニューラルネットワーク(DNN)をモバイルデバイス上で動作するフロントエンド部とエッジサーバ上で動作するバックエンド部に分割することであり、主な課題は、エンドツーエンドの推論遅延を最小限に抑えるために最適なパーティションポイントを見つける方法である。
最適なパーティションポイントを探索するために、専用のオフラインプロファイリングステージに大きく依存する既存のDNNパーティションとは異なり、我々のシステムは、Autodidactic Neurosurgeon (ANS)と呼ばれるオンライン学習モジュールを組み込んで、最適なパーティションポイントをオンザフライで自動的に学習する。
したがって、適応的意思決定のための新たな知識を発生させることにより、システム環境の変化を密接に追従することができる。
ANSのコアは、$\mu$LinUCBと呼ばれる新しいコンテキスト型バンディット学習アルゴリズムであり、理論的な学習性能を保証するだけでなく、現実世界の実装を容易にするための超軽量です。
本稿では,ansの設計を検証するために,映像ストリームオブジェクト検出テストベッド上でシステムを実装し,その性能評価を行う。
この実験は、ANSがトラッキングシステムの変更とエンドツーエンドの推論遅延の低減の観点から、最先端のベンチマークを大幅に上回っていることを示しています。
関連論文リスト
- Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。
既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。
ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-29T19:02:54Z) - DNN Partitioning, Task Offloading, and Resource Allocation in Dynamic Vehicular Networks: A Lyapunov-Guided Diffusion-Based Reinforcement Learning Approach [49.56404236394601]
本稿では,Vehicular Edge Computingにおける共同DNNパーティショニング,タスクオフロード,リソース割り当ての問題を定式化する。
我々の目標は、時間とともにシステムの安定性を保証しながら、DNNベースのタスク完了時間を最小化することである。
拡散モデルの革新的利用を取り入れたマルチエージェント拡散に基づく深層強化学習(MAD2RL)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-06-11T06:31:03Z) - Learning for Semantic Knowledge Base-Guided Online Feature Transmission
in Dynamic Channels [41.59960455142914]
本稿では,エンドツーエンド通信システムにおける動的チャネル条件とデバイスモビリティの課題に対処する,オンライン最適化フレームワークを提案する。
提案手法は,多レベル特徴伝達を駆動するための意味的知識ベースを活用することによって,既存の手法に基づいている。
オンライン最適化の課題を解決するために,リアルタイム意思決定のための報酬関数を慎重に設計した,ソフトアクターに基づく深層強化学習システムの設計を行った。
論文 参考訳（メタデータ） (2023-11-30T07:35:56Z) - A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical
Computation Offloading [62.34538208323411]
共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。
MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
論文 参考訳（メタデータ） (2023-09-02T11:01:16Z) - Split-Et-Impera: A Framework for the Design of Distributed Deep Learning
Applications [8.434224141580758]
Split-Et-Imperaは、ディープネットワークの解釈可能性の原則に基づいて、ニューラルネットワークのベストスプリットポイントのセットを決定する。
異なるニューラルネットワーク再構成の迅速な評価のための通信認識シミュレーションを実行する。
これは、アプリケーションのサービス要件の品質と、正確性とレイテンシ時間の観点からのパフォーマンスのベストマッチを示唆している。
論文 参考訳（メタデータ） (2023-03-22T13:00:00Z) - Fluid Batching: Exit-Aware Preemptive Serving of Early-Exit Neural
Networks on Edge NPUs [74.83613252825754]
スマートエコシステム(smart ecosystems)"は、スタンドアロンではなく、センセーションが同時に行われるように形成されています。
これはデバイス上の推論パラダイムを、エッジにニューラル処理ユニット(NPU)をデプロイする方向にシフトしている。
そこで本研究では,実行時のプリエンプションが到着・終了プロセスによってもたらされる動的性を考慮に入れた,新しい早期終了スケジューリングを提案する。
論文 参考訳（メタデータ） (2022-09-27T15:04:01Z) - Online Learning for Orchestration of Inference in Multi-User
End-Edge-Cloud Networks [3.6076391721440633]
ディープラーニングのためのコラボレーション型のエッジクラウドコンピューティングは、さまざまなパフォーマンスと効率を提供する。
本稿では、最適オフロードポリシーを学習する強化学習に基づく計算オフロードソリューションを提案する。
我々のソリューションは、平均応答時間において、0.9%未満の精度で、最先端技術と比較して35%のスピードアップを提供する。
論文 参考訳（メタデータ） (2022-02-21T21:41:29Z) - An Adaptive Device-Edge Co-Inference Framework Based on Soft
Actor-Critic [72.35307086274912]
高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。
本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。
レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
論文 参考訳（メタデータ） (2022-01-09T09:31:50Z) - Deep Multi-Task Learning for Cooperative NOMA: System Design and
Principles [52.79089414630366]
我々は,近年のディープラーニング(DL)の進歩を反映した,新しいディープ・コラボレーティブなNOMAスキームを開発する。
我々は,システム全体を包括的に最適化できるように,新しいハイブリッドカスケードディープニューラルネットワーク(DNN)アーキテクチャを開発した。
論文 参考訳（メタデータ） (2020-07-27T12:38:37Z) - AutoScale: Optimizing Energy Efficiency of End-to-End Edge Inference
under Stochastic Variance [11.093360539563657]
AutoScaleは、カスタム設計の強化学習アルゴリズムに基づいて構築された、適応的で軽量な実行スケーリングエンジンである。
本稿では,エッジでの高精度かつエネルギー効率の高いディープラーニング推論を実現するためのAutoScaleを提案する。
論文 参考訳（メタデータ） (2020-05-06T00:30:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。