論文の概要: Online Learning for Orchestration of Inference in Multi-User
End-Edge-Cloud Networks
- arxiv url: http://arxiv.org/abs/2202.10541v1
- Date: Mon, 21 Feb 2022 21:41:29 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-23 15:02:36.261137
- Title: Online Learning for Orchestration of Inference in Multi-User
End-Edge-Cloud Networks
- Title（参考訳）: マルチユーザエッジクラウドネットワークにおける推論オーケストレーションのためのオンライン学習
- Authors: Sina Shahhosseini, Dongjoo Seo, Anil Kanduri, Tianyi Hu, Sung-soo Lim,
Bryan Donyanavard, Amir M.Rahmani, Nikil Dutt
- Abstract要約: ディープラーニングのためのコラボレーション型のエッジクラウドコンピューティングは、さまざまなパフォーマンスと効率を提供する。
本稿では、最適オフロードポリシーを学習する強化学習に基づく計算オフロードソリューションを提案する。
我々のソリューションは、平均応答時間において、0.9%未満の精度で、最先端技術と比較して35%のスピードアップを提供する。
- 参考スコア（独自算出の注目度）: 3.6076391721440633
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Deep-learning-based intelligent services have become prevalent in
cyber-physical applications including smart cities and health-care. Deploying
deep-learning-based intelligence near the end-user enhances privacy protection,
responsiveness, and reliability. Resource-constrained end-devices must be
carefully managed in order to meet the latency and energy requirements of
computationally-intensive deep learning services. Collaborative end-edge-cloud
computing for deep learning provides a range of performance and efficiency that
can address application requirements through computation offloading. The
decision to offload computation is a communication-computation co-optimization
problem that varies with both system parameters (e.g., network condition) and
workload characteristics (e.g., inputs). On the other hand, deep learning model
optimization provides another source of tradeoff between latency and model
accuracy. An end-to-end decision-making solution that considers such
computation-communication problem is required to synergistically find the
optimal offloading policy and model for deep learning services. To this end, we
propose a reinforcement-learning-based computation offloading solution that
learns optimal offloading policy considering deep learning model selection
techniques to minimize response time while providing sufficient accuracy. We
demonstrate the effectiveness of our solution for edge devices in an
end-edge-cloud system and evaluate with a real-setup implementation using
multiple AWS and ARM core configurations. Our solution provides 35% speedup in
the average response time compared to the state-of-the-art with less than 0.9%
accuracy reduction, demonstrating the promise of our online learning framework
for orchestrating DL inference in end-edge-cloud systems.
- Abstract（参考訳）: ディープラーニングベースのインテリジェントサービスは、スマートシティやヘルスケアなど、サイバー物理アプリケーションで普及している。
エンドユーザの近くにディープラーニングベースのインテリジェンスをデプロイすることで、プライバシ保護、応答性、信頼性が向上する。
リソース制約のあるエンドデバイスは、計算集約型ディープラーニングサービスのレイテンシとエネルギー要求を満たすために、慎重に管理されなければならない。
ディープラーニングのためのコラボレーション型のエッジクラウドコンピューティングは、計算のオフロードを通じてアプリケーション要求に対処できる、さまざまなパフォーマンスと効率を提供する。
オフロード計算の決定は、システムパラメータ(ネットワーク条件など)とワークロード特性(入力など)の両方によって異なる、通信計算の共最適化問題である。
一方、ディープラーニングモデルの最適化は、レイテンシとモデルの正確性の間の別のトレードオフ源を提供する。
このような計算通信問題を考慮したエンドツーエンドの意思決定ソリューションは、ディープラーニングサービスのための最適なオフロードポリシとモデルを見つけるために必要となる。
そこで本研究では,ディープラーニングモデル選択手法を考慮した最適オフロードポリシーを学習し,十分な精度を保ちながら応答時間を最小化する強化学習型計算オフロードソリューションを提案する。
エンドエッジクラウドシステムにおけるエッジデバイスに対するソリューションの有効性を実証し,複数のawsおよびarmコア構成を用いた実際のセットアップ実装で評価する。
我々のソリューションは、最先端のクラウドシステムでdl推論をオーケストレーションするためのオンライン学習フレームワークの可能性を実証し、0.9%未満の精度で、平均応答時間の35%のスピードアップを提供する。
関連論文リスト
- Slicing for AI: An Online Learning Framework for Network Slicing Supporting AI Services [5.80147190706865]
6Gネットワークは、革新的なネットワークスライシング戦略を必要とするAI駆動サービスの新たな領域を受け入れる。
本稿では,AIサービスへの計算・通信資源の割り当てを最適化するオンライン学習フレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-20T14:38:54Z) - DNN Partitioning, Task Offloading, and Resource Allocation in Dynamic Vehicular Networks: A Lyapunov-Guided Diffusion-Based Reinforcement Learning Approach [49.56404236394601]
本稿では,Vehicular Edge Computingにおける共同DNNパーティショニング,タスクオフロード,リソース割り当ての問題を定式化する。
我々の目標は、時間とともにシステムの安定性を保証しながら、DNNベースのタスク完了時間を最小化することである。
拡散モデルの革新的利用を取り入れたマルチエージェント拡散に基づく深層強化学習(MAD2RL)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-06-11T06:31:03Z) - A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical
Computation Offloading [62.34538208323411]
共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。
MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
論文 参考訳（メタデータ） (2023-09-02T11:01:16Z) - Time-sensitive Learning for Heterogeneous Federated Edge Intelligence [52.83633954857744]
フェデレーションエッジインテリジェンス(FEI)システムにおけるリアルタイム機械学習について検討する。
FEIシステムは異種通信と計算資源分布を示す。
本稿では,共有MLモデルの協調学習における全体の実行時間を最小化するために,時間依存型フェデレーションラーニング(TS-FL)フレームワークを提案する。
論文 参考訳（メタデータ） (2023-01-26T08:13:22Z) - Hybrid Learning for Orchestrating Deep Learning Inference in Multi-user
Edge-cloud Networks [3.7630209350186807]
ディープラーニングのためのコラボレーション型のエッジクラウドコンピューティングは、さまざまなパフォーマンスと効率を提供する。
ディープラーニング推論オーケストレーション戦略では、最適なオーケストレーションポリシを見つけるために強化学習を採用している。
我々は、最先端のRLベースの推論オーケストレーションを実験的に比較することで、HL戦略の有効性を実証する。
論文 参考訳（メタデータ） (2022-02-21T21:50:50Z) - Dynamic Network-Assisted D2D-Aided Coded Distributed Learning [59.29409589861241]
本稿では,デバイス間のロードバランシングのための新しいデバイス・ツー・デバイス(D2D)支援型符号化学習手法(D2D-CFL)を提案する。
最小処理時間を達成するための最適圧縮率を導出し、収束時間との接続を確立する。
提案手法は,ユーザが継続的にトレーニングデータを生成するリアルタイム協調アプリケーションに有用である。
論文 参考訳（メタデータ） (2021-11-26T18:44:59Z) - Federated Double Deep Q-learning for Joint Delay and Energy Minimization
in IoT networks [12.599009485247283]
本稿では,多目的最適化問題の解法として,連合型深層強化学習フレームワークを提案する。
各エピソードの最後に,IoTデバイス(エージェント)の学習速度を高めるために,フェデレーション学習(FDL)を取り入れた。
提案するDDQNフレームワークの有効性を,学習速度の観点から検証した。
論文 参考訳（メタデータ） (2021-04-02T18:41:59Z) - Multi-agent Reinforcement Learning for Resource Allocation in IoT
networks with Edge Computing [16.129649374251088]
エンドユーザーが計算をオフロードするのは、スペクトルとリソースに対する大きな要求のためである。
本稿では,IoTエッジコンピューティングネットワークにおけるリソース割り当てを伴うオフロード機構をゲームとして定式化することによって検討する。
論文 参考訳（メタデータ） (2020-04-05T20:59:20Z) - Differentially Private Federated Learning for Resource-Constrained
Internet of Things [24.58409432248375]
フェデレーション学習は、中央にデータをアップロードすることなく、分散されたスマートデバイスから大量のデータを分析できる。
本稿では、IoTのリソース制約されたスマートデバイスにまたがるデータから機械学習モデルを効率的にトレーニングするためのDP-PASGDと呼ばれる新しいフェデレーション学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-03-28T04:32:54Z) - Joint Parameter-and-Bandwidth Allocation for Improving the Efficiency of
Partitioned Edge Learning [73.82875010696849]
機械学習アルゴリズムは、人工知能(AI)モデルをトレーニングするために、ネットワークエッジにデプロイされる。
本稿では,パラメータ(計算負荷)割り当てと帯域幅割り当ての新しい共同設計に焦点を当てる。
論文 参考訳（メタデータ） (2020-03-10T05:52:15Z) - Deep Learning for Ultra-Reliable and Low-Latency Communications in 6G
Networks [84.2155885234293]
まず,データ駆動型教師付き深層学習と深部強化学習をURLLCに適用する方法を概説する。
このようなオープンな問題に対処するために、デバイスインテリジェンス、エッジインテリジェンス、およびURLLCのためのクラウドインテリジェンスを可能にするマルチレベルアーキテクチャを開発した。
論文 参考訳（メタデータ） (2020-02-22T14:38:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。