論文の概要: Deep Reinforcement Learning based Online Scheduling Policy for Deep Neural Network Multi-Tenant Multi-Accelerator Systems

• arxiv url: http://arxiv.org/abs/2404.08950v1
• Date: Sat, 13 Apr 2024 10:13:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-16 17:53:43.850550
• Title: Deep Reinforcement Learning based Online Scheduling Policy for Deep Neural Network Multi-Tenant Multi-Accelerator Systems
• Title（参考訳）: 深層ニューラルネットワークマルチテナントマルチ加速器システムのための深部強化学習に基づくオンラインスケジューリングポリシー
• Authors: Francesco G. Blanco, Enrico Russo, Maurizio Palesi, Davide Patti, Giuseppe Ascia, Vincenzo Catania,
• Abstract要約: 本稿では,マルチテナント環境におけるDNNのオンラインスケジューリングを目的とした低オーバーヘッド深層強化学習アルゴリズムRELMASを提案する。 ヘテロジニアス多加速器システムへのRELMASの適用により、SLAの満足度は最大で173%向上した。
• 参考スコア（独自算出の注目度）: 1.7724466261976437
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Currently, there is a growing trend of outsourcing the execution of DNNs to cloud services. For service providers, managing multi-tenancy and ensuring high-quality service delivery, particularly in meeting stringent execution time constraints, assumes paramount importance, all while endeavoring to maintain cost-effectiveness. In this context, the utilization of heterogeneous multi-accelerator systems becomes increasingly relevant. This paper presents RELMAS, a low-overhead deep reinforcement learning algorithm designed for the online scheduling of DNNs in multi-tenant environments, taking into account the dataflow heterogeneity of accelerators and memory bandwidths contentions. By doing so, service providers can employ the most efficient scheduling policy for user requests, optimizing Service-Level-Agreement (SLA) satisfaction rates and enhancing hardware utilization. The application of RELMAS to a heterogeneous multi-accelerator system composed of various instances of Simba and Eyeriss sub-accelerators resulted in up to a 173% improvement in SLA satisfaction rate compared to state-of-the-art scheduling techniques across different workload scenarios, with less than a 1.5% energy overhead.
• Abstract（参考訳）: 現在、DNNの実行をクラウドサービスにアウトソーシングするトレンドが増えている。 サービス提供者にとって、マルチテナントを管理し、特に厳格な実行時間の制約を満たす場合、高品質なサービス提供を保証することは、コスト効率を維持する努力をしながら、最重要事項を前提とします。 この文脈では、異種多加速器システムの利用がますます重要になっている。 本稿では,マルチテナント環境におけるDNNのオンラインスケジューリングを目的とした低頭深度強化学習アルゴリズムRELMASを提案する。 これにより、サービスプロバイダは、ユーザ要求に対して最も効率的なスケジューリングポリシーを適用でき、SLA(Service-Level-Agreement)満足度を最適化し、ハードウェア利用率を向上できます。 様々なシムバとアイリスのサブ加速器からなる異種多加速器システムへのRELMASの適用は、異なるワークロードシナリオにおける最先端のスケジューリング技術と比較して最大173%のSLA満足率向上を実現し、エネルギーオーバーヘッドは1.5%以下となった。

関連論文リスト

• Towards Fair and Firm Real-Time Scheduling in DNN Multi-Tenant Multi-Accelerator Systems via Reinforcement Learning [1.8781124875646162]
  マルチテナント、マルチアクセラレータクラウド環境におけるテナント固有の管理にDeep Reinforcement Learningを活用する新しいアプローチを導入する。 マルチアクセラレータシステムにおけるディープニューラルネットワークの新しいオンラインスケジューリングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-02-09T07:25:07Z)
• Joint User Association, Interference Cancellation and Power Control for Multi-IRS Assisted UAV Communications [80.35959154762381]
  インテリジェント反射面(IRS)支援無人航空機(UAV)通信は、地上基地局の負荷を低コストで軽減することが期待されている。 既存の研究は主に、複数のIRSではなく単一のIRSの配置とリソース割り当てに焦点を当てている。 我々は,共同IRSユーザアソシエーションのための新しい最適化アルゴリズム,UAVの軌道最適化,逐次干渉キャンセル(SIC)復号命令スケジューリング,電力割り当てを提案する。
  論文  参考訳（メタデータ） (2023-12-08T01:57:10Z)
• Client Orchestration and Cost-Efficient Joint Optimization for NOMA-Enabled Hierarchical Federated Learning [55.49099125128281]
  半同期クラウドモデルアグリゲーションの下で非直交多重アクセス(NOMA)を実現するHFLシステムを提案する。 提案手法は,HFLの性能改善と総コスト削減に関するベンチマークよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-11-03T13:34:44Z)
• Adaptive Resource Allocation for Virtualized Base Stations in O-RAN with Online Learning [60.17407932691429]
  基地局(vBS)を備えたオープンラジオアクセスネットワークシステムは、柔軟性の向上、コスト削減、ベンダーの多様性、相互運用性のメリットを提供する。 本研究では,予期せぬ「混み合う」環境下であっても,効率的なスループットとvBSエネルギー消費のバランスをとるオンライン学習アルゴリズムを提案する。 提案手法は, 課題のある環境においても, 平均最適性ギャップをゼロにすることで, サブ線形後悔を実現する。
  論文  参考訳（メタデータ） (2023-09-04T17:30:21Z)
• Reconfigurable Distributed FPGA Cluster Design for Deep Learning Accelerators [59.11160990637615]
  エッジコンピューティングアプリケーション用に設計された低消費電力組み込みFPGAに基づく分散システムを提案する。 提案システムは,様々なニューラルネットワーク(NN)モデルを同時に実行し,パイプライン構造にグラフを配置し,NNグラフの最も計算集約的な層により大きなリソースを手動で割り当てる。
  論文  参考訳（メタデータ） (2023-05-24T16:08:55Z)
• MoCA: Memory-Centric, Adaptive Execution for Multi-Tenant Deep Neural Networks [3.8537852783718627]
  MoCAはディープニューラルネットワーク(DNN)アクセラレーターのための適応型マルチテナンシシステムである。 ターゲットを満たすために、共同配置されたアプリケーションの共有メモリリソースを動的に管理する。 我々は,サービスレベル合意(SLA)の満足度を3.9倍(平均1.8倍)、システムスループットを2.3倍(平均1.7倍)、公正度を1.3倍(平均1.2倍)に向上させることを実証した。
  論文  参考訳（メタデータ） (2023-05-10T02:24:50Z)
• Unifying Synergies between Self-supervised Learning and Dynamic Computation [53.66628188936682]
  SSLとDCのパラダイム間の相互作用に関する新しい視点を提示する。 SSL設定において、スクラッチから高密度かつゲートされたサブネットワークを同時に学習することは可能であることを示す。 密集エンコーダとゲートエンコーダの事前学習における共進化は、良好な精度と効率のトレードオフをもたらす。
  論文  参考訳（メタデータ） (2023-01-22T17:12:58Z)
• A Graph Neural Networks based Framework for Topology-Aware Proactive SLA Management in a Latency Critical NFV Application Use-case [0.34376560669160383]
  5Gと6Gの最近の進歩は、ネットワークシリーズ(NFV)によって実現される遅延クリティカルなアプリケーションの出現につながっている。 本稿では,グラフニューラルネットワーク(GNN)と深層強化学習(DRL)を活用して,効率性と信頼性のトレードオフをバランスさせる,積極的なSLA管理フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-10T23:22:05Z)
• An Intelligent Deterministic Scheduling Method for Ultra-Low Latency Communication in Edge Enabled Industrial Internet of Things [19.277349546331557]
  時間知覚ネットワーク (TSN) は, 決定論的スケジューリングによる低遅延通信を実現するために最近研究されている。 非衝突理論に基づく決定論的スケジューリング (NDS) 法を提案し, 時間に敏感な流れに対する超低遅延通信を実現する。 実験の結果,NDS/DQSは決定論的超低レイテンシサービスを十分にサポートし,帯域幅の有効利用を保証できることがわかった。
  論文  参考訳（メタデータ） (2022-07-17T16:52:51Z)
• Collaborative Intelligent Reflecting Surface Networks with Multi-Agent Reinforcement Learning [63.83425382922157]
  インテリジェント・リフレクション・サーフェス(IRS)は将来の無線ネットワークに広く応用されることが想定されている。 本稿では,エネルギー収穫能力を備えた協調型IRSデバイスを用いたマルチユーザ通信システムについて検討する。
  論文  参考訳（メタデータ） (2022-03-26T20:37:14Z)
• Age of Information Aware VNF Scheduling in Industrial IoT Using Deep Reinforcement Learning [9.780232937571599]
  深部強化学習(DRL)はそのような問題を解決するための有効な方法として現れている。 本論文では, 単一エージェントの低複素複素アクションアクター-クリティカルRLを用いて離散的および連続的なアクションの両方をカバーする。 その後、エージェントが互いに協力するマルチエージェントDRLスキームにソリューションを拡張します。
  論文  参考訳（メタデータ） (2021-05-10T09:04:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。