論文の概要: DeepRT: A Soft Real Time Scheduler for Computer Vision Applications on the Edge

• arxiv url: http://arxiv.org/abs/2105.01803v1
• Date: Wed, 5 May 2021 00:08:17 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-06 12:41:07.648965
• Title: DeepRT: A Soft Real Time Scheduler for Computer Vision Applications on the Edge
• Title（参考訳）: DeepRT:エッジ上のコンピュータビジョンアプリケーションのためのソフトリアルタイムスケジューリング
• Authors: Zhe Yang, Klara Nahrstedt, Hongpeng Guo, Qian Zhou
• Abstract要約: 本稿では,データに対する推論を行うソフトリアルタイム要求を行うアプリケーションについて述べる。 DeepRTは、システム全体のスループットを高く保ちながら、要求に遅延を保証する。 評価の結果,DeepRTは納期ミス数やスループットの点で最先端の作業よりも優れていた。
• 参考スコア（独自算出の注目度）: 17.725750510361884
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The ubiquity of smartphone cameras and IoT cameras, together with the recent boom of deep learning and deep neural networks, proliferate various computer vision driven mobile and IoT applications deployed on the edge. This paper focuses on applications which make soft real time requests to perform inference on their data - they desire prompt responses within designated deadlines, but occasional deadline misses are acceptable. Supporting soft real time applications on a multi-tenant edge server is not easy, since the requests sharing the limited GPU computing resources of an edge server interfere with each other. In order to tackle this problem, we comprehensively evaluate how latency and throughput respond to different GPU execution plans. Based on this analysis, we propose a GPU scheduler, DeepRT, which provides latency guarantee to the requests while maintaining high overall system throughput. The key component of DeepRT, DisBatcher, batches data from different requests as much as possible while it is proven to provide latency guarantee for requests admitted by an Admission Control Module. DeepRT also includes an Adaptation Module which tackles overruns. Our evaluation results show that DeepRT outperforms state-of-the-art works in terms of the number of deadline misses and throughput.
• Abstract（参考訳）: スマートフォンカメラとIoTカメラの普及と、近年のディープラーニングとディープニューラルネットワークのブームにより、さまざまなコンピュータビジョン駆動のモバイルおよびIoTアプリケーションがエッジにデプロイされている。 本稿では,与えられた期限内に迅速な応答を希望するデータに対して,ソフトリアルタイム要求を行うアプリケーションについて検討する。 エッジサーバの限られたgpuコンピューティングリソースを共有する要求が相互に干渉するため、マルチテナントエッジサーバでソフトリアルタイムアプリケーションをサポートするのは容易ではない。 この問題に対処するため,GPU実行計画の異なる待ち時間とスループットを総合的に評価した。 そこで本研究では,gpuスケジューラであるdeeprtを提案する。 DeepRTのキーコンポーネントであるDisBatcherは、さまざまなリクエストからデータを可能な限りバッチし、Admission Control Moduleによって承認されたリクエストに対して遅延保証を提供することが証明されている。 DeepRTには、オーバーランに取り組むAdaptation Moduleも含まれている。 評価の結果,DeepRTは納期ミス数やスループットにおいて最先端の作業よりも優れていた。

関連論文リスト

• SGPRS: Seamless GPU Partitioning Real-Time Scheduler for Periodic Deep Learning Workloads [0.9898607871253774]
  構成分割スイッチのゼロを考慮した最初のリアルタイムGPUスケジューラであるSGPRSを提案する。 提案するスケジューラは、並列タスクの期限を多く満たすだけでなく、ピボットポイントを越えた全体的なパフォーマンスも維持する。
  論文  参考訳（メタデータ） (2024-04-13T18:29:26Z)
• Scheduling Inference Workloads on Distributed Edge Clusters with Reinforcement Learning [11.007816552466952]
  本稿では,エッジネットワークにおける予測クエリを短時間でスケジューリングする問題に焦点をあてる。 シミュレーションにより,大規模ISPの現実的なネットワーク設定とワークロードにおけるいくつかのポリシーを解析する。 我々は、強化学習に基づくスケジューリングアルゴリズムASETを設計し、システム条件に応じてその決定を適応させることができる。
  論文  参考訳（メタデータ） (2023-01-31T13:23:34Z)
• Deep Reinforcement Learning for Trajectory Path Planning and Distributed Inference in Resource-Constrained UAV Swarms [6.649753747542209]
  本研究の目的は,UAVSwarmにおける分散協調推論要求と経路計画のためのモデルの設計である。 定式化問題はNPハードであるため、最適解を見つけることは極めて複雑である。 我々は、広範囲なシミュレーションを行い、その結果を、我々のモデルが競合モデルより優れていることを示す最先端の研究と比較する。
  論文  参考訳（メタデータ） (2022-12-21T17:16:42Z)
• MAPLE-X: Latency Prediction with Explicit Microprocessor Prior Knowledge [87.41163540910854]
  ディープニューラルネットワーク(DNN)レイテンシのキャラクタリゼーションは、時間を要するプロセスである。 ハードウェアデバイスの事前知識とDNNアーキテクチャのレイテンシを具体化し,MAPLEを拡張したMAPLE-Xを提案する。
  論文  参考訳（メタデータ） (2022-05-25T11:08:20Z)
• MAPLE-Edge: A Runtime Latency Predictor for Edge Devices [80.01591186546793]
  汎用ハードウェアの最先端遅延予測器であるMAPLEのエッジデバイス指向拡張であるMAPLE-Edgeを提案する。 MAPLEと比較して、MAPLE-Edgeはより小さなCPUパフォーマンスカウンタを使用して、ランタイムとターゲットデバイスプラットフォームを記述することができる。 また、共通ランタイムを共有するデバイスプール上でトレーニングを行うMAPLEとは異なり、MAPLE-Edgeは実行時に効果的に一般化できることを示す。
  論文  参考訳（メタデータ） (2022-04-27T14:00:48Z)
• Real-Time GPU-Accelerated Machine Learning Based Multiuser Detection for 5G and Beyond [70.81551587109833]
  非線形ビームフォーミングフィルタは、大規模な接続を伴う定常シナリオにおいて、線形アプローチを著しく上回る。 主な課題の1つは、これらのアルゴリズムのリアルタイム実装である。 本稿では,大規模並列化によるAPSMに基づくアルゴリズムの高速化について検討する。
  論文  参考訳（メタデータ） (2022-01-13T15:20:45Z)
• StrObe: Streaming Object Detection from LiDAR Packets [73.27333924964306]
  ローリングシャッターのLiDARはパケットのストリームとして出力され、それぞれ360degのカバレッジのセクターをカバーする。 現代の認識アルゴリズムは、データを処理する前に全スイープが構築されるのを待つ。 本稿では,LiDARパケットを取り込み,全スイープが構築されるのを待たずに検出ストリームを出力することで,レイテンシを最小化する新しいアプローチであるStrObeを提案する。
  論文  参考訳（メタデータ） (2020-11-12T14:57:44Z)
• Scheduling Real-time Deep Learning Services as Imprecise Computations [11.611969843191433]
  本稿では,インテリジェントリアルタイムエッジサービスのための効率的なリアルタイムスケジューリングアルゴリズムを提案する。 これらのサービスは、音声認識、LIDAR処理、マシンビジョンなどのマシンインテリジェンスタスクを実行する。 ディープニューラルネットワークを不正確な計算として、それぞれに必須部分といくつかのオプション部分を持つことを示す。
  論文  参考訳（メタデータ） (2020-11-02T16:43:04Z)
• LC-NAS: Latency Constrained Neural Architecture Search for Point Cloud Networks [73.78551758828294]
  LC-NASは、最小計算コストでポイントクラウド分類のための最先端アーキテクチャを見つけることができる。 検索したアーキテクチャが、適度に低い精度で、望ましいレイテンシを実現する方法を示します。
  論文  参考訳（メタデータ） (2020-08-24T10:30:21Z)
• Dynamic Compression Ratio Selection for Edge Inference Systems with Hard Deadlines [9.585931043664363]
  本稿では,ハード期限付きエッジ推論システムの動的圧縮比選択手法を提案する。 誤り推論により少ない圧縮データを再送信する情報拡張を提案し,精度向上を図る。 無線伝送エラーを考慮し、パケット損失による性能劣化を低減する再送信方式を更に設計する。
  論文  参考訳（メタデータ） (2020-05-25T17:11:53Z)
• Deep Learning for Ultra-Reliable and Low-Latency Communications in 6G Networks [84.2155885234293]
  まず,データ駆動型教師付き深層学習と深部強化学習をURLLCに適用する方法を概説する。 このようなオープンな問題に対処するために、デバイスインテリジェンス、エッジインテリジェンス、およびURLLCのためのクラウドインテリジェンスを可能にするマルチレベルアーキテクチャを開発した。
  論文  参考訳（メタデータ） (2020-02-22T14:38:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。