論文の概要: DREAM: A Dynamic Scheduler for Dynamic Real-time Multi-model ML
Workloads
- arxiv url: http://arxiv.org/abs/2212.03414v2
- Date: Thu, 21 Sep 2023 00:24:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-22 20:19:01.786341
- Title: DREAM: A Dynamic Scheduler for Dynamic Real-time Multi-model ML
Workloads
- Title(参考訳): DREAM:動的リアルタイムマルチモデルMLワークロードのための動的スケジューリング
- Authors: Seah Kim, Hyoukjun Kwon, Jinook Song, Jihyuck Jo, Yu-Hsin Chen,
Liangzhen Lai, Vikas Chandra
- Abstract要約: RTMMワークロードの様々な動的処理を効果的に行う新しいスケジューラDREAMを提案する。
DREAMはRTMMワークロードのユニークな要件を定量化し、定量化されたスコアを使用してスケジューリング決定を実行する。
RTMMワークロードの5つのシナリオの評価において、DREAMは、最先端のベースラインと比較して、平均幾何(80.8%、97.6%)においてUXCost全体の32.2%と50.0%削減する。
- 参考スコア(独自算出の注目度): 8.266680870089997
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Emerging real-time multi-model ML (RTMM) workloads such as AR/VR and drone
control involve dynamic behaviors in various granularity; task, model, and
layers within a model. Such dynamic behaviors introduce new challenges to the
system software in an ML system since the overall system load is not completely
predictable, unlike traditional ML workloads. In addition, RTMM workloads
require real-time processing, involve highly heterogeneous models, and target
resource-constrained devices. Under such circumstances, developing an effective
scheduler gains more importance to better utilize underlying hardware
considering the unique characteristics of RTMM workloads. Therefore, we propose
a new scheduler, DREAM, which effectively handles various dynamicity in RTMM
workloads targeting multi-accelerator systems. DREAM quantifies the unique
requirements for RTMM workloads and utilizes the quantified scores to drive
scheduling decisions, considering the current system load and other inference
jobs on different models and input frames. DREAM utilizes tunable parameters
that provide fast and effective adaptivity to dynamic workload changes. In our
evaluation of five scenarios of RTMM workload, DREAM reduces the overall
UXCost, which is an equivalent metric of the energy-delay product (EDP) for
RTMM defined in the paper, by 32.2% and 50.0% in the geometric mean (up to
80.8% and 97.6%) compared to state-of-the-art baselines, which shows the
efficacy of our scheduling methodology.
- Abstract(参考訳): AR/VRやドローン制御といったリアルタイムのマルチモデルML(RTMM)ワークロードは、モデル内のタスク、モデル、レイヤなど、さまざまな粒度の動的な振る舞いを伴います。
このような動的な振る舞いは、従来のMLワークロードとは異なり、システム全体の負荷が完全に予測不可能であるため、MLシステムのシステムソフトウェアに新たな課題をもたらす。
加えて、RTMMワークロードはリアルタイム処理、高度に異質なモデル、リソース制約のあるデバイスをターゲットとする。
このような状況下では、RTMMワークロードのユニークな特性を考慮して、基盤となるハードウェアをよりよく活用する上で、効果的なスケジューラの開発がより重要になる。
そこで,マルチアクセラレータをターゲットとしたrtmmワークロードの動的処理を効果的に行う新しいスケジューラdreamを提案する。
DREAMはRTMMワークロードのユニークな要件を定量化し、定量化されたスコアを使用して、現在のシステム負荷やその他の推論ジョブを異なるモデルや入力フレームで考慮し、スケジューリング決定を駆動する。
DREAMはチューニング可能なパラメータを使用し、動的ワークロードの変更に対して高速で効果的な適応性を提供する。
RTMMワークロードの5つのシナリオの評価において、DREAMは、この論文で定義されたRTMMのエネルギ遅延積(EDP)の等価メトリックであるUXCostを、最先端のベースラインと比較して、幾何平均(80.8%、97.6%)において32.2%と50.0%削減した。
関連論文リスト
- MOSEL: Inference Serving Using Dynamic Modality Selection [4.849058875921672]
モデル品質を維持しながら、推論入力からモダリティを適応的に選択するダイナミズム、モダリティ選択という形式を導入する。
MOSELはマルチモーダルMLモデルのための自動推論システムであり,ユーザ定義の性能と精度の要求に基づいて,要求毎の入力モダリティを慎重に選択する。
論文 参考訳(メタデータ) (2023-10-27T20:50:56Z) - Sparse-DySta: Sparsity-Aware Dynamic and Static Scheduling for Sparse
Multi-DNN Workloads [65.47816359465155]
複数のディープニューラルネットワーク(DNN)を並列に実行することは、両エッジデバイスで新たなワークロードとなっている。
スパースマルチDNNスケジューリングに静的なスケジューラパターンと動的スケジューラ情報の両方を利用する新しいスケジューラDystaを提案する。
提案手法は, 遅延制約違反率を最大10%削減し, 平均正規化ターンアラウンド時間で約4倍に向上する。
論文 参考訳(メタデータ) (2023-10-17T09:25:17Z) - RED: A Systematic Real-Time Scheduling Approach for Robotic
Environmental Dynamics [11.38746414146899]
我々は、リソース制限されたロボットシステムにおいて、マルチタスクのディープニューラルネットワークワークロードをサポートするように設計された、体系的なリアルタイムスケジューリング手法REDを紹介する。
ロボット環境ダイナミクス(RED)をリアルタイムの制約に順応しながら適応的に管理するように設計されている。
論文 参考訳(メタデータ) (2023-08-29T15:04:08Z) - Asynchronous Multi-Model Dynamic Federated Learning over Wireless
Networks: Theory, Modeling, and Optimization [20.741776617129208]
分散機械学習(ML)の鍵となる技術として、フェデレートラーニング(FL)が登場した。
まず、システムパラメータが学習性能に与える影響を捉えるために、長方形のスケジューリングステップと関数を定式化する。
我々の分析は、デバイストレーニング変数と非同期スケジューリング決定の協調的影響に光を当てている。
論文 参考訳(メタデータ) (2023-05-22T21:39:38Z) - DA-LSTM: A Dynamic Drift-Adaptive Learning Framework for Interval Load
Forecasting with LSTM Networks [1.3342521220589318]
ドリフト等級閾値は、ドリフトを識別するための変化検出方法を設計するために定義されるべきである。
本稿では,負荷予測モデルの性能向上を図るための動的ドリフト適応長短期メモリ(DA-LSTM)フレームワークを提案する。
論文 参考訳(メタデータ) (2023-05-15T16:26:03Z) - XRBench: An Extended Reality (XR) Machine Learning Benchmark Suite for
the Metaverse [18.12263246913058]
メタバースユースケースをサポートするために拡張現実(XR)のようなアプリケーション分野では、リアルタイムマルチタスクマルチモデル(MTMM)ワークロードが出現している。
これらのワークロードは、ユーザインタラクションと計算に複雑な機械学習(ML)アクティビティを組み合わせる。
これらのワークロードには、固有の困難と制約がある。
論文 参考訳(メタデータ) (2022-11-16T05:08:42Z) - M$^3$ViT: Mixture-of-Experts Vision Transformer for Efficient Multi-task
Learning with Model-Accelerator Co-design [95.41238363769892]
マルチタスク学習(MTL)は、複数の学習タスクを単一のモデルにカプセル化し、それらのタスクを共同でよりよく学習できるようにする。
現在のMTLレギュレータは、1つのタスクだけを実行するためにさえ、ほぼすべてのモデルを起動する必要がある。
効率的なオンデバイスMTLを実現するためのモデル-アクセラレータ共設計フレームワークを提案する。
論文 参考訳(メタデータ) (2022-10-26T15:40:24Z) - Attentional Mixtures of Soft Prompt Tuning for Parameter-efficient
Multi-task Knowledge Sharing [53.399742232323895]
ATTEMPTは、新しいモジュラー、マルチタスク、パラメータ効率の言語モデル(LM)チューニングアプローチである。
異なるタスク間で伝達される知識をソフトプロンプトの混合によって組み合わせ、元のLMをそのまま維持する。
パラメータ効率(例えば、微調整よりも1,600倍少ないパラメータを更新)であり、マルチタスク学習と柔軟な拡張を可能にする。
論文 参考訳(メタデータ) (2022-05-24T10:48:33Z) - Controllable Dynamic Multi-Task Architectures [92.74372912009127]
本稿では,そのアーキテクチャと重みを動的に調整し,所望のタスク選択とリソース制約に適合させる制御可能なマルチタスクネットワークを提案する。
本稿では,タスク親和性と分岐正規化損失を利用した2つのハイパーネットの非交互トレーニングを提案し,入力の嗜好を取り入れ,適応重み付き木構造モデルを予測する。
論文 参考訳(メタデータ) (2022-03-28T17:56:40Z) - Real-time Neural-MPC: Deep Learning Model Predictive Control for
Quadrotors and Agile Robotic Platforms [59.03426963238452]
モデル予測制御パイプライン内の動的モデルとして,大規模で複雑なニューラルネットワークアーキテクチャを効率的に統合するフレームワークであるReal-time Neural MPCを提案する。
ニューラルネットワークを使わずに、最先端のMPCアプローチと比較して、位置追跡誤差を最大82%削減することで、実世界の問題に対する我々のフレームワークの実現可能性を示す。
論文 参考訳(メタデータ) (2022-03-15T09:38:15Z) - Controllable Pareto Multi-Task Learning [55.945680594691076]
マルチタスク学習システムは,複数のタスクを同時に解決することを目的としている。
固定されたモデルキャパシティでは、タスクは互いに衝突し、システムは通常、それらすべてを学ぶためにトレードオフをしなければならない。
本研究では,異なるタスク間のリアルタイムなトレードオフ制御を実現するための,新しい制御可能なマルチタスク学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-10-13T11:53:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。