論文の概要: DREAM: A Dynamic Scheduler for Dynamic Real-time Multi-model ML Workloads

• arxiv url: http://arxiv.org/abs/2212.03414v2
• Date: Thu, 21 Sep 2023 00:24:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-22 20:19:01.786341
• Title: DREAM: A Dynamic Scheduler for Dynamic Real-time Multi-model ML Workloads
• Title（参考訳）: DREAM:動的リアルタイムマルチモデルMLワークロードのための動的スケジューリング
• Authors: Seah Kim, Hyoukjun Kwon, Jinook Song, Jihyuck Jo, Yu-Hsin Chen, Liangzhen Lai, Vikas Chandra
• Abstract要約: RTMMワークロードの様々な動的処理を効果的に行う新しいスケジューラDREAMを提案する。 DREAMはRTMMワークロードのユニークな要件を定量化し、定量化されたスコアを使用してスケジューリング決定を実行する。 RTMMワークロードの5つのシナリオの評価において、DREAMは、最先端のベースラインと比較して、平均幾何(80.8%、97.6%)においてUXCost全体の32.2%と50.0%削減する。
• 参考スコア（独自算出の注目度）: 8.266680870089997
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Emerging real-time multi-model ML (RTMM) workloads such as AR/VR and drone control involve dynamic behaviors in various granularity; task, model, and layers within a model. Such dynamic behaviors introduce new challenges to the system software in an ML system since the overall system load is not completely predictable, unlike traditional ML workloads. In addition, RTMM workloads require real-time processing, involve highly heterogeneous models, and target resource-constrained devices. Under such circumstances, developing an effective scheduler gains more importance to better utilize underlying hardware considering the unique characteristics of RTMM workloads. Therefore, we propose a new scheduler, DREAM, which effectively handles various dynamicity in RTMM workloads targeting multi-accelerator systems. DREAM quantifies the unique requirements for RTMM workloads and utilizes the quantified scores to drive scheduling decisions, considering the current system load and other inference jobs on different models and input frames. DREAM utilizes tunable parameters that provide fast and effective adaptivity to dynamic workload changes. In our evaluation of five scenarios of RTMM workload, DREAM reduces the overall UXCost, which is an equivalent metric of the energy-delay product (EDP) for RTMM defined in the paper, by 32.2% and 50.0% in the geometric mean (up to 80.8% and 97.6%) compared to state-of-the-art baselines, which shows the efficacy of our scheduling methodology.
• Abstract（参考訳）: AR/VRやドローン制御といったリアルタイムのマルチモデルML(RTMM)ワークロードは、モデル内のタスク、モデル、レイヤなど、さまざまな粒度の動的な振る舞いを伴います。 このような動的な振る舞いは、従来のMLワークロードとは異なり、システム全体の負荷が完全に予測不可能であるため、MLシステムのシステムソフトウェアに新たな課題をもたらす。 加えて、RTMMワークロードはリアルタイム処理、高度に異質なモデル、リソース制約のあるデバイスをターゲットとする。 このような状況下では、RTMMワークロードのユニークな特性を考慮して、基盤となるハードウェアをよりよく活用する上で、効果的なスケジューラの開発がより重要になる。 そこで,マルチアクセラレータをターゲットとしたrtmmワークロードの動的処理を効果的に行う新しいスケジューラdreamを提案する。 DREAMはRTMMワークロードのユニークな要件を定量化し、定量化されたスコアを使用して、現在のシステム負荷やその他の推論ジョブを異なるモデルや入力フレームで考慮し、スケジューリング決定を駆動する。 DREAMはチューニング可能なパラメータを使用し、動的ワークロードの変更に対して高速で効果的な適応性を提供する。 RTMMワークロードの5つのシナリオの評価において、DREAMは、この論文で定義されたRTMMのエネルギ遅延積(EDP)の等価メトリックであるUXCostを、最先端のベースラインと比較して、幾何平均(80.8%、97.6%)において32.2%と50.0%削減した。

関連論文リスト

• DeeR-VLA: Dynamic Inference of Multimodal Large Language Models for Efficient Robot Execution [114.61347672265076]
  実世界のロボットのためのMLLMの開発は、ロボットプラットフォームで利用可能な計算能力とメモリ容量が典型的に限られているため、難しい。 活性化MLLMのサイズを自動的に調整するロボットビジョンランゲージ・アクション・モデル(DeeR)の動的早期実行フレームワークを提案する。 DeeR は LLM の計算コストを 5.2-6.5x に削減し、GPU のメモリを 2-6x に削減した。
  論文  参考訳（メタデータ） (2024-11-04T18:26:08Z)
• Smart energy management: process structure-based hybrid neural networks for optimal scheduling and economic predictive control in integrated systems [2.723192806018494]
  統合エネルギーシステム(IES)は、複数のドメインにまたがる多様な操作ユニットからなる複雑なシステムである。 複数の時間スケールでIESの動的性能を予測するために,物理インフォームドなハイブリッド時系列ニューラルネットワーク(NN)を提案する。
  論文  参考訳（メタデータ） (2024-10-07T04:24:39Z)
• SCAR: Scheduling Multi-Model AI Workloads on Heterogeneous Multi-Chiplet Module Accelerators [12.416683044819955]
  最近の大規模言語モデルのような重モデルによるマルチモデルワークロードは、ハードウェアにおける計算とメモリの要求を大幅に増加させた。 このような要求に対処するため、スケーラブルなハードウェアアーキテクチャを設計することが重要な問題となった。 我々は,巨大なスケジューリング空間をナビゲートするスケジューラのセットを開発し,それらをスケジューラであるSCARに符号化する。
  論文  参考訳（メタデータ） (2024-05-01T18:02:25Z)
• DynaMMo: Dynamic Model Merging for Efficient Class Incremental Learning for Medical Images [0.8213829427624407]
  継続学習は、学習した情報を保持しながら新しいデータから知識を得る能力であり、機械学習における根本的な課題である。 本研究では,モデル学習の異なる段階で複数のネットワークをマージし,より優れた計算効率を実現するDynaMMOを提案する。 我々はDynaMMoを3つの公開データセット上で評価し、既存のアプローチと比較してその効果を実証した。
  論文  参考訳（メタデータ） (2024-04-22T11:37:35Z)
• Sparse-DySta: Sparsity-Aware Dynamic and Static Scheduling for Sparse Multi-DNN Workloads [65.47816359465155]
  複数のディープニューラルネットワーク(DNN)を並列に実行することは、両エッジデバイスで新たなワークロードとなっている。 スパースマルチDNNスケジューリングに静的なスケジューラパターンと動的スケジューラ情報の両方を利用する新しいスケジューラDystaを提案する。 提案手法は, 遅延制約違反率を最大10%削減し, 平均正規化ターンアラウンド時間で約4倍に向上する。
  論文  参考訳（メタデータ） (2023-10-17T09:25:17Z)
• RED: A Systematic Real-Time Scheduling Approach for Robotic Environmental Dynamics [11.38746414146899]
  我々は、リソース制限されたロボットシステムにおいて、マルチタスクのディープニューラルネットワークワークロードをサポートするように設計された、体系的なリアルタイムスケジューリング手法REDを紹介する。 ロボット環境ダイナミクス(RED)をリアルタイムの制約に順応しながら適応的に管理するように設計されている。
  論文  参考訳（メタデータ） (2023-08-29T15:04:08Z)
• Asynchronous Multi-Model Dynamic Federated Learning over Wireless Networks: Theory, Modeling, and Optimization [20.741776617129208]
  分散機械学習(ML)の鍵となる技術として、フェデレートラーニング(FL)が登場した。 まず、システムパラメータが学習性能に与える影響を捉えるために、長方形のスケジューリングステップと関数を定式化する。 我々の分析は、デバイストレーニング変数と非同期スケジューリング決定の協調的影響に光を当てている。
  論文  参考訳（メタデータ） (2023-05-22T21:39:38Z)
• M$^3$ViT: Mixture-of-Experts Vision Transformer for Efficient Multi-task Learning with Model-Accelerator Co-design [95.41238363769892]
  マルチタスク学習(MTL)は、複数の学習タスクを単一のモデルにカプセル化し、それらのタスクを共同でよりよく学習できるようにする。 現在のMTLレギュレータは、1つのタスクだけを実行するためにさえ、ほぼすべてのモデルを起動する必要がある。 効率的なオンデバイスMTLを実現するためのモデル-アクセラレータ共設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-26T15:40:24Z)
• Attentional Mixtures of Soft Prompt Tuning for Parameter-efficient Multi-task Knowledge Sharing [53.399742232323895]
  ATTEMPTは、新しいモジュラー、マルチタスク、パラメータ効率の言語モデル(LM)チューニングアプローチである。 異なるタスク間で伝達される知識をソフトプロンプトの混合によって組み合わせ、元のLMをそのまま維持する。 パラメータ効率(例えば、微調整よりも1,600倍少ないパラメータを更新)であり、マルチタスク学習と柔軟な拡張を可能にする。
  論文  参考訳（メタデータ） (2022-05-24T10:48:33Z)
• Controllable Dynamic Multi-Task Architectures [92.74372912009127]
  本稿では,そのアーキテクチャと重みを動的に調整し,所望のタスク選択とリソース制約に適合させる制御可能なマルチタスクネットワークを提案する。 本稿では,タスク親和性と分岐正規化損失を利用した2つのハイパーネットの非交互トレーニングを提案し,入力の嗜好を取り入れ,適応重み付き木構造モデルを予測する。
  論文  参考訳（メタデータ） (2022-03-28T17:56:40Z)
• Real-time Neural-MPC: Deep Learning Model Predictive Control for Quadrotors and Agile Robotic Platforms [59.03426963238452]
  モデル予測制御パイプライン内の動的モデルとして,大規模で複雑なニューラルネットワークアーキテクチャを効率的に統合するフレームワークであるReal-time Neural MPCを提案する。 ニューラルネットワークを使わずに、最先端のMPCアプローチと比較して、位置追跡誤差を最大82%削減することで、実世界の問題に対する我々のフレームワークの実現可能性を示す。
  論文  参考訳（メタデータ） (2022-03-15T09:38:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。