論文の概要: SDRM3: A Dynamic Scheduler for Dynamic Real-time Multi-model ML Workloads

• arxiv url: http://arxiv.org/abs/2212.03414v1
• Date: Wed, 7 Dec 2022 02:48:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-08 17:11:24.639511
• Title: SDRM3: A Dynamic Scheduler for Dynamic Real-time Multi-model ML Workloads
• Title（参考訳）: SDRM3: 動的リアルタイムマルチモデルMLワークロードのための動的スケジューリング
• Authors: Seah Kim, Hyoukjun Kwon, Jinook Song, Jihyuck Jo, Yu-Hsin Chen, Liangzhen Lai, Vikas Chandra
• Abstract要約: AR/VRやドローン制御といったリアルタイムマルチモデルML(RTMM)ワークロードは、さまざまなレベルでの動的な振る舞いを伴っていることが多い。 このような動的な振る舞いは、システム全体の負荷が予測できないため、MLシステムにおけるシステムソフトウェアにとって新たな課題である。 RTMM方式のワークロードにおいて,様々な動的処理を効果的に行う新しいスケジューラSDRM3を提案する。
• 参考スコア（独自算出の注目度）: 8.36522164695823
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Emerging real-time multi-model ML (RTMM) workloads such as AR/VR and drone control often involve dynamic behaviors in various levels; task, model, and layers (or, ML operators) within a model. Such dynamic behaviors are new challenges to the system software in an ML system because the overall system load is unpredictable unlike traditional ML workloads. Also, the real-time processing requires to meet deadlines, and multi-model workloads involve highly heterogeneous models. As RTMM workloads often run on resource-constrained devices (e.g., VR headset), developing an effective scheduler is an important research problem. Therefore, we propose a new scheduler, SDRM3, that effectively handles various dynamicity in RTMM style workloads targeting multi-accelerator systems. To make scheduling decisions, SDRM3 quantifies the unique requirements for RTMM workloads and utilizes the quantified scores to drive scheduling decisions, considering the current system load and other inference jobs on different models and input frames. SDRM3 has tunable parameters that provide fast adaptivity to dynamic workload changes based on a gradient descent-like online optimization, which typically converges within five steps for new workloads. In addition, we also propose a method to exploit model level dynamicity based on Supernet for exploiting the trade-off between the scheduling effectiveness and model performance (e.g., accuracy), which dynamically selects a proper sub-network in a Supernet based on the system loads. In our evaluation on five realistic RTMM workload scenarios, SDRM3 reduces the overall UXCost, which is a energy-delay-product (EDP)-equivalent metric for real-time applications defined in the paper, by 37.7% and 53.2% on geometric mean (up to 97.6% and 97.1%) compared to state-of-the-art baselines, which shows the efficacy of our scheduling methodology.
• Abstract（参考訳）: AR/VRやドローン制御といったリアルタイムマルチモデルML(RTMM)ワークロードは、モデル内のタスク、モデル、レイヤ(あるいはMLオペレータ)など、さまざまなレベルでの動的な振る舞いを伴います。 このような動的な振る舞いは、システム全体の負荷が従来のMLワークロードとは異なり予測不可能であるため、MLシステムにおけるシステムソフトウェアにとって新たな課題である。 また、リアルタイム処理は期限を満たす必要があり、マルチモデルワークロードは極めて異質なモデルを含む。 RTMMワークロードはリソース制約のあるデバイス(例えばVRヘッドセット)で実行されることが多いため、効果的なスケジューラの開発は重要な研究課題である。 そこで本研究では,マルチアクセラレータをターゲットとしたrtmm方式ワークロードの動的処理を効果的に行う新しいスケジューラsdrm3を提案する。 スケジューリング決定を行うために、sdrm3はrtmmワークロードのユニークな要求を定量化し、定量化されたスコアを使用して、異なるモデルや入力フレーム上の現在のシステム負荷やその他の推論ジョブを考慮してスケジューリング決定を駆動する。 SDRM3には調整可能なパラメータがあり、勾配降下のようなオンライン最適化に基づいて動的ワークロードの変更に高速な適応性を提供する。 また,システム負荷に基づいて,スーパーネット内の適切なサブネットワークを動的に選択するスケジューリング効率とモデル性能(例えば,精度)のトレードオフを利用するために,スーパーネットに基づくモデルレベルの動的性を利用する手法を提案する。 5つの現実的RTMMワークロードシナリオに対する評価において、SDRM3は、エネルギ遅延積(EDP)等価メトリックであるUXCost全体の37.7%と53.2%を幾何学平均(97.6%と97.1%)で削減し、我々のスケジューリング手法の有効性を示している。

関連論文リスト

• DeeR-VLA: Dynamic Inference of Multimodal Large Language Models for Efficient Robot Execution [114.61347672265076]
  実世界のロボットのためのMLLMの開発は、ロボットプラットフォームで利用可能な計算能力とメモリ容量が典型的に限られているため、難しい。 活性化MLLMのサイズを自動的に調整するロボットビジョンランゲージ・アクション・モデル(DeeR)の動的早期実行フレームワークを提案する。 DeeR は LLM の計算コストを 5.2-6.5x に削減し、GPU のメモリを 2-6x に削減した。
  論文  参考訳（メタデータ） (2024-11-04T18:26:08Z)
• Smart energy management: process structure-based hybrid neural networks for optimal scheduling and economic predictive control in integrated systems [2.723192806018494]
  統合エネルギーシステム(IES)は、複数のドメインにまたがる多様な操作ユニットからなる複雑なシステムである。 複数の時間スケールでIESの動的性能を予測するために,物理インフォームドなハイブリッド時系列ニューラルネットワーク(NN)を提案する。
  論文  参考訳（メタデータ） (2024-10-07T04:24:39Z)
• SCAR: Scheduling Multi-Model AI Workloads on Heterogeneous Multi-Chiplet Module Accelerators [12.416683044819955]
  最近の大規模言語モデルのような重モデルによるマルチモデルワークロードは、ハードウェアにおける計算とメモリの要求を大幅に増加させた。 このような要求に対処するため、スケーラブルなハードウェアアーキテクチャを設計することが重要な問題となった。 我々は,巨大なスケジューリング空間をナビゲートするスケジューラのセットを開発し,それらをスケジューラであるSCARに符号化する。
  論文  参考訳（メタデータ） (2024-05-01T18:02:25Z)
• DynaMMo: Dynamic Model Merging for Efficient Class Incremental Learning for Medical Images [0.8213829427624407]
  継続学習は、学習した情報を保持しながら新しいデータから知識を得る能力であり、機械学習における根本的な課題である。 本研究では,モデル学習の異なる段階で複数のネットワークをマージし,より優れた計算効率を実現するDynaMMOを提案する。 我々はDynaMMoを3つの公開データセット上で評価し、既存のアプローチと比較してその効果を実証した。
  論文  参考訳（メタデータ） (2024-04-22T11:37:35Z)
• Sparse-DySta: Sparsity-Aware Dynamic and Static Scheduling for Sparse Multi-DNN Workloads [65.47816359465155]
  複数のディープニューラルネットワーク(DNN)を並列に実行することは、両エッジデバイスで新たなワークロードとなっている。 スパースマルチDNNスケジューリングに静的なスケジューラパターンと動的スケジューラ情報の両方を利用する新しいスケジューラDystaを提案する。 提案手法は, 遅延制約違反率を最大10%削減し, 平均正規化ターンアラウンド時間で約4倍に向上する。
  論文  参考訳（メタデータ） (2023-10-17T09:25:17Z)
• RED: A Systematic Real-Time Scheduling Approach for Robotic Environmental Dynamics [11.38746414146899]
  我々は、リソース制限されたロボットシステムにおいて、マルチタスクのディープニューラルネットワークワークロードをサポートするように設計された、体系的なリアルタイムスケジューリング手法REDを紹介する。 ロボット環境ダイナミクス(RED)をリアルタイムの制約に順応しながら適応的に管理するように設計されている。
  論文  参考訳（メタデータ） (2023-08-29T15:04:08Z)
• Asynchronous Multi-Model Dynamic Federated Learning over Wireless Networks: Theory, Modeling, and Optimization [20.741776617129208]
  分散機械学習(ML)の鍵となる技術として、フェデレートラーニング(FL)が登場した。 まず、システムパラメータが学習性能に与える影響を捉えるために、長方形のスケジューリングステップと関数を定式化する。 我々の分析は、デバイストレーニング変数と非同期スケジューリング決定の協調的影響に光を当てている。
  論文  参考訳（メタデータ） (2023-05-22T21:39:38Z)
• M$^3$ViT: Mixture-of-Experts Vision Transformer for Efficient Multi-task Learning with Model-Accelerator Co-design [95.41238363769892]
  マルチタスク学習(MTL)は、複数の学習タスクを単一のモデルにカプセル化し、それらのタスクを共同でよりよく学習できるようにする。 現在のMTLレギュレータは、1つのタスクだけを実行するためにさえ、ほぼすべてのモデルを起動する必要がある。 効率的なオンデバイスMTLを実現するためのモデル-アクセラレータ共設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-26T15:40:24Z)
• Attentional Mixtures of Soft Prompt Tuning for Parameter-efficient Multi-task Knowledge Sharing [53.399742232323895]
  ATTEMPTは、新しいモジュラー、マルチタスク、パラメータ効率の言語モデル(LM)チューニングアプローチである。 異なるタスク間で伝達される知識をソフトプロンプトの混合によって組み合わせ、元のLMをそのまま維持する。 パラメータ効率(例えば、微調整よりも1,600倍少ないパラメータを更新)であり、マルチタスク学習と柔軟な拡張を可能にする。
  論文  参考訳（メタデータ） (2022-05-24T10:48:33Z)
• Controllable Dynamic Multi-Task Architectures [92.74372912009127]
  本稿では,そのアーキテクチャと重みを動的に調整し,所望のタスク選択とリソース制約に適合させる制御可能なマルチタスクネットワークを提案する。 本稿では,タスク親和性と分岐正規化損失を利用した2つのハイパーネットの非交互トレーニングを提案し,入力の嗜好を取り入れ,適応重み付き木構造モデルを予測する。
  論文  参考訳（メタデータ） (2022-03-28T17:56:40Z)
• Real-time Neural-MPC: Deep Learning Model Predictive Control for Quadrotors and Agile Robotic Platforms [59.03426963238452]
  モデル予測制御パイプライン内の動的モデルとして,大規模で複雑なニューラルネットワークアーキテクチャを効率的に統合するフレームワークであるReal-time Neural MPCを提案する。 ニューラルネットワークを使わずに、最先端のMPCアプローチと比較して、位置追跡誤差を最大82%削減することで、実世界の問題に対する我々のフレームワークの実現可能性を示す。
  論文  参考訳（メタデータ） (2022-03-15T09:38:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。