論文の概要: Terastal: Layer-Variant-based Scheduling for Real-Time Multi-DNN Workloads on Heterogeneous Accelerators

• arxiv url: http://arxiv.org/abs/2606.06818v1
• Date: Fri, 05 Jun 2026 01:42:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-08 14:33:29.5053
• Title: Terastal: Layer-Variant-based Scheduling for Real-Time Multi-DNN Workloads on Heterogeneous Accelerators
• Title（参考訳）: Terastal: 異種加速器上でのリアルタイムマルチDNNワークロードのための階層変数ベースのスケジューリング
• Authors: Sing-Yao Wu, Fengshuo Song, Eli Bozorgzadeh,
• Abstract要約: Terastalは異種DNNアクセラレータ上でのレイヤーバリアント設計とスケジューリングのためのフレームワークである。 FCFS, EDF, DREAMと比較して, Terastalはモデル毎のデッドラインミス率を40.58%, 30.53%, 36.27%削減した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Heterogeneous DNN accelerators improve soft real-time multi-DNN execution by mapping each layer to its preferred accelerator to reduce latency. However, under skewed workloads, large layer-latency differences across accelerators limit scheduling flexibility and increase deadline misses. To address this challenge, we introduce layer variants, customized layer implementations that reduce latency gaps on non-preferred accelerators. We then present Terastal, a soft real-time framework for layer-variant design and scheduling on heterogeneous DNN accelerators. Terastal combines offline heterogeneity-aware virtual budget assignment and layer-variant design, and online scheduling to jointly optimize accelerator mapping and variant selection under timing and accuracy constraints. Experimental results show that Terastal reduces deadline miss rate per model by 40.58%, 30.53%, and 36.27% compared with FCFS, EDF, and DREAM, respectively, while incurring only 2.24% average normalized accuracy loss across models with variants.
• Abstract（参考訳）: 不均一なDNNアクセラレータは、各レイヤを所望のアクセラレータにマッピングすることで、ソフトリアルタイムのマルチDNN実行を改善する。 しかしながら、歪んだワークロードの下では、アクセラレータ間の大きなレイヤレイテンシの違いにより、スケジューリングの柔軟性が制限され、期限のミスが増加する。 この課題に対処するために、非推奨のアクセラレーターのレイテンシギャップを低減するために、レイヤバリアント、カスタマイズされたレイヤ実装を導入します。 次に、異種DNNアクセラレータ上での層変設計とスケジューリングのためのソフトリアルタイムフレームワークであるTerastalを提案する。 Terastalは、オフラインの不均一性を意識した仮想予算割り当てとレイヤバリアント設計を組み合わせたオンラインスケジューリングを併用し、タイミングと精度の制約の下で、アクセラレーションマッピングと変種選択を共同で最適化する。 実験結果から, FCFS, EDF, DREAMと比較して, モデル毎のデッドラインミス率を40.58%, 30.53%, 36.27%削減し, 変種モデルの平均正規化精度損失は2.24%にとどまった。

関連論文リスト

• Universally Empowering Zeroth-Order Optimization via Adaptive Layer-wise Sampling [43.822941944402544]
  ゼロ階最適化は、微調整された大規模言語モデルのための有望なメモリ効率のパラダイムを提供する。 しかし,壁面収差の緩やかな収束と高い推定分散により,その実用化は厳しく制約されている。 本稿では,適応層型ZO最適化フレームワークであるAdaLeZOを提案する。
  論文  参考訳（メタデータ） (2026-04-20T13:37:31Z)
• MATCHA: Efficient Deployment of Deep Neural Networks on Multi-Accelerator Heterogeneous Edge SoCs [45.487954219664026]
  MATCHAは並列な異種加速器のための高度に並列なスケジュールを生成する。 Tinyerfベンチマークでは、MATCHAはアクセラレータ使用率を改善し、レイテンシを最大35%削減する。
  論文  参考訳（メタデータ） (2026-04-10T09:04:34Z)
• ZOTTA: Test-Time Adaptation with Gradient-Free Zeroth-Order Optimization [29.670784134543027]
  テストタイム適応は、分散シフトの下でモデルの堅牢性を改善することを目的としている。 既存の手法の多くはバックプロパゲーション(BP)に依存しており、計算コストが高く、微分不可能なモデルと互換性がない。 完全BPフリーなTTAフレームワークであるZOTTAを提案する。
  論文  参考訳（メタデータ） (2026-03-15T07:21:01Z)
• Dynamic Speculative Agent Planning [57.630218933994534]
  大規模な言語モデルベースのエージェントは、遅延の禁止と推論コストのために、重要なデプロイメント課題に直面している。 本稿では,オンライン強化学習フレームワークである動的投機計画(Dynamic Speculative Planning, DSP)を紹介する。 2つの標準エージェントベンチマークの実験では、DSPは高速加速法に匹敵する効率を達成し、総コストを30%削減し、不要コストを60%まで削減している。
  論文  参考訳（メタデータ） (2025-09-02T03:34:36Z)
• Adaptive Deadline and Batch Layered Synchronized Federated Learning [66.93447103966439]
  フェデレートラーニング(FL)は、データプライバシを保持しながら、分散エッジデバイス間で協調的なモデルトレーニングを可能にする。 我々は,レイヤワイドアグリゲーションのために,ラウンド単位の期限とユーザ固有のバッチサイズを共同で最適化する新しいフレームワークADEL-FLを提案する。
  論文  参考訳（メタデータ） (2025-05-29T19:59:18Z)
• Precision-aware Latency and Energy Balancing on Multi-Accelerator Platforms for DNN Inference [22.9834921448069]
  我々は,チップ上で異なるアクセラレーター間で細粒度マッピングを行うハードウェア認識ツールであるODiMOを提案する。 ODiMOは,手動マッピングと比較して,限界精度低下(-0.53%/-0.32%)で,最大33%/31%のエネルギー/遅延を減少させることを示した。
  論文  参考訳（メタデータ） (2023-06-08T09:23:46Z)
• Efficient Parallel Split Learning over Resource-constrained Wireless Edge Networks [44.37047471448793]
  本稿では,エッジコンピューティングパラダイムと並列分割学習(PSL)の統合を提唱する。 そこで本研究では,モデル学習を高速化するために,効率的な並列分割学習(EPSL)という革新的なPSLフレームワークを提案する。 提案するEPSLフレームワークは,目標精度を達成するために必要なトレーニング遅延を著しく低減することを示す。
  論文  参考訳（メタデータ） (2023-03-26T16:09:48Z)
• Automatic Mapping of the Best-Suited DNN Pruning Schemes for Real-Time Mobile Acceleration [71.80326738527734]
  本稿では,汎用的,きめ細かな構造化プルーニング手法とコンパイラの最適化を提案する。 提案手法は,より微細な構造化プルーニング手法とともに,最先端のDNN最適化フレームワークよりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-22T23:53:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。