論文の概要: DynaMIX: Resource Optimization for DNN-Based Real-Time Applications on a Multi-Tasking System

• arxiv url: http://arxiv.org/abs/2302.01568v1
• Date: Fri, 3 Feb 2023 06:33:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-06 17:14:37.416629
• Title: DynaMIX: Resource Optimization for DNN-Based Real-Time Applications on a Multi-Tasking System
• Title（参考訳）: DynaMIX:マルチタスクシステムにおけるDNNベースのリアルタイムアプリケーションのためのリソース最適化
• Authors: Minkyoung Cho and Kang G. Shin
• Abstract要約: より多くのディープニューラルネットワーク(DNN)が開発され、自律走行車(AV)に配備されている。 期待と要求の高まりに応えるため、AVは、複数の車載アプリに対して、制限されたオンボードコンピューティングリソースを"最適化"する必要がある。 並列アプリケーションのリソース要件を最適化し,実行精度を最大化するDynamixを提案する。
• 参考スコア（独自算出の注目度）: 20.882393722208608
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As deep neural networks (DNNs) prove their importance and feasibility, more and more DNN-based apps, such as detection and classification of objects, have been developed and deployed on autonomous vehicles (AVs). To meet their growing expectations and requirements, AVs should "optimize" use of their limited onboard computing resources for multiple concurrent in-vehicle apps while satisfying their timing requirements (especially for safety). That is, real-time AV apps should share the limited on-board resources with other concurrent apps without missing their deadlines dictated by the frame rate of a camera that generates and provides input images to the apps. However, most, if not all, of existing DNN solutions focus on enhancing the concurrency of their specific hardware without dynamically optimizing/modifying the DNN apps' resource requirements, subject to the number of running apps, owing to their high computational cost. To mitigate this limitation, we propose DynaMIX (Dynamic MIXed-precision model construction), which optimizes the resource requirement of concurrent apps and aims to maximize execution accuracy. To realize a real-time resource optimization, we formulate an optimization problem using app performance profiles to consider both the accuracy and worst-case latency of each app. We also propose dynamic model reconfiguration by lazy loading only the selected layers at runtime to reduce the overhead of loading the entire model. DynaMIX is evaluated in terms of constraint satisfaction and inference accuracy for a multi-tasking system and compared against state-of-the-art solutions, demonstrating its effectiveness and feasibility under various environmental/operating conditions.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)がその重要性と実現可能性を証明するにつれ、オブジェクトの検出や分類といったDNNベースのアプリケーションがますます多く開発され、自動運転車(AV)にデプロイされている。 増大する期待と要求を満たすために、avsは(特に安全のために)タイミング要件を満たしながら、複数の車載アプリケーションに対する限られたオンボードコンピューティングリソースの使用を「最適化する」べきである。 つまり、リアルタイムavアプリは、入力画像を生成してアプリに提供するカメラのフレームレートによって決定される期限を欠くことなく、制限付きオンボードリソースを他のコンカレントアプリと共有すべきである。 しかし、DNNの既存のソリューションのほとんどは、DNNアプリのリソース要件を動的に最適化・修正することなく、高い計算コストのために実行中のアプリの数に応じて、特定のハードウェアの並行性を向上させることに重点を置いている。 この制限を緩和するために、並列アプリケーションのリソース要求を最適化し、実行精度を最大化するDynaMIX(Dynamic MIXed-precision model construction)を提案する。 リアルタイムリソース最適化を実現するために,アプリケーションの性能プロファイルを用いた最適化問題を定式化し,各アプリの精度と最悪のレイテンシについて検討する。 また,実行時に選択したレイヤのみを遅延ロードすることで,モデル全体のロードオーバーヘッドを低減する動的モデル再構成を提案する。 DynaMIXはマルチタスクシステムに対する制約満足度と推論精度の点で評価され, 各種環境・操作条件下での有効性と実現可能性を示す。

関連論文リスト

• CARIn: Constraint-Aware and Responsive Inference on Heterogeneous Devices for Single- and Multi-DNN Workloads [4.556037016746581]
  本稿では,モバイルデバイス上でのディープニューラルネットワーク(DNN)の実行を最適化する上での課題に対処する。 CARInはシングルDNNアプリケーションとマルチDNNアプリケーションの両方を最適化するための新しいフレームワークである。 現状のOODInフレームワークとは対照的に,単一モデルの設計では1.92倍,最大10.69倍となる。
  論文  参考訳（メタデータ） (2024-09-02T09:18:11Z)
• DNN Partitioning, Task Offloading, and Resource Allocation in Dynamic Vehicular Networks: A Lyapunov-Guided Diffusion-Based Reinforcement Learning Approach [49.56404236394601]
  本稿では,Vehicular Edge Computingにおける共同DNNパーティショニング,タスクオフロード,リソース割り当ての問題を定式化する。 我々の目標は、時間とともにシステムの安定性を保証しながら、DNNベースのタスク完了時間を最小化することである。 拡散モデルの革新的利用を取り入れたマルチエージェント拡散に基づく深層強化学習(MAD2RL)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-06-11T06:31:03Z)
• Context-aware Multi-Model Object Detection for Diversely Heterogeneous Compute Systems [0.32634122554914]
  ディープニューラルネットワーク(DNN)を用いた物体検出への1サイズ全アプローチは、計算資源の非効率な利用につながる。 本稿では,動的に変化する文脈情報や計算制約に応じて,様々なDNNベースのODモデルから連続的に選択するShiftを提案する。 提案手法は、最先端のGPUベースの単一モデルODアプローチと比較して、エネルギー使用率7.5倍、レイテンシ2.8倍の改善をもたらす。
  論文  参考訳（メタデータ） (2024-02-12T05:38:11Z)
• Sparse-DySta: Sparsity-Aware Dynamic and Static Scheduling for Sparse Multi-DNN Workloads [65.47816359465155]
  複数のディープニューラルネットワーク(DNN)を並列に実行することは、両エッジデバイスで新たなワークロードとなっている。 スパースマルチDNNスケジューリングに静的なスケジューラパターンと動的スケジューラ情報の両方を利用する新しいスケジューラDystaを提案する。 提案手法は, 遅延制約違反率を最大10%削減し, 平均正規化ターンアラウンド時間で約4倍に向上する。
  論文  参考訳（メタデータ） (2023-10-17T09:25:17Z)
• A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical Computation Offloading [62.34538208323411]
  共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。 MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
  論文  参考訳（メタデータ） (2023-09-02T11:01:16Z)
• PLiNIO: A User-Friendly Library of Gradient-based Methods for Complexity-aware DNN Optimization [3.460496851517031]
  PLiNIOは、最先端のDNN設計自動化技術を包括的に実装したオープンソースライブラリである。 PLiNIOは、ベースラインアーキテクチャと比較して最大94.34%のメモリ削減を実現し、1%の精度低下を実現している。
  論文  参考訳（メタデータ） (2023-07-18T07:11:14Z)
• Energy-efficient Task Adaptation for NLP Edge Inference Leveraging Heterogeneous Memory Architectures [68.91874045918112]
  Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。 検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
  論文  参考訳（メタデータ） (2023-03-25T14:40:59Z)
• U-Boost NAS: Utilization-Boosted Differentiable Neural Architecture Search [50.33956216274694]
  ターゲットプラットフォームにおけるリソース利用の最適化は、DNN推論時に高いパフォーマンスを達成するための鍵となる。 本稿では,タスクの正確性や推論遅延を最適化するだけでなく,資源利用のためのハードウェア対応NASフレームワークを提案する。 我々は,従来のハードウェア対応NAS法と比較して,DNN推論の2.8～4倍の高速化を実現している。
  論文  参考訳（メタデータ） (2022-03-23T13:44:15Z)
• Joint Multi-User DNN Partitioning and Computational Resource Allocation for Collaborative Edge Intelligence [21.55340197267767]
  Mobile Edge Computing(MEC)は、ネットワークエッジにさまざまなリソースを提供する有望なサポートアーキテクチャとして登場した。 エッジサーバの助けを借りて、ユーザ機器(UE)はディープニューラルネットワーク(DNN)ベースのAIアプリケーションを実行することができる。 最適解を時間内に達成できるIAO (Iterative Alternating Optimization) アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-15T09:40:13Z)
• PatDNN: Achieving Real-Time DNN Execution on Mobile Devices with Pattern-based Weight Pruning [57.20262984116752]
  粗粒構造の内部に新しい次元、きめ細かなプルーニングパターンを導入し、これまで知られていなかった設計空間の点を明らかにした。 きめ細かいプルーニングパターンによって高い精度が実現されているため、コンパイラを使ってハードウェア効率を向上し、保証することがユニークな洞察である。
  論文  参考訳（メタデータ） (2020-01-01T04:52:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。