論文の概要: MultiTASC++: A Continuously Adaptive Scheduler for Edge-Based Multi-Device Cascade Inference

• arxiv url: http://arxiv.org/abs/2412.04147v1
• Date: Thu, 05 Dec 2024 13:19:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-06 14:39:19.878964
• Title: MultiTASC++: A Continuously Adaptive Scheduler for Edge-Based Multi-Device Cascade Inference
• Title（参考訳）: MultiTASC++:エッジベースのマルチデバイスカスケード推論のための継続的適応型スケジューリング
• Authors: Sokratis Nikolaidis, Stylianos I. Venieris, Iakovos S. Venieris,
• Abstract要約: 分散推論のための連続適応型マルチテナンシ対応スケジューラであるMultiTASC++を紹介する。 我々は、スケジューラが目標満足度を継続的に維持する上で有効であり、最大100台のデバイスで、さまざまなデバイス層とワークロードで最高の可用性を提供していることを実証する。
• 参考スコア（独自算出の注目度）: 4.556037016746581
• License:
• Abstract: Cascade systems, consisting of a lightweight model processing all samples and a heavier, high-accuracy model refining challenging samples, have become a widely-adopted distributed inference approach to achieving high accuracy and maintaining a low computational burden for mobile and IoT devices. As intelligent indoor environments, like smart homes, continue to expand, a new scenario emerges, the multi-device cascade. In this setting, multiple diverse devices simultaneously utilize a shared heavy model hosted on a server, often situated within or close to the consumer environment. This work introduces MultiTASC++, a continuously adaptive multi-tenancy-aware scheduler that dynamically controls the forwarding decision functions of devices to optimize system throughput while maintaining high accuracy and low latency. Through extensive experimentation in diverse device environments and with varying server-side models, we demonstrate the scheduler's efficacy in consistently maintaining a targeted satisfaction rate while providing the highest available accuracy across different device tiers and workloads of up to 100 devices. This demonstrates its scalability and efficiency in addressing the unique challenges of collaborative DNN inference in dynamic and diverse IoT environments.
• Abstract（参考訳）: すべてのサンプルを処理する軽量モデルと、挑戦的なサンプルを精錬する重厚で高精度なモデルで構成されるカスケードシステムは、高い精度を実現し、モバイルデバイスやIoTデバイスの計算負担を低く抑えるために、広く採用されている分散推論アプローチとなっている。 スマートホームのようなインテリジェントな屋内環境が拡大を続けるにつれ、新しいシナリオが出現する。 この設定では、複数の多様なデバイスが同時に、コンシューマ環境内または近くに位置するサーバにホストされた共有ヘビーモデルを利用する。 高い精度と低レイテンシを維持しながらシステムのスループットを最適化するために、デバイスの前方決定機能を動的に制御する、継続的適応型マルチテナンシ対応スケジューラであるMultiTASC++を導入する。 多様なデバイス環境における広範な実験と、サーバサイドモデルの違いを通じて、スケジューラが目標満足度を継続的に維持し、最大100台のデバイスで利用可能な最高の正確性を提供しながら、スケジューラの有効性を実証する。 これは、動的で多様なIoT環境における協調的なDNN推論のユニークな課題に対処する上で、スケーラビリティと効率性を示すものだ。

関連論文リスト

• CARIn: Constraint-Aware and Responsive Inference on Heterogeneous Devices for Single- and Multi-DNN Workloads [4.556037016746581]
  本稿では,モバイルデバイス上でのディープニューラルネットワーク(DNN)の実行を最適化する上での課題に対処する。 CARInはシングルDNNアプリケーションとマルチDNNアプリケーションの両方を最適化するための新しいフレームワークである。 現状のOODInフレームワークとは対照的に,単一モデルの設計では1.92倍,最大10.69倍となる。
  論文  参考訳（メタデータ） (2024-09-02T09:18:11Z)
• Backpropagation-Free Multi-modal On-Device Model Adaptation via Cloud-Device Collaboration [37.456185990843515]
  ユニバーサルオンデバイスマルチモーダルモデル適応フレームワークを提案する。 このフレームワークは、クラウドにホストされるFast Domain Adaptor(FDA)を特徴とし、デバイス上の軽量マルチモーダルモデル用に調整されたパラメータを提供する。 私たちの貢献は、オンデバイスマルチモーダルモデル適応(DMMA)の先駆的なソリューションである。
  論文  参考訳（メタデータ） (2024-05-21T14:42:18Z)
• Sparse-DySta: Sparsity-Aware Dynamic and Static Scheduling for Sparse Multi-DNN Workloads [65.47816359465155]
  複数のディープニューラルネットワーク(DNN)を並列に実行することは、両エッジデバイスで新たなワークロードとなっている。 スパースマルチDNNスケジューリングに静的なスケジューラパターンと動的スケジューラ情報の両方を利用する新しいスケジューラDystaを提案する。 提案手法は, 遅延制約違反率を最大10%削減し, 平均正規化ターンアラウンド時間で約4倍に向上する。
  論文  参考訳（メタデータ） (2023-10-17T09:25:17Z)
• Self-Sustaining Multiple Access with Continual Deep Reinforcement Learning for Dynamic Metaverse Applications [17.436875530809946]
  Metaverseは,さまざまな世界で構成される仮想環境の構築を目的とした,新たなパラダイムだ。 このような動的で複雑なシナリオに対処するためには、自己維持戦略を採用する方法が考えられる。 本稿では,知的エージェントのスループットを最大化するために,マルチチャネル環境におけるマルチアクセスの問題について検討する。
  論文  参考訳（メタデータ） (2023-09-18T22:02:47Z)
• MultiTASC: A Multi-Tenancy-Aware Scheduler for Cascaded DNN Inference at the Consumer Edge [4.281723404774888]
  本研究はマルチテナント対応スケジューラであるMultiTASCについて述べる。 デバイス転送を明示的に検討することにより,スケジューラは,最先端カスケード法よりも20～25ポイント(pp)の遅延サービスレベル満足度を向上する。
  論文  参考訳（メタデータ） (2023-06-22T12:04:49Z)
• Fluid Batching: Exit-Aware Preemptive Serving of Early-Exit Neural Networks on Edge NPUs [74.83613252825754]
  スマートエコシステム(smart ecosystems)"は、スタンドアロンではなく、センセーションが同時に行われるように形成されています。 これはデバイス上の推論パラダイムを、エッジにニューラル処理ユニット(NPU)をデプロイする方向にシフトしている。 そこで本研究では,実行時のプリエンプションが到着・終了プロセスによってもたらされる動的性を考慮に入れた,新しい早期終了スケジューリングを提案する。
  論文  参考訳（メタデータ） (2022-09-27T15:04:01Z)
• Task-Oriented Sensing, Computation, and Communication Integration for Multi-Device Edge AI [108.08079323459822]
  本稿では,AIモデルの分割推論と統合センシング通信(ISAC)を併用した,新しいマルチインテリジェントエッジ人工レイテンシ(AI)システムについて検討する。 推定精度は近似的だが抽出可能な計量、すなわち判別利得を用いて測定する。
  論文  参考訳（メタデータ） (2022-07-03T06:57:07Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)
• SensiX++: Bringing MLOPs and Multi-tenant Model Serving to Sensory Edge Devices [69.1412199244903]
  エッジデバイス上でMLOpsを統合した,適応モデル実行のためのマルチテナントランタイムを提案する。 S SensiX++は、高度にモジュール化されたコンポーネント化と、明確な抽象化によるデータ操作の外部化と、システム全体のオーケストレーションのためのドキュメント中心の宣言という、2つの基本原則で運用されている。 SensiX++のさまざまな自動化コンポーネントの全体的なスループットと定量化メリットについて報告し、運用の複雑さを著しく低減し、エッジデバイスへの組み込みモデルのデプロイ、アップグレード、再構成、提供の労力を削減する効果を実証する。
  論文  参考訳（メタデータ） (2021-09-08T22:06:16Z)
• Adaptive Anomaly Detection for Internet of Things in Hierarchical Edge Computing: A Contextual-Bandit Approach [81.5261621619557]
  階層エッジコンピューティング(HEC)を用いた適応型異常検出手法を提案する。 まず,複雑性を増した複数のDNNモデルを構築し,それぞれを対応するHEC層に関連付ける。 そこで我々は、文脈帯域問題として定式化され、強化学習ポリシーネットワークを用いて解決される適応モデル選択スキームを設計する。
  論文  参考訳（メタデータ） (2021-08-09T08:45:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。