論文の概要: MultiTASC: A Multi-Tenancy-Aware Scheduler for Cascaded DNN Inference at the Consumer Edge

• arxiv url: http://arxiv.org/abs/2306.12830v1
• Date: Thu, 22 Jun 2023 12:04:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-23 14:36:26.769467
• Title: MultiTASC: A Multi-Tenancy-Aware Scheduler for Cascaded DNN Inference at the Consumer Edge
• Title（参考訳）: MultiTASC: コンシューマエッジにおけるカスケードDNN推論のためのマルチテナンシ対応スケジューリング
• Authors: Sokratis Nikolaidis, Stylianos I. Venieris, Iakovos S. Venieris
• Abstract要約: 本研究はマルチテナント対応スケジューラであるMultiTASCについて述べる。 デバイス転送を明示的に検討することにより,スケジューラは,最先端カスケード法よりも20～25ポイント(pp)の遅延サービスレベル満足度を向上する。
• 参考スコア（独自算出の注目度）: 4.281723404774888
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Cascade systems comprise a two-model sequence, with a lightweight model processing all samples and a heavier, higher-accuracy model conditionally refining harder samples to improve accuracy. By placing the light model on the device side and the heavy model on a server, model cascades constitute a widely used distributed inference approach. With the rapid expansion of intelligent indoor environments, such as smart homes, the new setting of Multi-Device Cascade is emerging where multiple and diverse devices are to simultaneously use a shared heavy model on the same server, typically located within or close to the consumer environment. This work presents MultiTASC, a multi-tenancy-aware scheduler that adaptively controls the forwarding decision functions of the devices in order to maximize the system throughput, while sustaining high accuracy and low latency. By explicitly considering device heterogeneity, our scheduler improves the latency service-level objective (SLO) satisfaction rate by 20-25 percentage points (pp) over state-of-the-art cascade methods in highly heterogeneous setups, while serving over 40 devices, showcasing its scalability.
• Abstract（参考訳）: カスケードシステムは2モデルシーケンスで構成され、全てのサンプルを軽量に処理し、より硬い試料を条件に精製し精度を向上させる。 光モデルをデバイス側に配置し、重モデルをサーバに配置することで、モデルカスケードは広く使われている分散推論のアプローチを構成する。 スマートホームなどのインテリジェントな屋内環境の急速な拡大に伴い、マルチデバイスカスケードの新たな設定が登場し、複数の多様なデバイスが同時に同じサーバ上で共有ヘビーモデルを使用することが求められている。 本研究はマルチテナント対応スケジューラであるMultiTASCを,高い精度と低レイテンシを維持しつつ,システムのスループットを最大化するために,デバイス転送決定関数を適応的に制御する。 デバイスの不均一性を明示的に考慮することで,40台以上のデバイスを運用しながら,最先端カスケード法よりも遅延サービスレベル目標(slo)満足度を20～25ポイント(pp)向上させる。

関連論文リスト

• CascadeServe: Unlocking Model Cascades for Inference Serving [8.39076781907597]
  機械学習モデルは、効率的な推論サービスシステムを呼び出して、本番環境にデプロイされることが増えている。 効率的な推論提供は、2つの課題により複雑である: (i) MLモデルは計算コストを低減し、 (ii) 実用アプリケーションの要求到着率は頻繁で高精度なバリエーションを持つ。 モデルカスケードは、(i) 正確性を維持しながら作業を節約し、(ii) 作業と正確性の間の高精細なトレードオフを露呈し、到着率をリクエストするためのきめ細かい調整を可能にするため、これらの課題に対処する位置にある。
  論文  参考訳（メタデータ） (2024-06-20T15:47:37Z)
• Backpropagation-Free Multi-modal On-Device Model Adaptation via Cloud-Device Collaboration [37.456185990843515]
  ユニバーサルオンデバイスマルチモーダルモデル適応フレームワークを提案する。 このフレームワークは、クラウドにホストされるFast Domain Adaptor(FDA)を特徴とし、デバイス上の軽量マルチモーダルモデル用に調整されたパラメータを提供する。 私たちの貢献は、オンデバイスマルチモーダルモデル適応(DMMA)の先駆的なソリューションである。
  論文  参考訳（メタデータ） (2024-05-21T14:42:18Z)
• Improving Efficiency of Diffusion Models via Multi-Stage Framework and Tailored Multi-Decoder Architectures [12.703947839247693]
  拡散モデルは強力な深層生成ツールとして登場し、様々な応用に優れている。 しかし、その顕著な生成性能は、遅いトレーニングとサンプリングによって妨げられている。 これは、広範囲の前方および逆拡散軌道を追跡する必要があるためである。 本稿では,これらの課題に対処するための経験的知見から着想を得た多段階フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-14T17:48:09Z)
• Complexity Matters: Rethinking the Latent Space for Generative Modeling [65.64763873078114]
  生成的モデリングにおいて、多くの成功したアプローチは、例えば安定拡散のような低次元の潜在空間を利用する。 本研究では, モデル複雑性の観点から潜在空間を再考することにより, 未探索の話題に光を当てることを目的としている。
  論文  参考訳（メタデータ） (2023-07-17T07:12:29Z)
• Task-Oriented Sensing, Computation, and Communication Integration for Multi-Device Edge AI [108.08079323459822]
  本稿では,AIモデルの分割推論と統合センシング通信(ISAC)を併用した,新しいマルチインテリジェントエッジ人工レイテンシ(AI)システムについて検討する。 推定精度は近似的だが抽出可能な計量、すなわち判別利得を用いて測定する。
  論文  参考訳（メタデータ） (2022-07-03T06:57:07Z)
• TMS: A Temporal Multi-scale Backbone Design for Speaker Embedding [60.292702363839716]
  話者埋め込みのための現在のSOTAバックボーンネットワークは、話者表現のためのマルチブランチネットワークアーキテクチャを用いた発話からマルチスケール特徴を集約するように設計されている。 本稿では, 話者埋め込みネットワークにおいて, 計算コストの増大を伴わずに, マルチスケール分岐を効率的に設計できる効果的な時間的マルチスケール(TMS)モデルを提案する。
  論文  参考訳（メタデータ） (2022-03-17T05:49:35Z)
• Parallel Successive Learning for Dynamic Distributed Model Training over Heterogeneous Wireless Networks [50.68446003616802]
  フェデレートラーニング(Federated Learning, FedL)は、一連の無線デバイスにモデルトレーニングを配布する一般的なテクニックとして登場した。 我々は,FedLアーキテクチャを3次元に拡張した並列逐次学習(PSL)を開発した。 我々の分析は、分散機械学習におけるコールド対ウォームアップモデルの概念とモデル慣性について光を当てている。
  論文  参考訳（メタデータ） (2022-02-07T05:11:01Z)
• SensiX++: Bringing MLOPs and Multi-tenant Model Serving to Sensory Edge Devices [69.1412199244903]
  エッジデバイス上でMLOpsを統合した,適応モデル実行のためのマルチテナントランタイムを提案する。 S SensiX++は、高度にモジュール化されたコンポーネント化と、明確な抽象化によるデータ操作の外部化と、システム全体のオーケストレーションのためのドキュメント中心の宣言という、2つの基本原則で運用されている。 SensiX++のさまざまな自動化コンポーネントの全体的なスループットと定量化メリットについて報告し、運用の複雑さを著しく低減し、エッジデバイスへの組み込みモデルのデプロイ、アップグレード、再構成、提供の労力を削減する効果を実証する。
  論文  参考訳（メタデータ） (2021-09-08T22:06:16Z)
• Multi-mode Transformer Transducer with Stochastic Future Context [53.005638503544866]
  マルチモード音声認識モデルは、より長期のコンテキストを処理して高い精度を達成することができ、遅延予算が柔軟でない場合には、モデルが信頼できる精度を達成することができる。 マルチモードのASRモデルに匹敵する競合が,異なるレイテンシ予算でトレーニングされた,競争力のあるストリーミングベースラインのセットであることを示す。
  論文  参考訳（メタデータ） (2021-06-17T18:42:11Z)
• Multiple Access in Dynamic Cell-Free Networks: Outage Performance and Deep Reinforcement Learning-Based Design [24.632250413917816]
  将来のセルフリー(またはセルレス)無線ネットワークでは、地理的領域の多数のデバイスが同時に多数の分散アクセスポイント(AP)によって提供される。 我々は,多数のデバイスやAPが存在する場合に,ユーザの信号の共同処理の複雑さを低減するために,新しい動的セルフリーネットワークアーキテクチャを提案する。 システム設定では, DDPG-DDQN方式は, 網羅的な検索ベース設計により, 達成可能なレートの約78%を達成できることがわかった。
  論文  参考訳（メタデータ） (2020-01-29T03:00:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。