論文の概要: SensiX++: Bringing MLOPs and Multi-tenant Model Serving to Sensory Edge Devices

• arxiv url: http://arxiv.org/abs/2109.03947v1
• Date: Wed, 8 Sep 2021 22:06:16 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-10 14:10:37.199183
• Title: SensiX++: Bringing MLOPs and Multi-tenant Model Serving to Sensory Edge Devices
• Title（参考訳）: SensiX++: センサエッジデバイスにMLOPとマルチテナントモデルを実現する
• Authors: Chulhong Min, Akhil Mathur, Utku Gunay Acer, Alessandro Montanari, Fahim Kawsar
• Abstract要約: エッジデバイス上でMLOpsを統合した,適応モデル実行のためのマルチテナントランタイムを提案する。 S SensiX++は、高度にモジュール化されたコンポーネント化と、明確な抽象化によるデータ操作の外部化と、システム全体のオーケストレーションのためのドキュメント中心の宣言という、2つの基本原則で運用されている。 SensiX++のさまざまな自動化コンポーネントの全体的なスループットと定量化メリットについて報告し、運用の複雑さを著しく低減し、エッジデバイスへの組み込みモデルのデプロイ、アップグレード、再構成、提供の労力を削減する効果を実証する。
• 参考スコア（独自算出の注目度）: 69.1412199244903
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We present SensiX++ - a multi-tenant runtime for adaptive model execution with integrated MLOps on edge devices, e.g., a camera, a microphone, or IoT sensors. SensiX++ operates on two fundamental principles - highly modular componentisation to externalise data operations with clear abstractions and document-centric manifestation for system-wide orchestration. First, a data coordinator manages the lifecycle of sensors and serves models with correct data through automated transformations. Next, a resource-aware model server executes multiple models in isolation through model abstraction, pipeline automation and feature sharing. An adaptive scheduler then orchestrates the best-effort executions of multiple models across heterogeneous accelerators, balancing latency and throughput. Finally, microservices with REST APIs serve synthesised model predictions, system statistics, and continuous deployment. Collectively, these components enable SensiX++ to serve multiple models efficiently with fine-grained control on edge devices while minimising data operation redundancy, managing data and device heterogeneity, reducing resource contention and removing manual MLOps. We benchmark SensiX++ with ten different vision and acoustics models across various multi-tenant configurations on different edge accelerators (Jetson AGX and Coral TPU) designed for sensory devices. We report on the overall throughput and quantified benefits of various automation components of SensiX++ and demonstrate its efficacy to significantly reduce operational complexity and lower the effort to deploy, upgrade, reconfigure and serve embedded models on edge devices.
• Abstract（参考訳）: sensix++ - エッジデバイス(カメラ、マイク、iotセンサーなど)にmlopを統合した、適応型モデル実行のためのマルチテナントランタイム。 sensix++は、明確に抽象化されたデータ操作を外部化するための高度にモジュール化されたコンポーネント化と、システム全体のオーケストレーションのためのドキュメント中心のマニフェストである。 まず、データコーディネータがセンサーのライフサイクルを管理し、自動変換を通じて正しいデータを提供する。 次に、リソースアウェアモデルサーバは、モデル抽象化、パイプライン自動化、機能共有を通じて、独立した複数のモデルを実行する。 適応スケジューラは、ヘテロジニアスアクセラレータ間で複数のモデルのベストエフォート実行をオーケストレーションし、レイテンシとスループットのバランスをとる。 最後に、REST APIを使用したマイクロサービスは、合成モデル予測、システム統計、継続的デプロイメントを提供する。 これらのコンポーネントは、データ操作の冗長性を最小化し、データとデバイスの不均一性を管理し、リソース競合を減らし、手動MLOpsを削除しながら、エッジデバイス上できめ細かな制御を効率的に行うことができる。 センサデバイス用に設計されたエッジアクセラレータ(Jetson AGX と Coral TPU)上で,さまざまなマルチテナント構成の視覚モデルと音響モデルで SensiX++ をベンチマークした。 我々はsensix++の様々な自動化コンポーネントの全体的なスループットと定量化の利点を報告し、運用の複雑さを著しく削減し、エッジデバイスに組み込みモデルをデプロイ、アップグレード、再構成、提供するための労力を下げる効果を実証する。

関連論文リスト

• OminiControl: Minimal and Universal Control for Diffusion Transformer [68.3243031301164]
  OminiControlは、イメージ条件をトレーニング済みのDiffusion Transformer(DiT)モデルに統合するフレームワークである。 コアとなるOminiControlはパラメータ再利用機構を活用しており、強力なバックボーンとしてイメージ条件をエンコードすることができる。 OminiControlは、主観駆動生成や空間的に整合した条件を含む、幅広いイメージコンディショニングタスクを統一的に処理する。
  論文  参考訳（メタデータ） (2024-11-22T17:55:15Z)
• Backpropagation-Free Multi-modal On-Device Model Adaptation via Cloud-Device Collaboration [37.456185990843515]
  ユニバーサルオンデバイスマルチモーダルモデル適応フレームワークを提案する。 このフレームワークは、クラウドにホストされるFast Domain Adaptor(FDA)を特徴とし、デバイス上の軽量マルチモーダルモデル用に調整されたパラメータを提供する。 私たちの貢献は、オンデバイスマルチモーダルモデル適応(DMMA)の先駆的なソリューションである。
  論文  参考訳（メタデータ） (2024-05-21T14:42:18Z)
• MultiTASC: A Multi-Tenancy-Aware Scheduler for Cascaded DNN Inference at the Consumer Edge [4.281723404774888]
  本研究はマルチテナント対応スケジューラであるMultiTASCについて述べる。 デバイス転送を明示的に検討することにより,スケジューラは,最先端カスケード法よりも20～25ポイント(pp)の遅延サービスレベル満足度を向上する。
  論文  参考訳（メタデータ） (2023-06-22T12:04:49Z)
• Asynchronous Multi-Model Dynamic Federated Learning over Wireless Networks: Theory, Modeling, and Optimization [20.741776617129208]
  分散機械学習(ML)の鍵となる技術として、フェデレートラーニング(FL)が登場した。 まず、システムパラメータが学習性能に与える影響を捉えるために、長方形のスケジューリングステップと関数を定式化する。 我々の分析は、デバイストレーニング変数と非同期スケジューリング決定の協調的影響に光を当てている。
  論文  参考訳（メタデータ） (2023-05-22T21:39:38Z)
• A Generative Approach for Production-Aware Industrial Network Traffic Modeling [70.46446906513677]
  ドイツにあるTrumpf工場に配備されたレーザー切断機から発生するネットワークトラフィックデータについて検討した。 我々は、トラフィック統計を分析し、マシンの内部状態間の依存関係をキャプチャし、ネットワークトラフィックを生産状態依存プロセスとしてモデル化する。 可変オートエンコーダ(VAE)、条件付き可変オートエンコーダ(CVAE)、生成逆ネットワーク(GAN)など、様々な生成モデルの性能の比較を行った。
  論文  参考訳（メタデータ） (2022-11-11T09:46:58Z)
• MetaNetwork: A Task-agnostic Network Parameters Generation Framework for Improving Device Model Generalization [65.02542875281233]
  そこで本研究では,デバイス上でのトレーニングを伴わずに,クラウドから適応的なデバイスモデルパラメータを生成するための,MetaNetworkという新しいタスク非依存フレームワークを提案する。 MetaGeneratorは、サンプルからモデルパラメータへのマッピング関数を学習するために設計されており、デバイスからクラウドにアップロードされたサンプルに基づいて、適応パラメータをデバイスに生成および配信することができる。 MetaStabilizerは、MetaGeneratorの振動を減らし、収束を加速し、トレーニングと推論の両方でモデルパフォーマンスを改善することを目的としている。
  論文  参考訳（メタデータ） (2022-09-12T13:26:26Z)
• Edge Federated Learning Via Unit-Modulus Over-The-Air Computation (Extended Version) [64.76619508293966]
  本稿では,効率の良いエッジフェデレーション学習を実現するために,UM-AirCompフレームワークを提案する。 ローカルモデルパラメータを同時にアップロードし、アナログビームフォーミングを通じてグローバルモデルパラメータを更新する。 車両間自動運転シミュレーションプラットフォームにおけるUM-AirCompの実装を実演する。
  論文  参考訳（メタデータ） (2021-01-28T15:10:22Z)
• SensiX: A Platform for Collaborative Machine Learning on the Edge [69.1412199244903]
  センサデータとセンサモデルの間に留まるパーソナルエッジプラットフォームであるSensiXを紹介する。 動作および音声に基づくマルチデバイスセンシングシステムの開発において,その有効性を示す。 評価の結果,SensiXは3mWのオーバヘッドを犠牲にして,全体の精度が7～13%向上し,環境のダイナミクスが最大30%向上することがわかった。
  論文  参考訳（メタデータ） (2020-12-04T23:06:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。