論文の概要: Serving and Optimizing Machine Learning Workflows on Heterogeneous Infrastructures

• arxiv url: http://arxiv.org/abs/2205.04713v1
• Date: Tue, 10 May 2022 07:32:32 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-12 21:36:21.999843
• Title: Serving and Optimizing Machine Learning Workflows on Heterogeneous Infrastructures
• Title（参考訳）: 異種インフラストラクチャ上での機械学習ワークフローの提供と最適化
• Authors: Yongji Wu, Matthew Lentz, Danyang Zhuo, Yao Lu
• Abstract要約: JellyBeanは、異種インフラストラクチャ上での機械学習推論の提供と最適化のためのフレームワークである。 JellyBeanは、視覚的質問応答のサービスコストを最大58%削減し、NVIDIA AI City Challengeからの車両追跡を最大36%削減する。
• 参考スコア（独自算出の注目度）: 9.178035808110124
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the advent of ubiquitous deployment of smart devices and the Internet of Things, data sources for machine learning inference have increasingly moved to the edge of the network. Existing machine learning inference platforms typically assume a homogeneous infrastructure and do not take into account the more complex and tiered computing infrastructure that includes edge devices, local hubs, edge datacenters, and cloud datacenters. On the other hand, recent machine learning efforts have provided viable solutions for model compression, pruning and quantization for heterogeneous environments; for a machine learning model, now we may easily find or even generate a series of models with different tradeoffs between accuracy and efficiency. We design and implement JellyBean, a framework for serving and optimizing machine learning inference workflows on heterogeneous infrastructures. Given service-level objectives (e.g., throughput, accuracy), JellyBean automatically selects the most cost-efficient models that met the accuracy target and decides how to deploy them across different tiers of infrastructures. Evaluations show that JellyBean reduces the total serving cost of visual question answering by up to 58%, and vehicle tracking from the NVIDIA AI City Challenge by up to 36% compared with state-of-the-art model selection and worker assignment solutions. JellyBean also outperforms prior ML serving systems (e.g., Spark on the cloud) up to 5x in serving costs.
• Abstract（参考訳）: スマートデバイスとモノのインターネットがユビキタスに展開されるようになり、機械学習の推論のためのデータソースはますますネットワークの端に移ってきています。 既存の機械学習推論プラットフォームは通常、均質なインフラストラクチャを前提としており、エッジデバイス、ローカルハブ、エッジデータセンタ、クラウドデータセンタを含む、より複雑でタイトなコンピューティングインフラストラクチャを考慮していない。 一方、最近の機械学習の取り組みは、異種環境におけるモデル圧縮、プルーニング、量子化のための実行可能なソリューションを提供してきた。 異種インフラストラクチャ上での機械学習推論ワークフローの提供と最適化のためのフレームワークであるJellyBeanの設計と実装を行う。 サービスレベルの目標(スループット、精度など)を考慮すれば、jellybeanは、精度目標を満たしたコスト効率の高いモデルを自動的に選択し、さまざまなインフラストラクチャ層にデプロイする方法を決定する。 JellyBeanは、最先端のモデル選択やワーカー割り当てソリューションと比較して、最大58%の視覚的質問応答のサービスコストを削減し、NVIDIA AI City Challengeからの車両追跡を最大36%削減している。 JellyBeanはまた、従来のMLサービスシステム(例えばクラウド上のSpark)のサービスコストを最大5倍に向上させる。

関連論文リスト

• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• Efficient Data Distribution Estimation for Accelerated Federated Learning [5.085889377571319]
  Federated Learning(FL)は、多数の分散エッジデバイスでグローバルモデルをその場でトレーニングする、プライバシ保護機械学習パラダイムである。 デバイスはシステムリソースとトレーニングデータの両方において非常に異質である。 様々なクライアント選択アルゴリズムが開発され、モデルカバレッジと精度の点で有望な性能向上を示している。
  論文  参考訳（メタデータ） (2024-06-03T20:33:17Z)
• FLEdge: Benchmarking Federated Machine Learning Applications in Edge Computing Systems [61.335229621081346]
  フェデレートラーニング(FL)は,ネットワークエッジ上での分散ディープラーニングのプライバシ強化を実現する上で,有効なテクニックとなっている。 本稿では,既存のFLベンチマークを補完するFLEdgeを提案する。
  論文  参考訳（メタデータ） (2023-06-08T13:11:20Z)
• Online Data Selection for Federated Learning with Limited Storage [53.46789303416799]
  ネットワークデバイス間での分散機械学習を実現するために、フェデレートラーニング(FL)が提案されている。 デバイス上のストレージがFLの性能に与える影響はまだ調査されていない。 本研究では,デバイス上のストレージを限定したFLのオンラインデータ選択について検討する。
  論文  参考訳（メタデータ） (2022-09-01T03:27:33Z)
• RIBBON: Cost-Effective and QoS-Aware Deep Learning Model Inference using a Diverse Pool of Cloud Computing Instances [7.539635201319158]
  RIBBONは、新しいディープラーニング推論サービスシステムである。 サービス品質(QoS)の目標とコスト効率の2つの競合目標を満たす。
  論文  参考訳（メタデータ） (2022-07-23T06:45:14Z)
• Applied Federated Learning: Architectural Design for Robust and Efficient Learning in Privacy Aware Settings [0.8454446648908585]
  古典的な機械学習パラダイムは、中央にユーザーデータの集約を必要とする。 データの集中化は、内部および外部のセキュリティインシデントのリスクを高めることを含むリスクを引き起こす。 差分プライバシーによるフェデレーション学習は、サーバ側の集中化落とし穴を避けるように設計されている。
  論文  参考訳（メタデータ） (2022-06-02T00:30:04Z)
• Multi-Edge Server-Assisted Dynamic Federated Learning with an Optimized Floating Aggregation Point [51.47520726446029]
  協調エッジ学習(CE-FL)は、分散機械学習アーキテクチャである。 CE-FLの過程をモデル化し,分析訓練を行った。 実世界のテストベッドから収集したデータを用いて,本フレームワークの有効性を示す。
  論文  参考訳（メタデータ） (2022-03-26T00:41:57Z)
• SOLIS -- The MLOps journey from data acquisition to actionable insights [62.997667081978825]
  本稿では,基本的なクロスプラットフォームテンソルフレームワークとスクリプト言語エンジンを使用しながら,すべての要件をサポートする統合デプロイメントパイプラインとフリー・ツー・オペレートアプローチを提案する。 しかし、このアプローチは、実際のプロダクショングレードシステムに機械学習機能を実際にデプロイするために必要な手順やパイプラインを提供していない。
  論文  参考訳（メタデータ） (2021-12-22T14:45:37Z)
• ESAI: Efficient Split Artificial Intelligence via Early Exiting Using Neural Architecture Search [6.316693022958222]
  ディープニューラルネットワークは、多くのコンピュータビジョン関連タスクにおいて、従来の機械学習アルゴリズムよりも優れています。 大部分のデバイスは、優れたディープラーニングモデルがサーバー上のデータを解析する責任を負う、クラウドコンピューティングの方法論を活用しています。 本稿では、クラウドとオンデバイスモデルの両方を活用可能な、IoTデバイスにデプロイするための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-21T04:47:53Z)
• Cost-effective Machine Learning Inference Offload for Edge Computing [0.3149883354098941]
  本稿では,インストール・ベース・オンプレミス(edge)計算資源を活用した新しいオフロード機構を提案する。 提案するメカニズムにより、エッジデバイスは、リモートクラウドを使用する代わりに、重い計算集約的なワークロードをエッジノードにオフロードすることができる。
  論文  参考訳（メタデータ） (2020-12-07T21:11:02Z)
• A Privacy-Preserving Distributed Architecture for Deep-Learning-as-a-Service [68.84245063902908]
  本稿では,ディープラーニング・アズ・ア・サービスのための分散アーキテクチャを提案する。 クラウドベースのマシンとディープラーニングサービスを提供しながら、ユーザの機密データを保存できる。
  論文  参考訳（メタデータ） (2020-03-30T15:12:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。