論文の概要: On the Cost of Model-Serving Frameworks: An Experimental Evaluation

• arxiv url: http://arxiv.org/abs/2411.10337v1
• Date: Fri, 15 Nov 2024 16:36:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-18 15:37:39.222702
• Title: On the Cost of Model-Serving Frameworks: An Experimental Evaluation
• Title（参考訳）: モデルサービングフレームワークのコストについて:実験的検討
• Authors: Pasquale De Rosa, Yérom-David Bromberg, Pascal Felber, Djob Mvondo, Valerio Schiavoni,
• Abstract要約: 実運用環境でモデルを効果的にデプロイし、管理するためには、サービング戦略が不可欠です。 これらの戦略により、実際のアプリケーションでモデルが利用可能で、スケーラブルで、信頼性があり、パフォーマンスが保証される。 DL固有のフレームワーク(TensorFlow ServingとTorchServe)は、3つの汎用MLフレームワークよりも大幅にレイテンシが低いことを示す。
• 参考スコア（独自算出の注目度）: 2.6232657671486983
• License:
• Abstract: In machine learning (ML), the inference phase is the process of applying pre-trained models to new, unseen data with the objective of making predictions. During the inference phase, end-users interact with ML services to gain insights, recommendations, or actions based on the input data. For this reason, serving strategies are nowadays crucial for deploying and managing models in production environments effectively. These strategies ensure that models are available, scalable, reliable, and performant for real-world applications, such as time series forecasting, image classification, natural language processing, and so on. In this paper, we evaluate the performances of five widely-used model serving frameworks (TensorFlow Serving, TorchServe, MLServer, MLflow, and BentoML) under four different scenarios (malware detection, cryptocoin prices forecasting, image classification, and sentiment analysis). We demonstrate that TensorFlow Serving is able to outperform all the other frameworks in serving deep learning (DL) models. Moreover, we show that DL-specific frameworks (TensorFlow Serving and TorchServe) display significantly lower latencies than the three general-purpose ML frameworks (BentoML, MLFlow, and MLServer).
• Abstract（参考訳）: 機械学習(ML)では、推論フェーズ(inference phase)は、予測を行う目的で、トレーニング済みのモデルを新しい、目に見えないデータに適用するプロセスである。 推論フェーズでは、エンドユーザがMLサービスと対話して、入力データに基づいた洞察、レコメンデーション、アクションを取得する。 そのため、運用環境でモデルを効果的にデプロイし、管理するためには、サービス戦略が重要なのです。 これらの戦略により、時系列予測、画像分類、自然言語処理など、実世界のアプリケーションでモデルが利用可能で、スケーラブルで、信頼性が高く、パフォーマンスが高いことが保証される。 本稿では,広く使用されている5つのモデル提供フレームワーク(TensorFlow Serving, TorchServe, MLServer, MLflow, BentoML)の性能を,マルウェア検出, 暗号通貨価格予測, 画像分類, 感情分析の4つのシナリオで評価する。 TensorFlow Servingは、ディープラーニング(DL)モデルを提供する上で、他のすべてのフレームワークより優れています。 さらに、DL固有のフレームワーク(TensorFlow ServingとTorchServe)は、3つの汎用MLフレームワーク(BentoML、MLFlow、MLServer)よりも大幅にレイテンシが低いことを示す。

関連論文リスト

• Mini-InternVL: A Flexible-Transfer Pocket Multimodal Model with 5% Parameters and 90% Performance [78.48606021719206]
  Mini-InternVL は 1B から 4B までのパラメータを持つ一連の MLLM であり、パラメータの 5% しか持たない性能の90% を達成している。 我々は,ダウンストリームタスクにおける特化モデルの転送と性能向上を可能にする,Mini-InternVLの統一適応フレームワークを開発した。
  論文  参考訳（メタデータ） (2024-10-21T17:58:20Z)
• Benchmarking Agentic Workflow Generation [80.74757493266057]
  複数面シナリオと複雑なグラフワークフロー構造を備えた統合ワークフロー生成ベンチマークであるWorFBenchを紹介する。 また,サブシーケンスとサブグラフマッチングアルゴリズムを利用したシステム評価プロトコルWorFEvalを提案する。 我々は、生成されたタスクが下流のタスクを強化し、推論中により少ない時間で優れたパフォーマンスを達成することができることを観察する。
  論文  参考訳（メタデータ） (2024-10-10T12:41:19Z)
• SeBS-Flow: Benchmarking Serverless Cloud Function Workflows [51.4200085836966]
  本稿では、最初のサーバーレスワークフローベンチマークスイートSeBS-Flowを提案する。 SeBS-Flowには6つの実世界のアプリケーションベンチマークと、異なる計算パターンを表す4つのマイクロベンチマークが含まれている。 当社では,パフォーマンス,コスト,スケーラビリティ,ランタイムの偏差など,3つの主要なクラウドプラットフォームに関する包括的な評価を実施しています。
  論文  参考訳（メタデータ） (2024-10-04T14:52:18Z)
• ML-SUPERB 2.0: Benchmarking Multilingual Speech Models Across Modeling Constraints, Languages, and Datasets [106.7760874400261]
  本稿では、事前訓練されたSSLと教師付き音声モデルを評価するための新しいベンチマークであるML-SUPERB2.0を提案する。 ML-SUPERBのセットアップよりも性能が向上するが、性能は下流モデル設計に依存している。 また、言語とデータセットのパフォーマンスに大きな違いがあることから、よりターゲットを絞ったアプローチの必要性も示唆されている。
  論文  参考訳（メタデータ） (2024-06-12T21:01:26Z)
• MLOps: A Step Forward to Enterprise Machine Learning [0.0]
  この研究は、MLOps、そのメリット、困難、進化、および重要な基盤技術に関する詳細なレビューを提示する。 MLOpsワークフローは、モデルとデータ探索とデプロイメントの両方に必要なさまざまなツールとともに、詳細に説明されている。 この記事では、さまざまな成熟度の高い自動パイプラインを使用して、MLプロジェクトのエンドツーエンド生産にも光を当てます。
  論文  参考訳（メタデータ） (2023-05-27T20:44:14Z)
• SOLIS -- The MLOps journey from data acquisition to actionable insights [62.997667081978825]
  本稿では,基本的なクロスプラットフォームテンソルフレームワークとスクリプト言語エンジンを使用しながら,すべての要件をサポートする統合デプロイメントパイプラインとフリー・ツー・オペレートアプローチを提案する。 しかし、このアプローチは、実際のプロダクショングレードシステムに機械学習機能を実際にデプロイするために必要な手順やパイプラインを提供していない。
  論文  参考訳（メタデータ） (2021-12-22T14:45:37Z)
• Scanflow: A multi-graph framework for Machine Learning workflow management, supervision, and debugging [0.0]
  本稿では,エンドツーエンドの機械学習ワークフロー管理を支援するコンテナ化指向グラフフレームワークを提案する。 このフレームワークは、コンテナ内でMLを定義してデプロイし、メタデータを追跡し、本番環境での振る舞いを確認し、学習された知識と人為的な知識を使用してモデルを改善する。
  論文  参考訳（メタデータ） (2021-11-04T17:01:12Z)
• Exploring the potential of flow-based programming for machine learning deployment in comparison with service-oriented architectures [8.677012233188968]
  理由のひとつは、データ収集と分析に関するアクティビティのために設計されていないインフラストラクチャである、と私たちは論じています。 本稿では,データストリームを用いたフローベースのプログラミングを,ソフトウェアアプリケーション構築に広く使用されるサービス指向アーキテクチャの代替として検討する。
  論文  参考訳（メタデータ） (2021-08-09T15:06:02Z)
• MLDemon: Deployment Monitoring for Machine Learning Systems [10.074466859579571]
  ML Deployment Monitoritoring のための新しいアプローチ MLDemon を提案します。 MLDemonはラベル付けされていない機能と少数のオンデマンドラベル付きサンプルを統合して、リアルタイムの見積を生成する。 多様な分布のドリフトとモデルを持つ時間データセットでは、MLDemonは既存のモニタリングアプローチを大幅に上回っている。
  論文  参考訳（メタデータ） (2021-04-28T07:59:10Z)
• MLModelScope: A Distributed Platform for Model Evaluation and Benchmarking at Scale [32.62513495487506]
  機械学習(ML)とディープラーニング(DL)のイノベーションは急速に導入され、研究者はそれらを分析して研究することが難しくなっている。 ML/DL評価の標準化と提供方法の欠如とともに、イノベーションを評価するための複雑な手続きは、コミュニティにとって大きな「痛点」である。 本稿では,MLModelScopeを提案する。MLModelScopeは,フレームワークやハードウェアに依存しない,カスタマイズ可能な設計で,反復可能で公平でスケーラブルなモデル評価とベンチマークを可能にする。
  論文  参考訳（メタデータ） (2020-02-19T17:13:01Z)
• Parameter-Efficient Transfer from Sequential Behaviors for User Modeling and Recommendation [111.44445634272235]
  本稿では,PeterRecと呼ばれるパラメータ効率のよい移動学習アーキテクチャを提案する。 PeterRecは、トレーニング済みのパラメータを、一連の再学習ニューラルネットワークを注入することで、微調整中に修正されないようにする。 我々は5つの下流タスクにおいて学習したユーザ表現の有効性を示すために、広範囲な実験的アブレーションを行う。
  論文  参考訳（メタデータ） (2020-01-13T14:09:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。