論文の概要: ML-Enabled Systems Model Deployment and Monitoring: Status Quo and Problems

• arxiv url: http://arxiv.org/abs/2402.05333v1
• Date: Thu, 8 Feb 2024 00:25:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-09 16:56:46.776896
• Title: ML-Enabled Systems Model Deployment and Monitoring: Status Quo and Problems
• Title（参考訳）: ML対応システムモデルのデプロイと監視:現状と課題
• Authors: Eduardo Zimelewicz, Marcos Kalinowski, Daniel Mendez, G\"orkem Giray, Antonio Pedro Santos Alves, Niklas Lavesson, Kelly Azevedo, Hugo Villamizar, Tatiana Escovedo, Helio Lopes, Stefan Biffl, Juergen Musil, Michael Felderer, Stefan Wagner, Teresa Baldassarre, Tony Gorschek
• Abstract要約: 我々は、ML対応システムのエンジニアリング方法に関する実践的洞察を集めるために、国際調査を実施した。 モデル配置および監視段階における現状と問題点を解析した。 私たちの結果は、実践において採用されているプラクティスや問題をより深く理解する上で役立ちます。
• 参考スコア（独自算出の注目度）: 7.280443300122617
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: [Context] Systems incorporating Machine Learning (ML) models, often called ML-enabled systems, have become commonplace. However, empirical evidence on how ML-enabled systems are engineered in practice is still limited, especially for activities surrounding ML model dissemination. [Goal] We investigate contemporary industrial practices and problems related to ML model dissemination, focusing on the model deployment and the monitoring of ML life cycle phases. [Method] We conducted an international survey to gather practitioner insights on how ML-enabled systems are engineered. We gathered a total of 188 complete responses from 25 countries. We analyze the status quo and problems reported for the model deployment and monitoring phases. We analyzed contemporary practices using bootstrapping with confidence intervals and conducted qualitative analyses on the reported problems applying open and axial coding procedures. [Results] Practitioners perceive the model deployment and monitoring phases as relevant and difficult. With respect to model deployment, models are typically deployed as separate services, with limited adoption of MLOps principles. Reported problems include difficulties in designing the architecture of the infrastructure for production deployment and legacy application integration. Concerning model monitoring, many models in production are not monitored. The main monitored aspects are inputs, outputs, and decisions. Reported problems involve the absence of monitoring practices, the need to create custom monitoring tools, and the selection of suitable metrics. [Conclusion] Our results help provide a better understanding of the adopted practices and problems in practice and support guiding ML deployment and monitoring research in a problem-driven manner.
• Abstract（参考訳）: [文脈]機械学習(ML)モデルを組み込んだシステム(しばしばML対応システムと呼ばれる)が一般的になっている。 しかし、ML対応システムが実際にどのように構築されているかに関する実証的な証拠は、特にMLモデルの普及を取り巻く活動において、まだ限られている。 [目標]MLモデルの普及に伴う現代産業の実践と課題を考察し,モデル展開とMLライフサイクルのモニタリングに着目した。 [方法]ML対応システムの設計方法に関する実践的知見を収集するため,国際調査を行った。 25カ国から合計188件の回答を集めました。 我々は,モデル展開とモニタリングの段階における現状と問題点を分析した。 信頼区間を有するブートストラップを用いた現代の実践を分析し,オープン・アキシアル符号化手法を適用した報告問題の定性解析を行った。 結果]実践者はモデルデプロイメントと監視フェーズを関連性があり、難しいと認識します。 モデルデプロイメントに関しては、モデルは通常、MLOps原則を限定した、独立したサービスとしてデプロイされる。 報告されている問題には、運用デプロイメントとレガシーアプリケーション統合のためのインフラストラクチャのアーキテクチャ設計の難しさがある。 モデル監視に関しては、運用中の多くのモデルが監視されていない。 主な監視対象は入力、出力、決定である。 報告された問題には、監視プラクティスの欠如、カスタム監視ツールの作成の必要性、適切なメトリクスの選択が含まれる。 結論]私たちの結果は,導入プラクティスや実践上の問題点をより深く理解し,MLデプロイメントの指導と問題駆動型研究の監視を支援する上で有効です。

関連論文リスト

• Towards Trustworthy Machine Learning in Production: An Overview of the Robustness in MLOps Approach [0.0]
  近年、AI研究者や実践家は、信頼性と信頼性のある意思決定を行うシステムを構築するための原則とガイドラインを導入している。 実際には、システムが運用され、実際の環境で継続的に進化し、運用するためにデプロイされる必要がある場合に、根本的な課題が発生する。 この課題に対処するため、MLOps(Machine Learning Operations)は、デプロイメントにおけるMLソリューションを標準化するための潜在的なレシピとして登場した。
  論文  参考訳（メタデータ） (2024-10-28T09:34:08Z)
• MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
  大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。 本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。 メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
  論文  参考訳（メタデータ） (2024-06-20T03:50:23Z)
• Using Quality Attribute Scenarios for ML Model Test Case Generation [3.9111051646728527]
  機械学習(ML)モデルテストの現在のプラクティスは、モデルパフォーマンスのテストの優先順位付けである。 本稿では,品質属性(QA)のシナリオに基づいて,システムおよびモデル関連テストケースを抽出,定義する手法を提案する。 QAベースのアプローチはMLモデルテストと評価をサポートするプロセスとツールであるMLTEに統合されている。
  論文  参考訳（メタデータ） (2024-06-12T18:26:42Z)
• Naming the Pain in Machine Learning-Enabled Systems Engineering [8.092979562919878]
  機械学習(ML)対応システムは、企業によってますます採用されている。 本稿では,ML対応システムの現状を概観する。
  論文  参考訳（メタデータ） (2024-05-20T06:59:20Z)
• Characterization of Large Language Model Development in the Datacenter [55.9909258342639]
  大きな言語モデル(LLM)は、いくつかの変換タスクにまたがって素晴らしいパフォーマンスを示している。 しかし,大規模クラスタ資源を効率よく利用してLCMを開発することは容易ではない。 我々は,GPUデータセンタAcmeから収集した6ヶ月のLDM開発ワークロードの詳細な評価を行った。
  論文  参考訳（メタデータ） (2024-03-12T13:31:14Z)
• A Review of Physics-Informed Machine Learning Methods with Applications to Condition Monitoring and Anomaly Detection [1.124958340749622]
  PIMLは、既知の物理法則と制約を機械学習アルゴリズムに組み込んだものである。 本研究では,条件モニタリングの文脈におけるPIML技術の概要を概観する。
  論文  参考訳（メタデータ） (2024-01-22T11:29:44Z)
• Status Quo and Problems of Requirements Engineering for Machine Learning: Results from an International Survey [7.164324501049983]
  要求工学(RE)は、機械学習対応システムにおいて多くの問題を解決するのに役立つ。 我々は,ML対応システムにおけるREの現状と問題点について,実践者の知見を収集する調査を行った。 MLプロジェクトでは,REプラクティスに有意な違いが認められた。
  論文  参考訳（メタデータ） (2023-10-10T15:53:50Z)
• Simultaneous Machine Translation with Large Language Models [51.470478122113356]
  我々は,SimulMTタスクに大規模言語モデルを適用する可能性を検討する。 MUST-Cデータセットと異なる9言語でtextttLlama2-7b-chatモデルを用いて実験を行った。 その結果,LLM は BLEU と LAAL の指標で専用MT モデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-09-13T04:06:47Z)
• Panoramic Learning with A Standardized Machine Learning Formalism [116.34627789412102]
  本稿では,多様なMLアルゴリズムの統一的な理解を提供する学習目的の標準化された方程式を提案する。 また、新しいMLソリューションのメカニック設計のガイダンスも提供し、すべての経験を持つパノラマ学習に向けた有望な手段として機能する。
  論文  参考訳（メタデータ） (2021-08-17T17:44:38Z)
• Technology Readiness Levels for Machine Learning Systems [107.56979560568232]
  機械学習システムの開発とデプロイは、現代のツールで簡単に実行できますが、プロセスは一般的に急ぎ、エンドツーエンドです。 私たちは、機械学習の開発と展開のための実証済みのシステムエンジニアリングアプローチを開発しました。 当社の「機械学習技術準備レベル」フレームワークは、堅牢で信頼性が高く、責任あるシステムを確保するための原則的なプロセスを定義します。
  論文  参考訳（メタデータ） (2021-01-11T15:54:48Z)
• Monitoring and explainability of models in production [58.720142291102135]
  デプロイされたモデルを監視することは、高品質の機械学習対応サービスの継続的なプロビジョニングに不可欠である。 これらの領域でソリューションの実装を成功させる上での課題を,オープンソースツールを使用した本番環境対応ソリューションの最近の例で論じる。
  論文  参考訳（メタデータ） (2020-07-13T10:37:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。