論文の概要: ML-Enabled Systems Model Deployment and Monitoring: Status Quo and
Problems
- arxiv url: http://arxiv.org/abs/2402.05333v1
- Date: Thu, 8 Feb 2024 00:25:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-09 16:56:46.776896
- Title: ML-Enabled Systems Model Deployment and Monitoring: Status Quo and
Problems
- Title(参考訳): ML対応システムモデルのデプロイと監視:現状と課題
- Authors: Eduardo Zimelewicz, Marcos Kalinowski, Daniel Mendez, G\"orkem Giray,
Antonio Pedro Santos Alves, Niklas Lavesson, Kelly Azevedo, Hugo Villamizar,
Tatiana Escovedo, Helio Lopes, Stefan Biffl, Juergen Musil, Michael Felderer,
Stefan Wagner, Teresa Baldassarre, Tony Gorschek
- Abstract要約: 我々は、ML対応システムのエンジニアリング方法に関する実践的洞察を集めるために、国際調査を実施した。
モデル配置および監視段階における現状と問題点を解析した。
私たちの結果は、実践において採用されているプラクティスや問題をより深く理解する上で役立ちます。
- 参考スコア(独自算出の注目度): 7.280443300122617
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: [Context] Systems incorporating Machine Learning (ML) models, often called
ML-enabled systems, have become commonplace. However, empirical evidence on how
ML-enabled systems are engineered in practice is still limited, especially for
activities surrounding ML model dissemination. [Goal] We investigate
contemporary industrial practices and problems related to ML model
dissemination, focusing on the model deployment and the monitoring of ML life
cycle phases. [Method] We conducted an international survey to gather
practitioner insights on how ML-enabled systems are engineered. We gathered a
total of 188 complete responses from 25 countries. We analyze the status quo
and problems reported for the model deployment and monitoring phases. We
analyzed contemporary practices using bootstrapping with confidence intervals
and conducted qualitative analyses on the reported problems applying open and
axial coding procedures. [Results] Practitioners perceive the model deployment
and monitoring phases as relevant and difficult. With respect to model
deployment, models are typically deployed as separate services, with limited
adoption of MLOps principles. Reported problems include difficulties in
designing the architecture of the infrastructure for production deployment and
legacy application integration. Concerning model monitoring, many models in
production are not monitored. The main monitored aspects are inputs, outputs,
and decisions. Reported problems involve the absence of monitoring practices,
the need to create custom monitoring tools, and the selection of suitable
metrics. [Conclusion] Our results help provide a better understanding of the
adopted practices and problems in practice and support guiding ML deployment
and monitoring research in a problem-driven manner.
- Abstract(参考訳): [文脈]機械学習(ML)モデルを組み込んだシステム(しばしばML対応システムと呼ばれる)が一般的になっている。
しかし、ML対応システムが実際にどのように構築されているかに関する実証的な証拠は、特にMLモデルの普及を取り巻く活動において、まだ限られている。
[目標]MLモデルの普及に伴う現代産業の実践と課題を考察し,モデル展開とMLライフサイクルのモニタリングに着目した。
[方法]ML対応システムの設計方法に関する実践的知見を収集するため,国際調査を行った。
25カ国から合計188件の回答を集めました。
我々は,モデル展開とモニタリングの段階における現状と問題点を分析した。
信頼区間を有するブートストラップを用いた現代の実践を分析し,オープン・アキシアル符号化手法を適用した報告問題の定性解析を行った。
結果]実践者はモデルデプロイメントと監視フェーズを関連性があり、難しいと認識します。
モデルデプロイメントに関しては、モデルは通常、MLOps原則を限定した、独立したサービスとしてデプロイされる。
報告されている問題には、運用デプロイメントとレガシーアプリケーション統合のためのインフラストラクチャのアーキテクチャ設計の難しさがある。
モデル監視に関しては、運用中の多くのモデルが監視されていない。
主な監視対象は入力、出力、決定である。
報告された問題には、監視プラクティスの欠如、カスタム監視ツールの作成の必要性、適切なメトリクスの選択が含まれる。
結論]私たちの結果は,導入プラクティスや実践上の問題点をより深く理解し,MLデプロイメントの指導と問題駆動型研究の監視を支援する上で有効です。
関連論文リスト
- Characterization of Large Language Model Development in the Datacenter [57.49531095113406]
大きな言語モデル(LLM)は、いくつかの変換タスクにまたがって素晴らしいパフォーマンスを示している。
しかし,大規模クラスタ資源を効率よく利用してLCMを開発することは容易ではない。
我々は,GPUデータセンタAcmeから収集した6ヶ月のLDM開発ワークロードの詳細な評価を行った。
論文 参考訳(メタデータ) (2024-03-12T13:31:14Z) - A Review of Physics-Informed Machine Learning Methods with Applications
to Condition Monitoring and Anomaly Detection [1.124958340749622]
PIMLは、既知の物理法則と制約を機械学習アルゴリズムに組み込んだものである。
本研究では,条件モニタリングの文脈におけるPIML技術の概要を概観する。
論文 参考訳(メタデータ) (2024-01-22T11:29:44Z) - Designing monitoring strategies for deployed machine learning
algorithms: navigating performativity through a causal lens [6.329470650220206]
この研究の目的は、監視戦略を設計する際の比較的過小評価されている複雑さを強調することである。
MLに基づく未計画の読み出し予測のためのリスク予測アルゴリズムについて検討する。
このケーススタディの結果は、すべての監視システムが平等に作成されるわけではないという、一見単純な(そして明らかな)事実を強調します。
論文 参考訳(メタデータ) (2023-11-20T00:15:16Z) - Status Quo and Problems of Requirements Engineering for Machine
Learning: Results from an International Survey [7.164324501049983]
要求工学(RE)は、機械学習対応システムにおいて多くの問題を解決するのに役立つ。
我々は,ML対応システムにおけるREの現状と問題点について,実践者の知見を収集する調査を行った。
MLプロジェクトでは,REプラクティスに有意な違いが認められた。
論文 参考訳(メタデータ) (2023-10-10T15:53:50Z) - Simultaneous Machine Translation with Large Language Models [51.470478122113356]
我々は,SimulMTタスクに大規模言語モデルを適用する可能性を検討する。
MUST-Cデータセットと異なる9言語でtextttLlama2-7b-chatモデルを用いて実験を行った。
その結果,LLM は BLEU と LAAL の指標で専用MT モデルよりも優れていた。
論文 参考訳(メタデータ) (2023-09-13T04:06:47Z) - Machine learning enabling high-throughput and remote operations at
large-scale user facilities [0.0]
機械学習(ML)手法は、大規模なデータセットをリアルタイムで処理し、解釈するために定期的に開発されている。
我々は、National Synchrotron Light Source II (NSLS-II)において、複数のビームラインでのオンザフライ解析のための様々なアーチティパルMLモデルを実証した。
論文 参考訳(メタデータ) (2022-01-09T17:43:03Z) - Panoramic Learning with A Standardized Machine Learning Formalism [116.34627789412102]
本稿では,多様なMLアルゴリズムの統一的な理解を提供する学習目的の標準化された方程式を提案する。
また、新しいMLソリューションのメカニック設計のガイダンスも提供し、すべての経験を持つパノラマ学習に向けた有望な手段として機能する。
論文 参考訳(メタデータ) (2021-08-17T17:44:38Z) - Practical Machine Learning Safety: A Survey and Primer [81.73857913779534]
自動運転車のような安全クリティカルなアプリケーションにおける機械学習アルゴリズムのオープンワールド展開は、さまざまなML脆弱性に対処する必要がある。
一般化エラーを低減し、ドメイン適応を実現し、外乱例や敵攻撃を検出するための新しいモデルと訓練技術。
我々の組織は、MLアルゴリズムの信頼性を異なる側面から向上するために、最先端のML技術を安全戦略にマッピングする。
論文 参考訳(メタデータ) (2021-06-09T05:56:42Z) - Machine Learning based Indicators to Enhance Process Monitoring by
Pattern Recognition [0.4893345190925177]
パターンタイプと強度を組み合わせた機械学習に基づく指標のための新しいフレームワークを提案する。
半導体産業のケーススタディでは,従来のプロセス制御を越え,高品質な実験結果を得る。
論文 参考訳(メタデータ) (2021-03-24T10:13:20Z) - Technology Readiness Levels for Machine Learning Systems [107.56979560568232]
機械学習システムの開発とデプロイは、現代のツールで簡単に実行できますが、プロセスは一般的に急ぎ、エンドツーエンドです。
私たちは、機械学習の開発と展開のための実証済みのシステムエンジニアリングアプローチを開発しました。
当社の「機械学習技術準備レベル」フレームワークは、堅牢で信頼性が高く、責任あるシステムを確保するための原則的なプロセスを定義します。
論文 参考訳(メタデータ) (2021-01-11T15:54:48Z) - Monitoring and explainability of models in production [58.720142291102135]
デプロイされたモデルを監視することは、高品質の機械学習対応サービスの継続的なプロビジョニングに不可欠である。
これらの領域でソリューションの実装を成功させる上での課題を,オープンソースツールを使用した本番環境対応ソリューションの最近の例で論じる。
論文 参考訳(メタデータ) (2020-07-13T10:37:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。