論文の概要: A monitoring framework for deployed machine learning models with supply chain examples

• arxiv url: http://arxiv.org/abs/2211.06239v1
• Date: Fri, 11 Nov 2022 14:31:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-14 17:06:00.371161
• Title: A monitoring framework for deployed machine learning models with supply chain examples
• Title（参考訳）: サプライチェーン例を用いた機械学習モデルのデプロイ監視フレームワーク
• Authors: Bradley Eck and Duygu Kabakci-Zorlu and Yan Chen and France Savard and Xiaowei Bao
• Abstract要約: 機械学習モデルを監視するためのフレームワークについて述べ,(2)ビッグデータサプライチェーンアプリケーションの実装について述べる。 本実装では,3つの実データ集合上でのモデル特徴,予測,および性能のドリフトについて検討する。
• 参考スコア（独自算出の注目度）: 2.904613270228912
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Actively monitoring machine learning models during production operations helps ensure prediction quality and detection and remediation of unexpected or undesired conditions. Monitoring models already deployed in big data environments brings the additional challenges of adding monitoring in parallel to the existing modelling workflow and controlling resource requirements. In this paper, we describe (1) a framework for monitoring machine learning models; and, (2) its implementation for a big data supply chain application. We use our implementation to study drift in model features, predictions, and performance on three real data sets. We compare hypothesis test and information theoretic approaches to drift detection in features and predictions using the Kolmogorov-Smirnov distance and Bhattacharyya coefficient. Results showed that model performance was stable over the evaluation period. Features and predictions showed statistically significant drifts; however, these drifts were not linked to changes in model performance during the time of our study.
• Abstract（参考訳）: 運用運用中の機械学習モデルをアクティブに監視することは、予期せぬあるいは望ましくない条件の予測品質と検出と修正を支援する。 ビッグデータ環境にすでにデプロイされているモニタリングモデルは、既存のモデリングワークフローと並行して監視を追加し、リソース要求を制御するという、新たな課題をもたらす。 本稿では,(1)機械学習モデルを監視するフレームワーク,(2)ビッグデータサプライチェーンアプリケーションのための実装について述べる。 本実装では,3つの実データ集合上でのモデル特徴,予測,性能のドリフトについて検討する。 我々は,Kolmogorov-Smirnov 距離と Bhattacharyya 係数を用いて,特徴および予測におけるドリフト検出に対する仮説テストと情報理論的アプローチを比較した。 その結果, モデル性能は評価期間中に安定であった。 特徴と予測は統計的に有意なドリフトを示したが,これらのドリフトは研究期間中のモデル性能の変化とは無関係であった。

関連論文リスト

• Explanatory Model Monitoring to Understand the Effects of Feature Shifts on Performance [61.06245197347139]
  そこで本研究では,機能シフトによるブラックボックスモデルの振る舞いを説明する新しい手法を提案する。 本稿では,最適輸送と共有値の概念を組み合わせた提案手法について,説明的性能推定として紹介する。
  論文  参考訳（メタデータ） (2024-08-24T18:28:19Z)
• Early-Stage Anomaly Detection: A Study of Model Performance on Complete vs. Partial Flows [0.0]
  本研究では,異常検出システムにおける機械学習モデル,特にランダムフォレストの有効性について検討した。 実世界のリアルタイムネットワーク環境に典型的な不完全なデータにモデルを適用する際に生じる性能格差について検討する。
  論文  参考訳（メタデータ） (2024-07-03T07:14:25Z)
• Uncovering Drift in Textual Data: An Unsupervised Method for Detecting and Mitigating Drift in Machine Learning Models [9.035254826664273]
  機械学習におけるドリフト(drift)とは、モデルが動作しているデータやコンテキストの統計的性質が時間とともに変化し、性能が低下する現象を指す。 提案手法では, 目標分布として生産データのサンプルを符号化し, モデルトレーニングデータを基準分布として符号化する。 また,ドリフトの根本原因である生産データのサブセットも同定する。 これらの高ドリフトサンプルを用いて再トレーニングしたモデルでは、オンライン顧客エクスペリエンスの品質指標のパフォーマンスが改善された。
  論文  参考訳（メタデータ） (2023-09-07T16:45:42Z)
• Robustness and Generalization Performance of Deep Learning Models on Cyber-Physical Systems: A Comparative Study [71.84852429039881]
  調査は、センサーの故障やノイズなど、様々な摂動を扱うモデルの能力に焦点を当てている。 我々は,これらのモデルの一般化と伝達学習能力を,アウト・オブ・ディストリビューション(OOD)サンプルに公開することによって検証する。
  論文  参考訳（メタデータ） (2023-06-13T12:43:59Z)
• Provable Robustness for Streaming Models with a Sliding Window [51.85182389861261]
  オンラインコンテンツレコメンデーションや株式市場分析のようなディープラーニングアプリケーションでは、モデルは過去のデータを使って予測を行う。 入力ストリーム上の固定サイズのスライディングウインドウを使用するモデルに対して、ロバスト性証明を導出する。 私たちの保証は、ストリーム全体の平均モデルパフォーマンスを保ち、ストリームサイズに依存しないので、大きなデータストリームに適しています。
  論文  参考訳（メタデータ） (2023-03-28T21:02:35Z)
• Online learning techniques for prediction of temporal tabular datasets with regime changes [0.0]
  時間パネルデータセットの予測をランキングするモジュール型機械学習パイプラインを提案する。 パイプラインのモジュラリティにより、GBDT(Gradient Boosting Decision Tree)やニューラルネットワークなど、さまざまなモデルの使用が可能になる。 モデルの再トレーニングを必要としないオンライン学習技術は、予測後の結果を高めるために使用することができる。
  論文  参考訳（メタデータ） (2022-12-30T17:19:00Z)
• End-to-End Weak Supervision [15.125993628007972]
  下流モデルを直接学習するためのエンドツーエンドアプローチを提案する。 下流テストセットにおけるエンドモデル性能の観点から,先行作業よりも性能が向上したことを示す。
  論文  参考訳（メタデータ） (2021-07-05T19:10:11Z)
• Back2Future: Leveraging Backfill Dynamics for Improving Real-time Predictions in Future [73.03458424369657]
  公衆衛生におけるリアルタイム予測では、データ収集は簡単で要求の多いタスクである。 過去の文献では「バックフィル」現象とそのモデル性能への影響についてはほとんど研究されていない。 我々は、与えられたモデルの予測をリアルタイムで洗練することを目的とした、新しい問題とニューラルネットワークフレームワークBack2Futureを定式化する。
  論文  参考訳（メタデータ） (2021-06-08T14:48:20Z)
• Monitoring and explainability of models in production [58.720142291102135]
  デプロイされたモデルを監視することは、高品質の機械学習対応サービスの継続的なプロビジョニングに不可欠である。 これらの領域でソリューションの実装を成功させる上での課題を,オープンソースツールを使用した本番環境対応ソリューションの最近の例で論じる。
  論文  参考訳（メタデータ） (2020-07-13T10:37:05Z)
• How Training Data Impacts Performance in Learning-based Control [67.7875109298865]
  本稿では,トレーニングデータの密度と制御性能の関係を考察する。 データセットの品質尺度を定式化し、$rho$-gap と呼ぶ。 フィードバック線形化制御法に$rho$-gapを適用する方法を示す。
  論文  参考訳（メタデータ） (2020-05-25T12:13:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。