論文の概要: MLDemon: Deployment Monitoring for Machine Learning Systems

• arxiv url: http://arxiv.org/abs/2104.13621v2
• Date: Thu, 29 Apr 2021 06:31:52 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-30 10:28:52.548798
• Title: MLDemon: Deployment Monitoring for Machine Learning Systems
• Title（参考訳）: MLDemon: 機械学習システムのデプロイ監視
• Authors: Antonio Ginart, Martin Zhang, James Zou
• Abstract要約: ML Deployment Monitoritoring のための新しいアプローチ MLDemon を提案します。 MLDemonはラベル付けされていない機能と少数のオンデマンドラベル付きサンプルを統合して、リアルタイムの見積を生成する。 多様な分布のドリフトとモデルを持つ時間データセットでは、MLDemonは既存のモニタリングアプローチを大幅に上回っている。
• 参考スコア（独自算出の注目度）: 10.074466859579571
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Post-deployment monitoring of the performance of ML systems is critical for ensuring reliability, especially as new user inputs can differ from the training distribution. Here we propose a novel approach, MLDemon, for ML DEployment MONitoring. MLDemon integrates both unlabeled features and a small amount of on-demand labeled examples over time to produce a real-time estimate of the ML model's current performance on a given data stream. Subject to budget constraints, MLDemon decides when to acquire additional, potentially costly, supervised labels to verify the model. On temporal datasets with diverse distribution drifts and models, MLDemon substantially outperforms existing monitoring approaches. Moreover, we provide theoretical analysis to show that MLDemon is minimax rate optimal up to logarithmic factors and is provably robust against broad distribution drifts whereas prior approaches are not.
• Abstract（参考訳）: mlシステムの性能のデプロイ後の監視は、特に新しいユーザ入力がトレーニング分布と異なるため、信頼性を確保する上で重要である。 本稿ではML Deployment Monitoringのための新しいアプローチであるMLDemonを提案する。 MLDemonはラベル付けされていない機能と少数のオンデマンドラベル付きサンプルを統合し、与えられたデータストリーム上でのMLモデルの現在のパフォーマンスをリアルタイムで推定する。 予算制約により、MLDemonはモデルを検証するために追加でコストがかかるラベルを取得する時期を決定する。 多様な分布のドリフトとモデルを持つ時間データセットでは、MLDemonは既存のモニタリングアプローチを大幅に上回る。 さらに,mldemonは対数係数に最適なミニマックスレートであり,それ以前のアプローチがそうではないのに対して,広い分布ドリフトに対して確実に頑健であることを示すための理論的解析を行う。

関連論文リスト

• On the Cost of Model-Serving Frameworks: An Experimental Evaluation [2.6232657671486983]
  実運用環境でモデルを効果的にデプロイし、管理するためには、サービング戦略が不可欠です。 これらの戦略により、実際のアプリケーションでモデルが利用可能で、スケーラブルで、信頼性があり、パフォーマンスが保証される。 DL固有のフレームワーク(TensorFlow ServingとTorchServe)は、3つの汎用MLフレームワークよりも大幅にレイテンシが低いことを示す。
  論文  参考訳（メタデータ） (2024-11-15T16:36:21Z)
• ML-On-Rails: Safeguarding Machine Learning Models in Software Systems A Case Study [4.087995998278127]
  機械学習モデルを保護するためのプロトコルであるML-On-Railsを紹介する。 ML-On-Railsは、さまざまなMLタスクのための明確に定義されたエンドポイントインターフェースを確立し、MLプロバイダとMLコンシューマ間のコミュニケーションを明確にする。 実世界のMoveReminderアプリケーションのケーススタディを通じてプロトコルを評価する。
  論文  参考訳（メタデータ） (2024-01-12T11:27:15Z)
• Semi-Supervised Class-Agnostic Motion Prediction with Pseudo Label Regeneration and BEVMix [59.55173022987071]
  クラス非依存動作予測のための半教師あり学習の可能性について検討する。 我々のフレームワークは一貫性に基づく自己学習パラダイムを採用しており、ラベルのないデータからモデルを学習することができる。 本手法は,弱さと完全教師付き手法に匹敵する性能を示す。
  論文  参考訳（メタデータ） (2023-12-13T09:32:50Z)
• From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning [52.257422715393574]
  本稿では,Large Language Models (LLMs) の自己誘導手法を導入し,オープンソースデータセットからサクラサンプルを自動識別し,選択する。 我々の重要な革新である命令追従困難度(IFD)メトリックは、モデルが期待する応答と本質的な生成能力の相違を識別するための重要な指標として現れます。
  論文  参考訳（メタデータ） (2023-08-23T09:45:29Z)
• Value function estimation using conditional diffusion models for control [62.27184818047923]
  拡散値関数(DVF)と呼ばれる単純なアルゴリズムを提案する。 拡散モデルを用いて環境-ロボット相互作用の連成多段階モデルを学ぶ。 本稿では,DVFを用いて複数のコントローラの状態を効率よく把握する方法を示す。
  論文  参考訳（メタデータ） (2023-06-09T18:40:55Z)
• Scaling up Trustless DNN Inference with Zero-Knowledge Proofs [47.42532753464726]
  本稿では,MLモデル推論を非インタラクティブに検証する,最初の実用的なImageNet-scale法を提案する。 フル解像度のImageNetモデルに対する有効な推論のZKSNARK証明を初めて提供し、79%のトップ5精度を実現した。
  論文  参考訳（メタデータ） (2022-10-17T00:35:38Z)
• Scanflow: A multi-graph framework for Machine Learning workflow management, supervision, and debugging [0.0]
  本稿では,エンドツーエンドの機械学習ワークフロー管理を支援するコンテナ化指向グラフフレームワークを提案する。 このフレームワークは、コンテナ内でMLを定義してデプロイし、メタデータを追跡し、本番環境での振る舞いを確認し、学習された知識と人為的な知識を使用してモデルを改善する。
  論文  参考訳（メタデータ） (2021-11-04T17:01:12Z)
• FairCanary: Rapid Continuous Explainable Fairness [8.362098382773265]
  本稿では,新しいモデルバイアス量化尺度であるQuantile Demographic Drift(QDD)を提案する。 QDDは継続的な監視シナリオに最適であり、従来のしきい値ベースのバイアスメトリクスの統計的制限に悩まされない。 QDDをFairCanaryと呼ばれる継続的モデル監視システムに組み込み、各予測毎に計算された既存の説明を再利用します。
  論文  参考訳（メタデータ） (2021-06-13T17:47:44Z)
• Transfer Learning without Knowing: Reprogramming Black-box Machine Learning Models with Scarce Data and Limited Resources [78.72922528736011]
  そこで我々は,ブラックボックス・アタベラル・リプログラミング (BAR) という新しい手法を提案する。 ゼロオーダー最適化とマルチラベルマッピング技術を用いて、BARは入力出力応答のみに基づいてブラックボックスMLモデルをプログラムする。 BARは最先端の手法より優れ、バニラ対逆プログラミング法に匹敵する性能を得る。
  論文  参考訳（メタデータ） (2020-07-17T01:52:34Z)
• Semi-Supervised Learning with Normalizing Flows [54.376602201489995]
  FlowGMMは、フローの正規化を伴う生成半教師付き学習におけるエンドツーエンドのアプローチである。 我々は AG-News や Yahoo Answers のテキストデータなど,幅広いアプリケーションに対して有望な結果を示す。
  論文  参考訳（メタデータ） (2019-12-30T17:36:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。