論文の概要: Machine Learning Model Drift Detection Via Weak Data Slices

• arxiv url: http://arxiv.org/abs/2108.05319v1
• Date: Wed, 11 Aug 2021 16:55:34 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-12 13:16:36.891637
• Title: Machine Learning Model Drift Detection Via Weak Data Slices
• Title（参考訳）: 弱データスライスを用いた機械学習モデルドリフト検出
• Authors: Samuel Ackerman, Parijat Dube, Eitan Farchi, Orna Raz, Marcel Zalmanovici
• Abstract要約: 本研究では,データスライスと呼ばれる特徴空間規則を用いてドリフト検出を行う手法を提案する。 提案手法は,基礎となるデータの変化に基づいて,MLモデルが性能を変化させる可能性が示唆される。
• 参考スコア（独自算出の注目度）: 5.319802998033767
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Detecting drift in performance of Machine Learning (ML) models is an acknowledged challenge. For ML models to become an integral part of business applications it is essential to detect when an ML model drifts away from acceptable operation. However, it is often the case that actual labels are difficult and expensive to get, for example, because they require expert judgment. Therefore, there is a need for methods that detect likely degradation in ML operation without labels. We propose a method that utilizes feature space rules, called data slices, for drift detection. We provide experimental indications that our method is likely to identify that the ML model will likely change in performance, based on changes in the underlying data.
• Abstract（参考訳）: 機械学習(ML)モデルのパフォーマンスのドリフトを検出することは、明らかな課題である。 MLモデルがビジネスアプリケーションの不可欠な部分になるためには、MLモデルが許容可能な操作から逸脱した時に検出することが不可欠である。 しかし、実際のラベルは、例えば、専門家の判断を必要とするため、入手が困難で高価であることが多い。 そのため,ラベルなしでML操作の劣化を検知する手法が必要である。 本研究では,データスライスと呼ばれる特徴空間規則を用いたドリフト検出手法を提案する。 本手法は,基礎となるデータの変化に基づいて,mlモデルが性能変化の可能性が高いことを識別する可能性を示す実験的な指標を提供する。

関連論文リスト

• Time to Retrain? Detecting Concept Drifts in Machine Learning Systems [1.4499463058550683]
  機械学習(ML)モデルにおける概念ドリフトを検出するためのモデル非依存手法(CDSeer)を提案する。 その結果、CDSeerの精度とリコールは最先端と比較して優れており、手作業によるラベリングは極めて少ないことがわかった。 CDSeerのパフォーマンス向上と導入の容易さは、MLシステムをより信頼性の高いものにする上で価値がある。
  論文  参考訳（メタデータ） (2024-10-11T18:47:39Z)
• Loss-Free Machine Unlearning [51.34904967046097]
  我々は、再学習とラベルなしの両方の機械学習アプローチを提案する。 Retraining-freeアプローチは、損失から派生したFisher情報を利用することが多く、利用できないラベル付きデータを必要とする。 本稿では,モデル出力のl2ノルムの勾配に対して,フィッシャー情報行列の対角線を近似感度に置き換えるSelective Synaptic Dampeningアルゴリズムの拡張を提案する。
  論文  参考訳（メタデータ） (2024-02-29T16:15:34Z)
• Mitigating ML Model Decay in Continuous Integration with Data Drift Detection: An Empirical Study [7.394099294390271]
  本研究では,CI環境におけるTCP用MLモデルのリトレーニングポイントを自動的に検出するデータドリフト検出手法の性能について検討する。 我々はHellinger距離を用いて入力データの値と分布の変化を同定し、これらの変化をMLモデルの再学習点として利用した。 Hellinger distance-based methodの実験により,再学習点の検出と関連するコストの低減に効果と効率が示された。
  論文  参考訳（メタデータ） (2023-05-22T05:55:23Z)
• Learn to Unlearn: A Survey on Machine Unlearning [29.077334665555316]
  本稿では,最近の機械学習技術,検証機構,潜在的攻撃について概説する。 新たな課題と今後の研究方向性を強調します。 本稿では、プライバシ、エクイティ、レジリエンスをMLシステムに統合するための貴重なリソースの提供を目的としている。
  論文  参考訳（メタデータ） (2023-05-12T14:28:02Z)
• AI Model Disgorgement: Methods and Choices [127.54319351058167]
  本稿では,現代の機械学習システムに適用可能な分類法を紹介する。 学習モデルにおけるデータ「効果の除去」の意味を,スクラッチからリトレーニングする必要のない方法で検討する。
  論文  参考訳（メタデータ） (2023-04-07T08:50:18Z)
• Particle-Based Score Estimation for State Space Model Learning in Autonomous Driving [62.053071723903834]
  マルチオブジェクト状態推定はロボットアプリケーションの基本的な問題である。 粒子法を用いて最大形パラメータを学習することを検討する。 自動運転車から収集した実データに本手法を適用した。
  論文  参考訳（メタデータ） (2022-12-14T01:21:05Z)
• Machine Unlearning of Features and Labels [72.81914952849334]
  機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。 提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
  論文  参考訳（メタデータ） (2021-08-26T04:42:24Z)
• FreaAI: Automated extraction of data slices to test machine learning models [2.475112368179548]
  本稿では,ML ソリューションが動作しない説明可能なデータスライスを実現する機能モデルの自動抽出の実現可能性を示す。 我々の新しい技術であるIBM FreaAI aka FreaAIは、構造化MLテストデータや他のラベル付きデータからそのようなスライスを抽出する。
  論文  参考訳（メタデータ） (2021-08-12T09:21:16Z)
• Detecting Faults during Automatic Screwdriving: A Dataset and Use Case of Anomaly Detection for Automatic Screwdriving [80.6725125503521]
  障害検出に機械学習(ML)を使用したデータ駆動型アプローチが最近注目されている。 本稿では,自動スクリュー運転時の故障検出にMLモデルを用いた場合について述べる。
  論文  参考訳（メタデータ） (2021-07-05T11:46:00Z)
• Transfer Learning without Knowing: Reprogramming Black-box Machine Learning Models with Scarce Data and Limited Resources [78.72922528736011]
  そこで我々は,ブラックボックス・アタベラル・リプログラミング (BAR) という新しい手法を提案する。 ゼロオーダー最適化とマルチラベルマッピング技術を用いて、BARは入力出力応答のみに基づいてブラックボックスMLモデルをプログラムする。 BARは最先端の手法より優れ、バニラ対逆プログラミング法に匹敵する性能を得る。
  論文  参考訳（メタデータ） (2020-07-17T01:52:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。