論文の概要: Detection of data drift and outliers affecting machine learning model performance over time

• arxiv url: http://arxiv.org/abs/2012.09258v2
• Date: Wed, 20 Jan 2021 09:31:46 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-03 06:41:19.596643
• Title: Detection of data drift and outliers affecting machine learning model performance over time
• Title（参考訳）: 機械学習モデルの性能に影響を及ぼすデータドリフトおよび異常値の検出
• Authors: Samuel Ackerman, Eitan Farchi, Orna Raz, Marcel Zalmanovici, Parijat Dube
• Abstract要約: ドリフトはトレーニングとデプロイメントデータ間の分散変更である。 これらの変更を検出したいのですが、デプロイメントデータラベルなしでは正確さを計測できません。 代わりに、変更に対するモデル予測の信頼性の分布を非パラメトリックにテストすることで間接的にドリフトを検出する。
• 参考スコア（独自算出の注目度）: 5.319802998033767
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A trained ML model is deployed on another `test' dataset where target feature values (labels) are unknown. Drift is distribution change between the training and deployment data, which is concerning if model performance changes. For a cat/dog image classifier, for instance, drift during deployment could be rabbit images (new class) or cat/dog images with changed characteristics (change in distribution). We wish to detect these changes but can't measure accuracy without deployment data labels. We instead detect drift indirectly by nonparametrically testing the distribution of model prediction confidence for changes. This generalizes our method and sidesteps domain-specific feature representation. We address important statistical issues, particularly Type-1 error control in sequential testing, using Change Point Models (CPMs; see Adams and Ross 2012). We also use nonparametric outlier methods to show the user suspicious observations for model diagnosis, since the before/after change confidence distributions overlap significantly. In experiments to demonstrate robustness, we train on a subset of MNIST digit classes, then insert drift (e.g., unseen digit class) in deployment data in various settings (gradual/sudden changes in the drift proportion). A novel loss function is introduced to compare the performance (detection delay, Type-1 and 2 errors) of a drift detector under different levels of drift class contamination.
• Abstract（参考訳）: トレーニングされたMLモデルは、ターゲットの特徴値(ラベル)が不明な別の‘test’データセットにデプロイされる。 ドリフトはトレーニングとデプロイメントデータ間の分散変更であり、モデルのパフォーマンスが変更されるかどうかに関するものだ。 例えば、キャット/ドッグ画像分類器では、展開中のドリフトはウサギ画像(新しいクラス)や、特性が変化したキャット/ドッグ画像(分布の変化)である。 これらの変更を検出したいのですが、デプロイメントデータラベルなしでは正確さを計測できません。 その代わりに、モデル予測信頼度分布を非パラメトリックに検証することで、間接的にドリフトを検出する。 これはメソッドを一般化し、ドメイン固有の特徴表現をサイドステップします。 本稿では,CPM(Change Point Models)を用いた逐次テストにおける重要な統計問題,特にType-1エラー制御について述べる。 また,モデル診断には非パラメトリック・アウトリアー法を用いて不審な観察を行い,その前後の信頼度分布が著しく重なることを示した。 堅牢性を示す実験では、MNIST桁クラスのサブセットでトレーニングを行い、様々な設定(ドリフト比の漸進的/密着的な変化)の配置データにドリフト(例えば、未確認桁クラス)を挿入する。 ドリフトクラスの汚染レベルが異なるドリフト検出器の性能(検出遅延,タイプ1および2エラー)を比較するために,新しい損失関数を導入した。

関連論文リスト

• CADM: Confusion Model-based Detection Method for Real-drift in Chunk Data Stream [3.0885191226198785]
  コンセプトドリフト検出は、健康モニタリングや故障診断といった現実の多くの応用において重要であることから、かなりの注目を集めている。 本稿では,概念的混乱に基づく限定アノテーションを用いて,チャンクデータストリーム内のリアルタイムドリフトを検出する手法を提案する。
  論文  参考訳（メタデータ） (2023-03-25T08:59:27Z)
• Back to the Source: Diffusion-Driven Test-Time Adaptation [77.4229736436935]
  テスト時間適応はテスト入力を利用し、シフトしたターゲットデータ上でテストした場合、ソースデータに基づいてトレーニングされたモデルの精度を向上させる。 代わりに、生成拡散モデルを用いて、すべてのテスト入力をソース領域に向けて投影することで、ターゲットデータを更新する。
  論文  参考訳（メタデータ） (2022-07-07T17:14:10Z)
• Deep learning model solves change point detection for multiple change types [69.77452691994712]
  変更点検出は、データ分散の急激な障害をキャッチすることを目的としている。 本稿では,マルチディストリビューションシナリオにおけるアプローチを提案する。
  論文  参考訳（メタデータ） (2022-04-15T09:44:21Z)
• On-the-Fly Test-time Adaptation for Medical Image Segmentation [63.476899335138164]
  ソースモデルをテスト時にターゲットデータに適応させることは、データシフト問題に対する効率的な解決策である。 本稿では、各畳み込みブロックに適応バッチ正規化層を設けるAdaptive UNetという新しいフレームワークを提案する。 テスト期間中、モデルは新しいテストイメージのみを取り込み、ドメインコードを生成して、テストデータに従ってソースモデルの特徴を適応させる。
  論文  参考訳（メタデータ） (2022-03-10T18:51:29Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Automatically detecting data drift in machine learning classifiers [2.202253618096515]
  機械学習のパフォーマンスデータドリフト」や「ドリフト」に影響を及ぼす変化を言う。 提案するラベルの分類と信頼性のみに基づくアプローチを提案し,データ分散やデータドリフトの原因となる可能性のある特徴空間の変更を警告する。
  論文  参考訳（メタデータ） (2021-11-10T12:34:14Z)
• Training on Test Data with Bayesian Adaptation for Covariate Shift [96.3250517412545]
  ディープニューラルネットワークは、信頼できない不確実性推定で不正確な予測を行うことが多い。 分布シフトの下でのラベルなし入力とモデルパラメータとの明確に定義された関係を提供するベイズモデルを導出する。 本手法は精度と不確実性の両方を向上することを示す。
  論文  参考訳（メタデータ） (2021-09-27T01:09:08Z)
• Task-Sensitive Concept Drift Detector with Metric Learning [7.706795195017394]
  提案手法は, 実測時に真のラベルにアクセスすることなくドリフトを検出することのできる, タスク依存型ドリフト検出フレームワークである。 ドリフトが分類性能に影響を与える実際のドリフトを検出し、仮想ドリフトを適切に無視することができる。 本稿では, 検出精度, 偽陽性率, 検出遅延の標準指標を1つの値に蓄積する新しい指標を用いて, 提案手法の性能評価を行う。
  論文  参考訳（メタデータ） (2021-08-16T09:10:52Z)
• Unsupervised Model Drift Estimation with Batch Normalization Statistics for Dataset Shift Detection and Model Selection [0.0]
  本研究では,未ラベル試験データに基づくバッチ正規化層の統計量を利用したモデルドリフト推定手法を提案する。 本手法は,モデル動物園内に複数の候補モデルが存在する場合のモデル選択だけでなく,教師なしの方法でのトレーニングトラジェクトリにおいても有効であることを示す。
  論文  参考訳（メタデータ） (2021-07-01T03:04:47Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。