論文の概要: Are Concept Drift Detectors Reliable Alarming Systems? -- A Comparative Study

• arxiv url: http://arxiv.org/abs/2211.13098v1
• Date: Wed, 23 Nov 2022 16:31:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-24 14:11:23.215767
• Title: Are Concept Drift Detectors Reliable Alarming Systems? -- A Comparative Study
• Title（参考訳）: コンセプトドリフト検出器は信頼性アラームシステムか? ─比較研究
• Authors: Lorena Poenaru-Olaru, Luis Cruz, Arie van Deursen, Jan S. Rellermeyer
• Abstract要約: コンセプトドリフト(concept drift)またはコンセプトドリフト(concept drift)は、機械学習モデルのパフォーマンスに影響を与える。 本研究では, ドリフト検出装置の信頼性を評価し, 時間内ドリフトの同定を行う。 本研究の目的は,ドリフト検出器がどの状況で使用されるべきかを,実践者が理解できるようにすることである。
• 参考スコア（独自算出の注目度）: 6.7961908135481615
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As machine learning models increasingly replace traditional business logic in the production system, their lifecycle management is becoming a significant concern. Once deployed into production, the machine learning models are constantly evaluated on new streaming data. Given the continuous data flow, shifting data, also known as concept drift, is ubiquitous in such settings. Concept drift usually impacts the performance of machine learning models, thus, identifying the moment when concept drift occurs is required. Concept drift is identified through concept drift detectors. In this work, we assess the reliability of concept drift detectors to identify drift in time by exploring how late are they reporting drifts and how many false alarms are they signaling. We compare the performance of the most popular drift detectors belonging to two different concept drift detector groups, error rate-based detectors and data distribution-based detectors. We assess their performance on both synthetic and real-world data. In the case of synthetic data, we investigate the performance of detectors to identify two types of concept drift, abrupt and gradual. Our findings aim to help practitioners understand which drift detector should be employed in different situations and, to achieve this, we share a list of the most important observations made throughout this study, which can serve as guidelines for practical usage. Furthermore, based on our empirical results, we analyze the suitability of each concept drift detection group to be used as alarming system.
• Abstract（参考訳）: 機械学習モデルがプロダクションシステムにおける従来のビジネスロジックを置き換えるにつれ、彼らのライフサイクル管理は重要な関心事になりつつある。 運用環境にデプロイされると、機械学習モデルは、新しいストリーミングデータに対して常に評価される。 連続的なデータフローを考えると、コンセプトドリフト(concept drift)としても知られるシフトデータは、そのような設定ではユビキタスである。 コンセプトドリフトは通常、機械学習モデルのパフォーマンスに影響を与えるため、概念ドリフトが発生する瞬間を特定する必要がある。 概念ドリフトは概念ドリフト検出器によって識別される。 本研究では, ドリフト検知器の信頼性を検証し, ドリフトがいつまで遅れているか, 誤報が何回鳴らされているかを調べる。 2つの異なる概念ドリフト検出器群に属する最も人気のあるドリフト検出器(誤差率に基づく検出器とデータ分布に基づく検出器)の性能を比較する。 合成データと実世界データの両方でその性能を評価する。 合成データの場合,2種類のコンセプトドリフト,突発的および漸進的なドリフトを検知する検出器の性能について検討する。 本研究は,ドリフト検出器をどのような状況で使用するべきかを実践者が理解することを目的としており,本研究を通じて最も重要な観測結果のリストを公開し,実際的利用のガイドラインとして提供する。 さらに,実験結果に基づき,警報システムとして使用する概念ドリフト検出グループの適合性について検討した。

関連論文リスト

• Adversarial Attacks for Drift Detection [6.234802839923542]
  本研究は、よく用いられるドリフト検出スキームの欠点について研究する。 ドリフト中のデータストリームを検出せずに構築する方法を示す。 特に,一般的な検出手法に対して,可能なすべての逆数を計算する。
  論文  参考訳（メタデータ） (2024-11-25T17:25:00Z)
• Learning 3D Perception from Others' Predictions [64.09115694891679]
  本研究では,3次元物体検出装置を構築するための新たなシナリオについて検討する。 例えば、自動運転車が新しいエリアに入ると、その領域に最適化された検出器を持つ他の交通参加者から学ぶことができる。
  論文  参考訳（メタデータ） (2024-10-03T16:31:28Z)
• Unsupervised Concept Drift Detection from Deep Learning Representations in Real-time [5.999777817331315]
  コンセプト・ドリフト(英: Concept Drift)は、対象領域の基本的なデータ分布と統計的性質が時間とともに変化する現象である。 我々は、教師なしリアルタイム概念ドリフト検出フレームワークDriftLensを提案する。 深層学習表現の分布距離を利用して非構造化データに作用する。
  論文  参考訳（メタデータ） (2024-06-24T23:41:46Z)
• Methods for Generating Drift in Text Streams [49.3179290313959]
  コンセプトドリフトは、実世界のデータセットで頻繁に発生する現象であり、時間とともにデータ分布の変化に対応する。 本稿では,ラベル付きドリフトを用いたデータセット作成を容易にするための4つのテキストドリフト生成手法を提案する。 その結果、ドリフトの直後にすべてのメソッドのパフォーマンスが低下し、インクリメンタルなSVMは、以前のパフォーマンスレベルを実行し、回復するのに最も速いことを示している。
  論文  参考訳（メタデータ） (2024-03-18T23:48:33Z)
• A comprehensive analysis of concept drift locality in data streams [3.5897534810405403]
  概念ドリフトは、進化するデータ特性への効果的なモデル適応のために検出されなければならない。 本稿では,その局所性とスケールに基づいて,概念ドリフトの新たな分類法を提案する。 我々は, 様々な難易度において, 9つの最先端ドリフト検出器の比較評価を行った。
  論文  参考訳（メタデータ） (2023-11-10T20:57:43Z)
• Unsupervised Domain Adaptation for Self-Driving from Past Traversal Features [69.47588461101925]
  本研究では,新しい運転環境に3次元物体検出器を適応させる手法を提案する。 提案手法は,空間的量子化履歴特徴を用いたLiDARに基づく検出モデルを強化する。 実世界のデータセットの実験では、大幅な改善が示されている。
  論文  参考訳（メタデータ） (2023-09-21T15:00:31Z)
• Bayesian Autoencoders for Drift Detection in Industrial Environments [69.93875748095574]
  オートエンコーダは、マルチセンサー環境で異常を検出するために使用される教師なしモデルである。 異常は、実際の環境の変化(実際のドリフト)や、故障した感覚デバイス(仮想ドリフト)から生じる。
  論文  参考訳（メタデータ） (2021-07-28T10:19:58Z)
• Detecting Concept Drift With Neural Network Model Uncertainty [0.0]
  不確実ドリフト検出(UDD)は、真のラベルにアクセスすることなくドリフトを検出することができる。 入力データに基づくドリフト検出とは対照的に,現在の入力データが予測モデルの特性に与える影響を考察する。 UDDは2つの合成および10の実世界のデータセットにおいて、回帰処理と分類処理の両方において、他の最先端戦略よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-07-05T08:56:36Z)
• A Novel Anomaly Detection Algorithm for Hybrid Production Systems based on Deep Learning and Timed Automata [73.38551379469533]
  DAD:DeepAnomalyDetectionは,ハイブリッド生産システムにおける自動モデル学習と異常検出のための新しいアプローチである。 深層学習とタイムドオートマトンを組み合わせて、観察から行動モデルを作成する。 このアルゴリズムは実システムからの2つのデータを含む少数のデータセットに適用され、有望な結果を示している。
  論文  参考訳（メタデータ） (2020-10-29T08:27:43Z)
• Adversarial Concept Drift Detection under Poisoning Attacks for Robust Data Stream Mining [15.49323098362628]
  本稿では,敵対的攻撃と毒殺攻撃の存在下でのロバストな概念ドリフト検出のための枠組みを提案する。 本稿では,2種類の逆流の概念と,頑健な訓練可能なドリフト検出器の分類について紹介する。 また,ロバストネスの相対損失 (Relative Loss of Robustness) についても紹介する。
  論文  参考訳（メタデータ） (2020-09-20T18:46:31Z)
• Generalizable Pedestrian Detection: The Elephant In The Room [82.37430109152383]
  既存の最先端の歩行者検出器は、同じデータセット上でトレーニングやテストを行う際には、非常によく機能するが、データセット間の評価では、十分に一般化されていない。 ウェブをクロールすることで収集される多様で高密度なデータセットは、歩行者検出のための事前学習の効率的な情報源であることを示す。
  論文  参考訳（メタデータ） (2020-03-19T14:14:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。