論文の概要: A Neighbor-Searching Discrepancy-based Drift Detection Scheme for Learning Evolving Data
- arxiv url: http://arxiv.org/abs/2405.14153v1
- Date: Thu, 23 May 2024 04:03:36 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-24 19:05:09.644898
- Title: A Neighbor-Searching Discrepancy-based Drift Detection Scheme for Learning Evolving Data
- Title（参考訳）: 隣り合う離散性に基づく進化データ学習のためのドリフト検出方式
- Authors: Feng Gu, Jie Lu, Zhen Fang, Kun Wang, Guangquan Zhang,
- Abstract要約: 本研究では,Nighbor-Searching Discrepancyに基づく新しい概念ドリフト検出手法を提案する。
提案手法は,仮想ドリフトを無視しながら,実概念ドリフトを高精度に検出することができる。
また、ある階級の侵略や撤退を特定することで、分類境界の変化の方向を示すこともできる。
- 参考スコア（独自算出の注目度）: 40.00357483768265
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Uncertain changes in data streams present challenges for machine learning models to dynamically adapt and uphold performance in real-time. Particularly, classification boundary change, also known as real concept drift, is the major cause of classification performance deterioration. However, accurately detecting real concept drift remains challenging because the theoretical foundations of existing drift detection methods - two-sample distribution tests and monitoring classification error rate, both suffer from inherent limitations such as the inability to distinguish virtual drift (changes not affecting the classification boundary, will introduce unnecessary model maintenance), limited statistical power, or high computational cost. Furthermore, no existing detection method can provide information on the trend of the drift, which could be invaluable for model maintenance. This work presents a novel real concept drift detection method based on Neighbor-Searching Discrepancy, a new statistic that measures the classification boundary difference between two samples. The proposed method is able to detect real concept drift with high accuracy while ignoring virtual drift. It can also indicate the direction of the classification boundary change by identifying the invasion or retreat of a certain class, which is also an indicator of separability change between classes. A comprehensive evaluation of 11 experiments is conducted, including empirical verification of the proposed theory using artificial datasets, and experimental comparisons with commonly used drift handling methods on real-world datasets. The results show that the proposed theory is robust against a range of distributions and dimensions, and the drift detection method outperforms state-of-the-art alternative methods.
- Abstract（参考訳）: データストリームの不確実な変更は、機械学習モデルが動的に適応し、リアルタイムでパフォーマンスを維持する上での課題である。
特に、分類境界の変化は、実概念ドリフトとしても知られ、分類性能劣化の主な原因である。
しかし、既存のドリフト検出手法の理論的基礎である2サンプルの分布試験と分類誤差の監視は、仮想ドリフトを識別できない(分類境界に影響を与えない変更は、不要なモデル保守を導入する)、統計力の制限、高い計算コストといった固有の制限に悩まされているため、正確な概念ドリフトの検出は依然として困難である。
さらに, ドリフトの傾向に関する情報を提供する既存の検出手法は存在せず, モデル維持には有用ではない。
本研究は,2つのサンプルの分類境界差を測定する新しい統計手法であるNighbor-Searching Discrepancyに基づく,新しい概念ドリフト検出手法を提案する。
提案手法は,仮想ドリフトを無視しながら,実概念ドリフトを高精度に検出することができる。
また、クラス間の分離性の変化を示す指標として、あるクラスの侵入や後退を特定することで、分類境界の変化の方向を示すこともできる。
人工データセットを用いた提案理論の実証的検証や,実世界のデータセット上でよく使用されるドリフトハンドリング手法との比較など,11実験の総合的な評価を行った。
その結果,提案理論は分布と次元の範囲に対して頑健であり,ドリフト検出法は最先端の代替手法よりも優れていることがわかった。
関連論文リスト
- Online Drift Detection with Maximum Concept Discrepancy [13.48123472458282]
最大概念差に基づく新しい概念ドリフト検出手法であるMDD-DDを提案する。
本手法は,概念埋め込みのコントラスト学習により,様々な形態のコンセプトドリフトを適応的に同定することができる。
論文 参考訳（メタデータ） (2024-07-07T13:57:50Z) - A comprehensive analysis of concept drift locality in data streams [3.5897534810405403]
概念ドリフトは、進化するデータ特性への効果的なモデル適応のために検出されなければならない。
本稿では,その局所性とスケールに基づいて,概念ドリフトの新たな分類法を提案する。
我々は, 様々な難易度において, 9つの最先端ドリフト検出器の比較評価を行った。
論文 参考訳（メタデータ） (2023-11-10T20:57:43Z) - Variational Classification [51.2541371924591]
我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。
軟質マックス層への入力を潜伏変数のサンプルとして扱うことで, 抽象化された視点から, 潜在的な矛盾が明らかとなった。
我々は、標準ソフトマックス層に見られる暗黙の仮定の代わりに、選択された潜在分布を誘導する。
論文 参考訳（メタデータ） (2023-05-17T17:47:19Z) - CADM: Confusion Model-based Detection Method for Real-drift in Chunk
Data Stream [3.0885191226198785]
コンセプトドリフト検出は、健康モニタリングや故障診断といった現実の多くの応用において重要であることから、かなりの注目を集めている。
本稿では,概念的混乱に基づく限定アノテーションを用いて,チャンクデータストリーム内のリアルタイムドリフトを検出する手法を提案する。
論文 参考訳（メタデータ） (2023-03-25T08:59:27Z) - Benchmarking common uncertainty estimation methods with
histopathological images under domain shift and label noise [62.997667081978825]
リスクの高い環境では、深層学習モデルは不確実性を判断し、誤分類の可能性がかなり高い場合に入力を拒否しなければなりません。
我々は,全スライド画像の分類において,最もよく使われている不確実性と頑健さの厳密な評価を行う。
我々は一般的に,手法のアンサンブルが,ドメインシフトやラベルノイズに対するロバスト性の向上とともに,より良い不確実性評価につながることを観察する。
論文 参考訳（メタデータ） (2023-01-03T11:34:36Z) - Toward Certified Robustness Against Real-World Distribution Shifts [65.66374339500025]
我々は、データから摂動を学ぶために生成モデルを訓練し、学習したモデルの出力に関して仕様を定義する。
この設定から生じるユニークな挑戦は、既存の検証者がシグモイドの活性化を厳密に近似できないことである。
本稿では,古典的な反例誘導的抽象的洗練の概念を活用するシグモイドアクティベーションを扱うための一般的なメタアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-06-08T04:09:13Z) - Training on Test Data with Bayesian Adaptation for Covariate Shift [96.3250517412545]
ディープニューラルネットワークは、信頼できない不確実性推定で不正確な予測を行うことが多い。
分布シフトの下でのラベルなし入力とモデルパラメータとの明確に定義された関係を提供するベイズモデルを導出する。
本手法は精度と不確実性の両方を向上することを示す。
論文 参考訳（メタデータ） (2021-09-27T01:09:08Z) - Task-Sensitive Concept Drift Detector with Metric Learning [7.706795195017394]
提案手法は, 実測時に真のラベルにアクセスすることなくドリフトを検出することのできる, タスク依存型ドリフト検出フレームワークである。
ドリフトが分類性能に影響を与える実際のドリフトを検出し、仮想ドリフトを適切に無視することができる。
本稿では, 検出精度, 偽陽性率, 検出遅延の標準指標を1つの値に蓄積する新しい指標を用いて, 提案手法の性能評価を行う。
論文 参考訳（メタデータ） (2021-08-16T09:10:52Z) - Detecting Concept Drift With Neural Network Model Uncertainty [0.0]
不確実ドリフト検出(UDD)は、真のラベルにアクセスすることなくドリフトを検出することができる。
入力データに基づくドリフト検出とは対照的に,現在の入力データが予測モデルの特性に与える影響を考察する。
UDDは2つの合成および10の実世界のデータセットにおいて、回帰処理と分類処理の両方において、他の最先端戦略よりも優れていることを示す。
論文 参考訳（メタデータ） (2021-07-05T08:56:36Z) - Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。
我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
論文 参考訳（メタデータ） (2020-03-04T12:27:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。