論文の概要: Early Concept Drift Detection via Prediction Uncertainty

• arxiv url: http://arxiv.org/abs/2412.11158v1
• Date: Sun, 15 Dec 2024 11:43:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 13:56:01.906202
• Title: Early Concept Drift Detection via Prediction Uncertainty
• Title（参考訳）: 予測不確かさによる初期概念ドリフト検出
• Authors: Pengqian Lu, Jie Lu, Anjin Liu, Guangquan Zhang,
• Abstract要約: 概念のドリフトは、時間とともにデータ分布が予測不可能な変化を特徴とする。 本稿では,ドリフト検出における誤り率の代替として,予測不確実性指数(PU-index)を導入する。 また,新しいPU-index Bucketingアルゴリズムを用いてドリフトを検出するPU-index-based Drift Detector (PUDD)を提案する。
• 参考スコア（独自算出の注目度）: 31.26020226804872
• License:
• Abstract: Concept drift, characterized by unpredictable changes in data distribution over time, poses significant challenges to machine learning models in streaming data scenarios. Although error rate-based concept drift detectors are widely used, they often fail to identify drift in the early stages when the data distribution changes but error rates remain constant. This paper introduces the Prediction Uncertainty Index (PU-index), derived from the prediction uncertainty of the classifier, as a superior alternative to the error rate for drift detection. Our theoretical analysis demonstrates that: (1) The PU-index can detect drift even when error rates remain stable. (2) Any change in the error rate will lead to a corresponding change in the PU-index. These properties make the PU-index a more sensitive and robust indicator for drift detection compared to existing methods. We also propose a PU-index-based Drift Detector (PUDD) that employs a novel Adaptive PU-index Bucketing algorithm for detecting drift. Empirical evaluations on both synthetic and real-world datasets demonstrate PUDD's efficacy in detecting drift in structured and image data.
• Abstract（参考訳）: データ分散の予測不可能な変化を特徴とするコンセプトドリフトは、ストリーミングデータシナリオにおけるマシンラーニングモデルに重大な課題を提起する。 誤差速度に基づくドリフト検出器は広く用いられているが、データ分布が変化しても誤差速度は一定でありながら、初期の段階でドリフトを識別できないことが多い。 本稿では,ドリフト検出における誤り率の代替として,分類器の予測不確実性から導かれる予測不確実性指数(PU-index)を提案する。 1) PUインデックスは, 誤差速度が安定であってもドリフトを検出することができる。 2) エラー率の任意の変更は、PU-インデックスの対応する変更につながる。 これらの性質により、PU-インデックスは既存の手法と比較してドリフト検出の感度が高く頑健な指標となる。 また,新しいPU-index Bucketingアルゴリズムを用いてドリフトを検出するPU-index-based Drift Detector (PUDD)を提案する。 合成データセットと実世界のデータセットの実証評価は、構造データと画像データのドリフトを検出するPUDDの有効性を示す。

関連論文リスト

• A Neighbor-Searching Discrepancy-based Drift Detection Scheme for Learning Evolving Data [40.00357483768265]
  本研究では,Nighbor-Searching Discrepancyに基づく新しい概念ドリフト検出手法を提案する。 提案手法は,仮想ドリフトを無視しながら,実概念ドリフトを高精度に検出することができる。 また、ある階級の侵略や撤退を特定することで、分類境界の変化の方向を示すこともできる。
  論文  参考訳（メタデータ） (2024-05-23T04:03:36Z)
• Methods for Generating Drift in Text Streams [49.3179290313959]
  コンセプトドリフトは、実世界のデータセットで頻繁に発生する現象であり、時間とともにデータ分布の変化に対応する。 本稿では,ラベル付きドリフトを用いたデータセット作成を容易にするための4つのテキストドリフト生成手法を提案する。 その結果、ドリフトの直後にすべてのメソッドのパフォーマンスが低下し、インクリメンタルなSVMは、以前のパフォーマンスレベルを実行し、回復するのに最も速いことを示している。
  論文  参考訳（メタデータ） (2024-03-18T23:48:33Z)
• Projection Regret: Reducing Background Bias for Novelty Detection via Diffusion Models [72.07462371883501]
  本研究では,非意味情報のバイアスを緩和する効率的な新規性検出手法であるemphProjection Regret(PR)を提案する。 PRは、テスト画像とその拡散ベースの投影の間の知覚距離を計算し、異常を検出する。 拡張実験により、PRは生成モデルに基づく新規性検出手法の先行技術よりも有意なマージンで優れていることが示された。
  論文  参考訳（メタデータ） (2023-12-05T09:44:47Z)
• Unsupervised Domain Adaptation for Self-Driving from Past Traversal Features [69.47588461101925]
  本研究では,新しい運転環境に3次元物体検出器を適応させる手法を提案する。 提案手法は,空間的量子化履歴特徴を用いたLiDARに基づく検出モデルを強化する。 実世界のデータセットの実験では、大幅な改善が示されている。
  論文  参考訳（メタデータ） (2023-09-21T15:00:31Z)
• CADM: Confusion Model-based Detection Method for Real-drift in Chunk Data Stream [3.0885191226198785]
  コンセプトドリフト検出は、健康モニタリングや故障診断といった現実の多くの応用において重要であることから、かなりの注目を集めている。 本稿では,概念的混乱に基づく限定アノテーションを用いて,チャンクデータストリーム内のリアルタイムドリフトを検出する手法を提案する。
  論文  参考訳（メタデータ） (2023-03-25T08:59:27Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Bayesian Autoencoders for Drift Detection in Industrial Environments [69.93875748095574]
  オートエンコーダは、マルチセンサー環境で異常を検出するために使用される教師なしモデルである。 異常は、実際の環境の変化(実際のドリフト)や、故障した感覚デバイス(仮想ドリフト)から生じる。
  論文  参考訳（メタデータ） (2021-07-28T10:19:58Z)
• Detecting Concept Drift With Neural Network Model Uncertainty [0.0]
  不確実ドリフト検出(UDD)は、真のラベルにアクセスすることなくドリフトを検出することができる。 入力データに基づくドリフト検出とは対照的に,現在の入力データが予測モデルの特性に与える影響を考察する。 UDDは2つの合成および10の実世界のデータセットにおいて、回帰処理と分類処理の両方において、他の最先端戦略よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-07-05T08:56:36Z)
• Concept Drift Detection via Equal Intensity k-means Space Partitioning [40.77597229122878]
  等強度k平均空間分割(EI-kMeans)というクラスタベースのヒストグラム 3つのアルゴリズムは、グリーディセントロイドアルゴリズム、クラスタ増幅シンクアルゴリズム、ドリフト検出アルゴリズムを含む、概念ドリフト検出を実装するために開発された。 合成および実世界のデータセットの実験は、EI-kMeansの利点を示し、コンセプトドリフトを検出する効果を示す。
  論文  参考訳（メタデータ） (2020-04-24T08:00:16Z)
• Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
  本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。 我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
  論文  参考訳（メタデータ） (2020-03-04T12:27:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。