論文の概要: An Empirical Study of Uncertainty Estimation Techniques for Detecting Drift in Data Streams

• arxiv url: http://arxiv.org/abs/2311.13374v1
• Date: Wed, 22 Nov 2023 13:17:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-23 15:04:33.952051
• Title: An Empirical Study of Uncertainty Estimation Techniques for Detecting Drift in Data Streams
• Title（参考訳）: データストリームにおけるドリフト検出のための不確かさ推定手法に関する実証的研究
• Authors: Anton Winter, Nicolas Jourdan, Tristan Wirth, Volker Knauthe, Arjan Kuijper
• Abstract要約: 本研究では,ドリフト検出における誤差率の代用として不確実性値を用いた総合的な実験的検討を行った。 実世界の7つのデータセットにまたがるADWIN検出器を用いた5つの不確実性推定手法について検討した。 その結果、SWAG法はキャリブレーションが優れているが、ドリフト検出の全体的な精度は不確実性推定法の選択によって顕著に影響しないことが明らかとなった。
• 参考スコア（独自算出の注目度）: 4.818865062632567
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In safety-critical domains such as autonomous driving and medical diagnosis, the reliability of machine learning models is crucial. One significant challenge to reliability is concept drift, which can cause model deterioration over time. Traditionally, drift detectors rely on true labels, which are often scarce and costly. This study conducts a comprehensive empirical evaluation of using uncertainty values as substitutes for error rates in detecting drifts, aiming to alleviate the reliance on labeled post-deployment data. We examine five uncertainty estimation methods in conjunction with the ADWIN detector across seven real-world datasets. Our results reveal that while the SWAG method exhibits superior calibration, the overall accuracy in detecting drifts is not notably impacted by the choice of uncertainty estimation method, with even the most basic method demonstrating competitive performance. These findings offer valuable insights into the practical applicability of uncertainty-based drift detection in real-world, safety-critical applications.
• Abstract（参考訳）: 自律運転や診断などの安全クリティカルな領域では、機械学習モデルの信頼性が不可欠である。 信頼性に対する大きな課題のひとつはコンセプトドリフトであり、時間の経過とともにモデルが劣化する可能性がある。 伝統的にドリフト検出器は真のラベルに依存しており、しばしば希少で高価である。 本研究では,ドリフト検出における誤り率の代用として不確実性値を用いた総合的評価を行い,ラベル付き後処理データへの依存を軽減することを目的とした。 実世界の7つのデータセットにわたるADWIN検出器を用いた5つの不確実性推定手法を検討した。 その結果,SWAG法はキャリブレーションが優れているが,ドリフト検出の全体的な精度は不確実性推定法の選択の影響を受けず,最も基本的な手法でさえ競争性能を示すことがわかった。 これらの知見は、現実の安全クリティカルなアプリケーションにおける不確実性に基づくドリフト検出の実用性に関する貴重な知見を提供する。

関連論文リスト

• A Neighbor-Searching Discrepancy-based Drift Detection Scheme for Learning Evolving Data [40.00357483768265]
  本研究では,Nighbor-Searching Discrepancyに基づく新しい概念ドリフト検出手法を提案する。 提案手法は,仮想ドリフトを無視しながら,実概念ドリフトを高精度に検出することができる。 また、ある階級の侵略や撤退を特定することで、分類境界の変化の方向を示すこともできる。
  論文  参考訳（メタデータ） (2024-05-23T04:03:36Z)
• Revisiting Confidence Estimation: Towards Reliable Failure Prediction [53.79160907725975]
  多くの信頼度推定法は誤分類誤りを検出するのに有害である。 本稿では, 最先端の故障予測性能を示す平坦な最小値を求めることにより, 信頼性ギャップを拡大することを提案する。
  論文  参考訳（メタデータ） (2024-03-05T11:44:14Z)
• Conservative Prediction via Data-Driven Confidence Minimization [70.93946578046003]
  機械学習の安全性クリティカルな応用においては、モデルが保守的であることが望ましいことが多い。 本研究では,不確実性データセットに対する信頼性を最小化するデータ駆動信頼性最小化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-08T07:05:36Z)
• Detecting Concept Drift in the Presence of Sparsity -- A Case Study of Automated Change Risk Assessment System [0.8021979227281782]
  文学におけるテクスティットパリシティ(textitsparsity)と呼ばれる欠落値は、多くの実世界のデータセットの共通の特徴である。 本研究では,異なる種類の疎性に対する様々な統計およびMLに基づくデータ計算手法の欠落した値のパターンについて検討する。 次に、異なるメトリクスに基づいて、欠落した値を持つデータセットを与えられた最良のコンセプトドリフト検出器を選択する。
  論文  参考訳（メタデータ） (2022-07-27T04:27:49Z)
• Bayesian autoencoders with uncertainty quantification: Towards trustworthy anomaly detection [78.24964622317634]
  本研究では, ベイズオートエンコーダ (BAEs) の定式化により, 全体の異常不確かさを定量化する。 不確実性の質を評価するために,不確実性の予測を拒否するオプションを追加して,異常を分類する作業を検討する。 本実験は,BAEと総異常不確かさが,ベンチマークデータセットと製造用実データセットのセットに与える影響を実証するものである。
  論文  参考訳（メタデータ） (2022-02-25T12:20:04Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Detecting Concept Drift With Neural Network Model Uncertainty [0.0]
  不確実ドリフト検出(UDD)は、真のラベルにアクセスすることなくドリフトを検出することができる。 入力データに基づくドリフト検出とは対照的に,現在の入力データが予測モデルの特性に与える影響を考察する。 UDDは2つの合成および10の実世界のデータセットにおいて、回帰処理と分類処理の両方において、他の最先端戦略よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-07-05T08:56:36Z)
• Towards Reducing Labeling Cost in Deep Object Detection [61.010693873330446]
  本稿では,検知器の不確実性と頑健性の両方を考慮した,アクティブラーニングのための統一的なフレームワークを提案する。 提案手法は, 確率分布のドリフトを抑えながら, 極めて確実な予測を擬似ラベル化することができる。
  論文  参考訳（メタデータ） (2021-06-22T16:53:09Z)
• Know Your Limits: Uncertainty Estimation with ReLU Classifiers Fails at Reliable OOD Detection [0.0]
  本稿では, 実験結果について理論的に説明し, 合成データから考察する。 このような技術は、分類設定でOODサンプルを確実に識別できないことを証明します。
  論文  参考訳（メタデータ） (2020-12-09T21:35:55Z)
• Out-of-Distribution Detection for Automotive Perception [58.34808836642603]
  ニューラルネットワーク(NN)は、自律運転におけるオブジェクト分類に広く使われている。 NNは、アウト・オブ・ディストリビューション(OOD)データとして知られるトレーニングデータセットで適切に表現されていない入力データでフェールすることができる。 本稿では,OODデータを必要としない入力がOODであるか否かを判定し,推論の計算コストを増大させる方法を提案する。
  論文  参考訳（メタデータ） (2020-11-03T01:46:35Z)
• Deep Learning based Uncertainty Decomposition for Real-time Control [9.067368638784355]
  本稿では,ディープラーニングを用いたトレーニングデータの欠如を検出する新しい手法を提案する。 合成および実世界のデータセットに対する既存のアプローチに対する利点を示す。 さらに、シミュレーションされたクアッドコプターにオンラインデータ効率制御を展開させる上で、この不確実性推定の実用性を実証する。
  論文  参考訳（メタデータ） (2020-10-06T10:46:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。