論文の概要: When Drift Detectors cry Wolf: False Alarm Rates in continuous ML Monitoring

• arxiv url: http://arxiv.org/abs/2607.17336v1
• Date: Sun, 19 Jul 2026 16:54:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-21 18:48:37.431651
• Title: When Drift Detectors cry Wolf: False Alarm Rates in continuous ML Monitoring
• Title（参考訳）: False Alarm Rates in Continuous ML Monitoring
• Abstract要約: 我々は5つの一般的なドリフト検出器間での偽陽性挙動を実証的に分析した。 PSIはバッチサイズに対して強い感度を示し、小さなサンプルサイズで頻繁に誤報を発生させる。 KS、MDD、LSDDはバッチサイズで永続的な変動を示すが、低データのレシエーションではPSIよりも比較的信頼性が高い。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Drift detection is a core component of production machine learning monitoring systems, where detectors are used to compare incoming data with a reference distribution and trigger alerts when changes occur. However, these detectors are often evaluated in research settings that emphasize detection accuracy under synthetic shifts, while overlooking false alarms under continuous monitoring. In production environments, models are monitored repeatedly over time and across many features, and even small false positive rates can accumulate into frequent alerts, leading to alarm fatigue. We empirically analyze false positive behavior across five commonly used drift detectors: PSI, KS, MMD, LSDD, and adversarial validation. Consistent with existing literature, PSI exhibits strong sensitivity to batch size, producing frequent false alarms at small sample sizes; however, we further observe that its behavior stabilizes and improves substantially once batch sizes exceed approximately 200 samples. In contrast, KS, MMD, and LSDD display persistent fluctuations across batch sizes, while remaining comparatively more reliable than PSI in low-data regimes. Applying a Bonferroni correction reduces false positive rates, but often at the cost of reduced true positive sensitivity, reinforcing the well-known stability - sensitivity trade-off in drift detection. This work provides a systematic comparison of false positive behavior across multiple drift detectors under continuous monitoring conditions. We identify tradeoffs across detector families and provide practical guidelines for selecting and calibrating drift detectors in production ML systems.
• Abstract（参考訳）: ドリフト検出は、本番機械学習監視システムの中核的なコンポーネントであり、検出器を使用して、受信したデータと参照分布を比較し、変更が発生した時に警告をトリガーする。 しかし、これらの検出器は、連続的な監視下で誤報を見落としながら、合成シフトの下で検出精度を強調する研究環境でしばしば評価される。 プロダクション環境では、モデルは時間をかけて、多くの機能にわたって繰り返し監視され、小さな偽陽性率でさえ頻繁なアラートに蓄積され、アラーム疲労につながる。 PSI, KS, MMD, LSDD, 逆検証の5つのドリフト検出器における偽陽性挙動を実験的に解析した。 従来の文献と異なり, PSIはバッチサイズに対して強い感度を示し, 小さなサンプルサイズで頻繁に誤報を発生させるが, さらに, バッチサイズがおよそ200を超えると, その挙動が安定し, ほぼ改善される。 対照的に、KS、MDD、LSDDはバッチサイズで永続的な変動を示すが、低データ方式ではPSIよりも比較的信頼性が高い。 ボンフェロニ補正の適用は偽陽性率を減少させるが、しばしば真の正の感度を低下させ、よく知られた安定性(ドリフト検出における感度トレードオフ)を補強する。 この研究は、連続的な監視条件下での複数のドリフト検出器間の偽陽性挙動の体系的比較を提供する。 我々は,検出ファミリ間のトレードオフを特定し,実運用MLシステムにおけるドリフト検出器の選択と校正のための実用的なガイドラインを提供する。

関連論文リスト

• Digital Twin Degradation: Detecting Cyber Physical Attacks via Temporal Inconsistencies [0.0]
  本稿では,物理的システムと潜在的に劣化するDTビュー間の時間的一貫性をモニタリングする検出フレームワークを提案する。 教師なし密度モデルは正常な一貫性パターンを特徴づけ、シーケンシャルな変化検出機構は攻撃を示す持続的な偏差を識別する。 その結果、時間的不整合パターンは、有界誤報率と検出遅延の低い、信頼性の高い事象レベルの攻撃検出を可能にすることがわかった。
  論文  参考訳（メタデータ） (2026-08-17T06:24:22Z)
• Anomaly Detection for Electro-Hydrostatic Actuators using LSTM Autoencoder [0.3262230127283452]
  本研究では、制御されたテストベンチから収集した温度と圧力データに着目し、EHAセンサ信号のオフライン異常検出フレームワークを提案する。 本手法では, 復元型Long Short-Term Memory(LSTM)オートエンコーダを用いて, 検証セットの復元エラー分布を用いて校正・評価を行う。 LSTMオートエンコーダの平均精度は99.0%、精度は100%、リコールは90.2%から99.6%、F1スコアは93.1%から99.8%に向上し、高い検出感度と非常に低い偽値を示した。
  論文  参考訳（メタデータ） (2026-06-03T17:37:21Z)
• Adversarial-Robust Multivariate Time-Series Anomaly Detection via Joint Information Retention [9.525172018746524]
  時系列異常検出(TSAD)は複雑なシステムを監視する上で重要な要素である。 現代のディープラーニングに基づく検出器は、しばしば局所的な入力の破損や構造的なノイズに敏感である。 本稿では, 原理的 min-max 最適化目標を用いて, 検出ロバスト性を向上する共同トレーニングフレームワーク ARTA を提案する。
  論文  参考訳（メタデータ） (2026-03-26T22:53:03Z)
• GRAD: Real-Time Gated Recurrent Anomaly Detection in Autonomous Vehicle Sensors Using Reinforced EMA and Multi-Stage Sliding Window Techniques [0.0]
  本稿では,自動運転車センサのリアルタイム異常検出手法であるGRADを紹介する。 提案手法は,スムーズな要因に適応するReinforced Exponential moving Average (REMA) と,短期パターンと長期パターンの両方をキャプチャするMulti-Stage Sliding Window (MS-SW) 技術を組み合わせたものである。 GRADはGRUの2つの層からなる軽量なアーキテクチャで、ニューロンの数が限られており、リアルタイムアプリケーションに適している。
  論文  参考訳（メタデータ） (2025-10-27T13:44:15Z)
• Online Reliable Anomaly Detection via Neuromorphic Sensing and Communications [58.796149594878585]
  本稿ではニューロモルフィック無線センサネットワークに基づく低消費電力オンライン異常検出フレームワークを提案する。 検討したシステムでは、中央受信ノードが各時間フレームでニューロモルフィックセンサノード(ニューロSN)のサブセットを積極的にクエリする。 ニューロモルフィックセンサーは事象駆動であり、モニターされたシステムの関連する変化に対応してスパイクを発生させる。
  論文  参考訳（メタデータ） (2025-10-16T13:56:54Z)
• Real-Time Bayesian Detection of Drift-Evasive GNSS Spoofing in Reinforcement Learning Based UAV Deconfliction [6.956559003734227]
  無人無人航空機(UAV)は、正確なリアルタイムの局地化と航法のためにグローバルナビゲーション衛星システム(GNSS)の擬似距離測定に頼っている。 この依存は、敵がUAV受信機を騙す偽りを操る洗練された偽造脅威にそれらを暴露する。 従来の分布シフト検出技術は、しばしばサンプルのしきい値の蓄積を必要とし、迅速な検出とタイムリーな応答を妨げる遅延を引き起こす。 本研究では,UAVナビゲーションにおける微妙な行動偏差を検出するために,強化学習(RL)批判ネットワークから評価値の時間的変化を監視する,ベイズオンライン変化点検出(BOCPD)アプローチについて検討する。
  論文  参考訳（メタデータ） (2025-07-15T10:27:27Z)
• SlowFastVAD: Video Anomaly Detection via Integrating Simple Detector and RAG-Enhanced Vision-Language Model [52.47816604709358]
  ビデオ異常検出(VAD)は、ビデオ内の予期せぬ事象を識別することを目的としており、安全クリティカルドメインに広く応用されている。 視覚言語モデル(VLM)は強力なマルチモーダル推論能力を示し、異常検出の新しい機会を提供している。 SlowFastVADは高速異常検出器と低速異常検出器を統合したハイブリッドフレームワークである。
  論文  参考訳（メタデータ） (2025-04-14T15:30:03Z)
• Tracking the risk of a deployed model and detecting harmful distribution shifts [105.27463615756733]
  実際には、デプロイされたモデルのパフォーマンスが大幅に低下しないという、良心的なシフトを無視することは理にかなっている。 我々は,警告を発射する有効な方法は,(a)良性な警告を無視しながら有害なシフトを検知し,(b)誤報率を増大させることなく,モデル性能の連続的なモニタリングを可能にすることを論じる。
  論文  参考訳（メタデータ） (2021-10-12T17:21:41Z)
• Bayesian Autoencoders for Drift Detection in Industrial Environments [69.93875748095574]
  オートエンコーダは、マルチセンサー環境で異常を検出するために使用される教師なしモデルである。 異常は、実際の環境の変化(実際のドリフト)や、故障した感覚デバイス(仮想ドリフト)から生じる。
  論文  参考訳（メタデータ） (2021-07-28T10:19:58Z)
• Bandit Quickest Changepoint Detection [55.855465482260165]
  すべてのセンサの継続的な監視は、リソースの制約のためにコストがかかる可能性がある。 有限パラメータ化確率分布の一般クラスに対する検出遅延に基づく情報理論の下界を導出する。 本稿では,異なる検知オプションの探索と質問行動の活用をシームレスに両立させる,計算効率のよいオンラインセンシング手法を提案する。
  論文  参考訳（メタデータ） (2021-07-22T07:25:35Z)
• Learn what you can't learn: Regularized Ensembles for Transductive Out-of-distribution Detection [76.39067237772286]
  ニューラルネットワークの現在のアウト・オブ・ディストリビューション(OOD)検出アルゴリズムは,様々なOOD検出シナリオにおいて不満足な結果をもたらすことを示す。 本稿では,テストデータのバッチを観察した後に検出方法を調整することで,このような「ハード」なOODシナリオがいかに有用かを検討する。 本稿では,テストデータと正規化に人工ラベリング手法を用いて,テストバッチ内のOODサンプルに対してのみ矛盾予測を生成するモデルのアンサンブルを求める手法を提案する。
  論文  参考訳（メタデータ） (2020-12-10T16:55:13Z)
• Bidirectional recurrent neural networks for seismic event detection [0.0]
  この研究は、STA/LTAトリガの代替となるイベント検出にディープラーニングアプローチを導入している。 双方向で長時間のメモリであるニューラルネットワークは、合成トレースのみに基づいて訓練されている。 そのリアルタイム適用性は、600のトレースを1つの処理ユニットでリアルタイムに処理することで証明されている。
  論文  参考訳（メタデータ） (2020-12-05T11:41:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。