論文の概要: A Framework for Evaluating and Benchmarking Concept Drift Detection Methods
- arxiv url: http://arxiv.org/abs/2606.07789v1
- Date: Fri, 05 Jun 2026 19:02:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-09 14:42:05.391994
- Title: A Framework for Evaluating and Benchmarking Concept Drift Detection Methods
- Title（参考訳）: 概念ドリフト検出手法の評価とベンチマークのためのフレームワーク
- Authors: Vitor Cerqueira, Heitor Murilo Gomes, Marco Heyden, Bernhard Pfahringer, Albert Bifet,
- Abstract要約: 筆者らは,4つのドリフトタイプにわたる7つの実世界のデータセット上で,広く使用されているドリフト検出手法を14のベンチマークで評価した。
その結果,現在のドリフト検出手法の長所と短所について考察した。
- 参考スコア（独自算出の注目度）: 18.74827879168727
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Data stream mining is fundamentally challenged by concept drift, where distributional changes can degrade model performance. Despite the proliferation of drift detection methods, progress in the field is hindered by inconsistent evaluation practices: studies rely on oversimplified synthetic data generators, adopt incompatible metrics, and lack transparency in hyperparameter selection, making fair comparisons difficult. We address this gap with a novel benchmarking framework comprising three contributions: (1) a drift simulation method that injects controlled distributional changes into real-world datasets via Monte Carlo trials, enabling supervised evaluation while preserving real-world data complexity; (2) an evaluation protocol for drift detection with timing-aware criteria, including the derivation of new metrics (e.g., F1 detection score, normalized detection time) that are comparable across streams; and (3) we advocate for a leave-one-dataset-out hyperparameter optimization protocol for drift detection methods that promotes configuration robustness across heterogeneous stream dynamics. We benchmark 14 widely used drift detection methods on 7 realworld datasets across 4 drift types (class prior, label swap, feature permutation, feature filtering), each under both abrupt and gradual transitions. Our experimental results provide insights into the strengths and weaknesses of current drift detection approaches while establishing baseline performance metrics for future research in this area. All code and experiments are publicly available.
- Abstract（参考訳）: データストリームマイニングは、分散的な変更によってモデルのパフォーマンスが低下するコンセプトドリフトによって、基本的には課題があります。
ドリフト検出法の普及にもかかわらず、フィールドの進歩は、過剰に単純化された合成データジェネレータに依存する研究、非互換なメトリクスの採用、ハイパーパラメータ選択における透明性の欠如など、一貫性のない評価プラクティスによって妨げられている。
このギャップは,(1)モンテカルロ試行により実世界のデータセットに制御された分布変化を注入し,実世界のデータ複雑性を保ちながら教師付き評価を可能にするドリフトシミュレーション手法,(2)ストリームに匹敵する新しい指標(例えば,F1検出スコア,正規化検出時間)を導出するドリフト検出のための評価プロトコル,(3)ヘテロジニアスなストリームダイナミックス間における構成ロバスト性を促進するドリフト検出手法のためのLeft-one-dataset-outハイパーパラメータ最適化プロトコル,の3つのコントリビューションからなる新しいベンチマークフレームワークによって解決される。
筆者らは,4つのドリフトタイプ(クラス先行,ラベルスワップ,特徴置換,特徴フィルタリング)にわたる7つの実世界のデータセットのドリフト検出手法を,急速および段階的な遷移の下で,14種類のドリフト検出手法をベンチマークした。
実験の結果,現在のドリフト検出手法の長所と短所について考察するとともに,今後の研究のための基準性能指標を構築した。
すべてのコードと実験が公開されている。
関連論文リスト
- Improving Real-Time Concept Drift Detection using a Hybrid Transformer-Autoencoder Framework [0.0]
応用機械学習では、概念ドリフトはモデルの性能を著しく低下させる。
本研究では,複雑な時間力学をモデル化するためのトランスフォーマーとオートエンコーダを組み合わせたハイブリッドフレームワークを提案する。
以上の結果から,トランスフォーメーション・オートエンコーダは,文献で一般的に用いられるオートエンコーダよりも早く,より感度の高いドリフトを検出した。
論文 参考訳（メタデータ） (2025-08-09T19:39:33Z) - Robust Distribution Alignment for Industrial Anomaly Detection under Distribution Shift [51.24522135151649]
異常検出は産業アプリケーションの品質管理において重要な役割を担っている。
既存の方法は、一般化可能なモデルをトレーニングすることで、ドメインシフトに対処しようとする。
提案手法は,最先端の異常検出法や領域適応法と比較して,優れた結果を示す。
論文 参考訳（メタデータ） (2025-03-19T05:25:52Z) - A Neighbor-Searching Discrepancy-based Drift Detection Scheme for Learning Evolving Data [40.00357483768265]
本研究では,Nighbor-Searching Discrepancyに基づく新しい概念ドリフト検出手法を提案する。
提案手法は,仮想ドリフトを無視しながら,実概念ドリフトを高精度に検出することができる。
また、ある階級の侵略や撤退を特定することで、分類境界の変化の方向を示すこともできる。
論文 参考訳（メタデータ） (2024-05-23T04:03:36Z) - Unsupervised Domain Adaptation for Self-Driving from Past Traversal
Features [69.47588461101925]
本研究では,新しい運転環境に3次元物体検出器を適応させる手法を提案する。
提案手法は,空間的量子化履歴特徴を用いたLiDARに基づく検出モデルを強化する。
実世界のデータセットの実験では、大幅な改善が示されている。
論文 参考訳（メタデータ） (2023-09-21T15:00:31Z) - Semi-DETR: Semi-Supervised Object Detection with Detection Transformers [105.45018934087076]
半教師付き物体検出(SSOD)におけるDETRに基づくフレームワークの解析
本報告では,第1次変圧器を用いたエンド・ツー・エンド半教師対象検出器であるSemi-DETRについて述べる。
我々の手法は、最先端の手法をクリアマージンで上回る。
論文 参考訳（メタデータ） (2023-07-16T16:32:14Z) - Towards Motion Forecasting with Real-World Perception Inputs: Are
End-to-End Approaches Competitive? [93.10694819127608]
実世界の知覚入力を用いた予測手法の統一評価パイプラインを提案する。
我々の詳細な調査では、キュレートされたデータから知覚ベースのデータへ移行する際の大きなパフォーマンスギャップが明らかになりました。
論文 参考訳（メタデータ） (2023-06-15T17:03:14Z) - CADM: Confusion Model-based Detection Method for Real-drift in Chunk
Data Stream [3.0885191226198785]
コンセプトドリフト検出は、健康モニタリングや故障診断といった現実の多くの応用において重要であることから、かなりの注目を集めている。
本稿では,概念的混乱に基づく限定アノテーションを用いて,チャンクデータストリーム内のリアルタイムドリフトを検出する手法を提案する。
論文 参考訳（メタデータ） (2023-03-25T08:59:27Z) - Attentive Prototypes for Source-free Unsupervised Domain Adaptive 3D
Object Detection [85.11649974840758]
3Dオブジェクト検出ネットワークは、トレーニングされたデータに対してバイアスを受ける傾向がある。
そこで本研究では,ライダーを用いた3次元物体検出器のソースレス・教師なし領域適応のための単一フレーム手法を提案する。
論文 参考訳（メタデータ） (2021-11-30T18:42:42Z) - Task-Sensitive Concept Drift Detector with Metric Learning [7.706795195017394]
提案手法は, 実測時に真のラベルにアクセスすることなくドリフトを検出することのできる, タスク依存型ドリフト検出フレームワークである。
ドリフトが分類性能に影響を与える実際のドリフトを検出し、仮想ドリフトを適切に無視することができる。
本稿では, 検出精度, 偽陽性率, 検出遅延の標準指標を1つの値に蓄積する新しい指標を用いて, 提案手法の性能評価を行う。
論文 参考訳（メタデータ） (2021-08-16T09:10:52Z) - Concept Drift Detection via Equal Intensity k-means Space Partitioning [40.77597229122878]
等強度k平均空間分割(EI-kMeans)というクラスタベースのヒストグラム
3つのアルゴリズムは、グリーディセントロイドアルゴリズム、クラスタ増幅シンクアルゴリズム、ドリフト検出アルゴリズムを含む、概念ドリフト検出を実装するために開発された。
合成および実世界のデータセットの実験は、EI-kMeansの利点を示し、コンセプトドリフトを検出する効果を示す。
論文 参考訳（メタデータ） (2020-04-24T08:00:16Z) - EHSOD: CAM-Guided End-to-end Hybrid-Supervised Object Detection with
Cascade Refinement [53.69674636044927]
本稿では,エンド・ツー・エンドのハイブリッド型オブジェクト検出システムであるEHSODについて述べる。
完全なアノテートと弱いアノテートの両方で、ワンショットでトレーニングすることができる。
完全なアノテートされたデータの30%しか持たない複数のオブジェクト検出ベンチマークで、同等の結果が得られる。
論文 参考訳（メタデータ） (2020-02-18T08:04:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。