論文の概要: Improving Real-Time Concept Drift Detection using a Hybrid Transformer-Autoencoder Framework
- arxiv url: http://arxiv.org/abs/2508.07085v1
- Date: Sat, 09 Aug 2025 19:39:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-12 21:23:28.690972
- Title: Improving Real-Time Concept Drift Detection using a Hybrid Transformer-Autoencoder Framework
- Title（参考訳）: ハイブリッドトランス-オートエンコーダフレームワークによるリアルタイムコンセプトドリフト検出の改善
- Authors: N Harshit, K Mounvik,
- Abstract要約: 応用機械学習では、概念ドリフトはモデルの性能を著しく低下させる。
本研究では,複雑な時間力学をモデル化するためのトランスフォーマーとオートエンコーダを組み合わせたハイブリッドフレームワークを提案する。
以上の結果から,トランスフォーメーション・オートエンコーダは,文献で一般的に用いられるオートエンコーダよりも早く,より感度の高いドリフトを検出した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In applied machine learning, concept drift, which is either gradual or abrupt changes in data distribution, can significantly reduce model performance. Typical detection methods,such as statistical tests or reconstruction-based models,are generally reactive and not very sensitive to early detection. Our study proposes a hybrid framework consisting of Transformers and Autoencoders to model complex temporal dynamics and provide online drift detection. We create a distinct Trust Score methodology, which includes signals on (1) statistical and reconstruction-based drift metrics, more specifically, PSI, JSD, Transformer-AE error, (2) prediction uncertainty, (3) rules violations, and (4) trend of classifier error aligned with the combined metrics defined by the Trust Score. Using a time sequenced airline passenger data set with synthetic drift, our proposed model allows for a better detection of drift using as a whole and at different detection thresholds for both sensitivity and interpretability compared to baseline methods and provides a strong pipeline for drift detection in real time for applied machine learning. We evaluated performance using a time-sequenced airline passenger dataset having the gradually injected stimulus of drift in expectations,e.g. permuted ticket prices in later batches, broken into 10 time segments [1].In the data, our results support that the Transformation-Autoencoder detected drift earlier and with more sensitivity than the autoencoders commonly used in the literature, and provided improved modeling over more error rates and logical violations. Therefore, a robust framework was developed to reliably monitor concept drift.
- Abstract（参考訳）: 応用機械学習では、データ分布の漸進的あるいは急激的な変化である概念ドリフトは、モデルの性能を著しく低下させる。
統計検査や再構成に基づくモデルのような典型的な検出方法は、一般的には反応性があり、早期検出にはあまり敏感ではない。
本研究では,トランスフォーマーとオートエンコーダを組み合わせたハイブリッドフレームワークを提案し,複雑な時間的ダイナミクスをモデル化し,オンラインドリフト検出を実現する。
我々は,(1)統計的および再構成に基づくドリフト指標,具体的にはPSI, JSD, Transformer-AEエラー,(2)予測の不確実性,(3)ルール違反,(4)トラストスコアが定義する組み合わせメトリクスと整合した分類器エラーの傾向などの信号を含むTrust Score方法論を作成した。
提案モデルでは, 合成ドリフトを用いた時系列航空旅客データを用いて, ベースライン法と比較して, 感度と解釈可能性の両面において, ドリフト全体の検出精度を向上し, 機械学習のリアルタイムなドリフト検出のための強力なパイプラインを提供する。
本研究は, 航空利用者の時系列データを用いて, 徐々に期待のドリフトの刺激, 例えば後続のバッチにおけるチケット価格の変動を10時間セグメントに分割して評価した。
データでは,変換オートエンコーダが文献で一般的に使用されているオートエンコーダよりも早く,より感度の高いドリフトを検出し,より多くのエラー率と論理的違反に対するモデリングの改善を実現した。
そのため、コンセプトドリフトを確実に監視する堅牢なフレームワークが開発された。
関連論文リスト
- Flexible and Efficient Drift Detection without Labels [4.517793609535323]
概念ドリフトに関する多くの研究は、教師付きタスクの真のラベルが予測された直後に利用可能であると仮定する教師付きケースに焦点を当てている。
ラベルレス環境での古典的統計的プロセス制御を用いたフレキシブルで効率的なドリフト検出アルゴリズムを提案する。
論文 参考訳（メタデータ） (2025-06-10T12:31:04Z) - Unsupervised Concept Drift Detection from Deep Learning Representations in Real-time [5.999777817331315]
概念ドリフトは、基礎となるデータ分布と対象領域の統計的性質が時間とともに変化する現象である。
textscDriftLensはリアルタイムなコンセプトドリフトの検出とキャラクタリゼーションのための教師なしフレームワークである。
論文 参考訳（メタデータ） (2024-06-24T23:41:46Z) - Unsupervised Domain Adaptation for Self-Driving from Past Traversal
Features [69.47588461101925]
本研究では,新しい運転環境に3次元物体検出器を適応させる手法を提案する。
提案手法は,空間的量子化履歴特徴を用いたLiDARに基づく検出モデルを強化する。
実世界のデータセットの実験では、大幅な改善が示されている。
論文 参考訳（メタデータ） (2023-09-21T15:00:31Z) - Uncovering Drift in Textual Data: An Unsupervised Method for Detecting
and Mitigating Drift in Machine Learning Models [9.035254826664273]
機械学習におけるドリフト(drift)とは、モデルが動作しているデータやコンテキストの統計的性質が時間とともに変化し、性能が低下する現象を指す。
提案手法では, 目標分布として生産データのサンプルを符号化し, モデルトレーニングデータを基準分布として符号化する。
また,ドリフトの根本原因である生産データのサブセットも同定する。
これらの高ドリフトサンプルを用いて再トレーニングしたモデルでは、オンライン顧客エクスペリエンスの品質指標のパフォーマンスが改善された。
論文 参考訳（メタデータ） (2023-09-07T16:45:42Z) - CADM: Confusion Model-based Detection Method for Real-drift in Chunk
Data Stream [3.0885191226198785]
コンセプトドリフト検出は、健康モニタリングや故障診断といった現実の多くの応用において重要であることから、かなりの注目を集めている。
本稿では,概念的混乱に基づく限定アノテーションを用いて,チャンクデータストリーム内のリアルタイムドリフトを検出する手法を提案する。
論文 参考訳（メタデータ） (2023-03-25T08:59:27Z) - Correlating sparse sensing for large-scale traffic speed estimation: A
Laplacian-enhanced low-rank tensor kriging approach [76.45949280328838]
本稿では,Laplacian enhanced Low-rank tensor (LETC) フレームワークを提案する。
次に,提案したモデルをネットワークワイド・クリグにスケールアップするために,複数の有効な数値手法を用いて効率的な解アルゴリズムを設計する。
論文 参考訳（メタデータ） (2022-10-21T07:25:57Z) - A Robust and Explainable Data-Driven Anomaly Detection Approach For
Power Electronics [56.86150790999639]
本稿では,2つの異常検出・分類手法,すなわち行列プロファイルアルゴリズムと異常変換器を提案する。
行列プロファイルアルゴリズムは、ストリーミング時系列データにおけるリアルタイム異常を検出するための一般化可能なアプローチとして適している。
検知器の感度、リコール、検出精度を調整するために、一連のカスタムフィルタが作成され、追加される。
論文 参考訳（メタデータ） (2022-09-23T06:09:35Z) - Self-Supervised Training with Autoencoders for Visual Anomaly Detection [61.62861063776813]
我々は, 正規サンプルの分布を低次元多様体で支持する異常検出において, 特定のユースケースに焦点を当てた。
我々は、訓練中に識別情報を活用する自己指導型学習体制に適応するが、通常の例のサブ多様体に焦点をあてる。
製造領域における視覚異常検出のための挑戦的なベンチマークであるMVTec ADデータセットで、最先端の新たな結果を達成する。
論文 参考訳（メタデータ） (2022-06-23T14:16:30Z) - Bayesian Autoencoders for Drift Detection in Industrial Environments [69.93875748095574]
オートエンコーダは、マルチセンサー環境で異常を検出するために使用される教師なしモデルである。
異常は、実際の環境の変化(実際のドリフト)や、故障した感覚デバイス(仮想ドリフト)から生じる。
論文 参考訳（メタデータ） (2021-07-28T10:19:58Z) - Detecting Concept Drift With Neural Network Model Uncertainty [0.0]
不確実ドリフト検出(UDD)は、真のラベルにアクセスすることなくドリフトを検出することができる。
入力データに基づくドリフト検出とは対照的に,現在の入力データが予測モデルの特性に与える影響を考察する。
UDDは2つの合成および10の実世界のデータセットにおいて、回帰処理と分類処理の両方において、他の最先端戦略よりも優れていることを示す。
論文 参考訳（メタデータ） (2021-07-05T08:56:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。