論文の概要: Unsupervised Concept Drift Detection from Deep Learning Representations in Real-time

• arxiv url: http://arxiv.org/abs/2406.17813v2
• Date: Thu, 24 Jul 2025 15:10:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-25 15:10:40.429488
• Title: Unsupervised Concept Drift Detection from Deep Learning Representations in Real-time
• Title（参考訳）: リアルタイム深層学習表現からの教師なし概念ドリフト検出
• Authors: Salvatore Greco, Bartolomeo Vacchetti, Daniele Apiletti, Tania Cerquitelli,
• Abstract要約: 概念ドリフトは、基礎となるデータ分布と対象領域の統計的性質が時間とともに変化する現象である。 textscDriftLensはリアルタイムなコンセプトドリフトの検出とキャラクタリゼーションのための教師なしフレームワークである。
• 参考スコア（独自算出の注目度）: 5.999777817331315
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Concept drift is the phenomenon in which the underlying data distributions and statistical properties of a target domain change over time, leading to a degradation in model performance. Consequently, production models require continuous drift detection monitoring. Most drift detection methods to date are supervised, relying on ground-truth labels. However, they are inapplicable in many real-world scenarios, as true labels are often unavailable. Although recent efforts have proposed unsupervised drift detectors, many lack the accuracy required for reliable detection or are too computationally intensive for real-time use in high-dimensional, large-scale production environments. Moreover, they often fail to characterize or explain drift effectively. To address these limitations, we propose \textsc{DriftLens}, an unsupervised framework for real-time concept drift detection and characterization. Designed for deep learning classifiers handling unstructured data, \textsc{DriftLens} leverages distribution distances in deep learning representations to enable efficient and accurate detection. Additionally, it characterizes drift by analyzing and explaining its impact on each label. Our evaluation across classifiers and data-types demonstrates that \textsc{DriftLens} (i) outperforms previous methods in detecting drift in 15/17 use cases; (ii) runs at least 5 times faster; (iii) produces drift curves that align closely with actual drift (correlation $\geq\!0.85$); (iv) effectively identifies representative drift samples as explanations.
• Abstract（参考訳）: 概念ドリフトは、基礎となるデータ分布と対象領域の統計的性質が時間とともに変化し、モデルの性能が低下する現象である。 そのため、生産モデルは連続的なドリフト検出モニタリングを必要とする。 これまでのドリフト検出手法のほとんどは、地上のトラスラベルに依存して監視されている。 しかし、本当のラベルは利用できないことが多いため、現実の多くのシナリオでは適用できない。 近年の研究では、教師なしのドリフト検出器が提案されているが、信頼性の高い検出に必要とされる精度や、高次元の大規模生産環境でのリアルタイム利用には計算に重きを置いていないものが多い。 さらに、しばしばドリフトを効果的に特徴づけたり説明したりするのに失敗する。 これらの制約に対処するために,リアルタイムなドリフト検出と特徴付けのための教師なしフレームワークである‘textsc{DriftLens} を提案する。 非構造化データを扱うディープラーニング分類器のために設計された \textsc{DriftLens} は、ディープラーニング表現における分布距離を活用して、効率的かつ正確な検出を可能にする。 さらに、各ラベルに対する影響を分析し説明することでドリフトを特徴付ける。 分類器とデータ型による評価は、textsc{DriftLens} が示す。 (i)15/17例における漂流の検出における従来の方法よりも優れる。 (二)少なくとも五倍の速さで走ること。 (三)実際のドリフトと密接に一致したドリフト曲線を生成する(相関$\geq\! 0.85ドル)。 (4)代表的な漂流サンプルを説明として効果的に同定する。

関連論文リスト

• Flexible and Efficient Drift Detection without Labels [4.517793609535323]
  概念ドリフトに関する多くの研究は、教師付きタスクの真のラベルが予測された直後に利用可能であると仮定する教師付きケースに焦点を当てている。 ラベルレス環境での古典的統計的プロセス制御を用いたフレキシブルで効率的なドリフト検出アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-06-10T12:31:04Z)
• Adversarial Attacks for Drift Detection [6.234802839923542]
  本研究は、よく用いられるドリフト検出スキームの欠点について研究する。 ドリフト中のデータストリームを検出せずに構築する方法を示す。 特に,一般的な検出手法に対して,可能なすべての逆数を計算する。
  論文  参考訳（メタデータ） (2024-11-25T17:25:00Z)
• A Synthetic Benchmark to Explore Limitations of Localized Drift Detections [13.916984628784766]
  概念ドリフトは、対象変数の統計的性質が時間とともに変化するデータストリームにおいて一般的な現象である。 本稿では,局所的ドリフトの概念を考察し,そのような局所的変化を特定するために,複数のドリフト検出技術の性能を評価する。
  論文  参考訳（メタデータ） (2024-08-26T23:24:31Z)
• SINDER: Repairing the Singular Defects of DINOv2 [61.98878352956125]
  大規模なデータセットでトレーニングされたビジョントランスフォーマーモデルは、抽出したパッチトークンにアーティファクトを表示することが多い。 本稿では,小さなデータセットのみを用いて構造欠陥を補正するスムーズなスムーズな正規化を提案する。
  論文  参考訳（メタデータ） (2024-07-23T20:34:23Z)
• Methods for Generating Drift in Text Streams [49.3179290313959]
  コンセプトドリフトは、実世界のデータセットで頻繁に発生する現象であり、時間とともにデータ分布の変化に対応する。 本稿では,ラベル付きドリフトを用いたデータセット作成を容易にするための4つのテキストドリフト生成手法を提案する。 その結果、ドリフトの直後にすべてのメソッドのパフォーマンスが低下し、インクリメンタルなSVMは、以前のパフォーマンスレベルを実行し、回復するのに最も速いことを示している。
  論文  参考訳（メタデータ） (2024-03-18T23:48:33Z)
• Unsupervised Domain Adaptation for Self-Driving from Past Traversal Features [69.47588461101925]
  本研究では,新しい運転環境に3次元物体検出器を適応させる手法を提案する。 提案手法は,空間的量子化履歴特徴を用いたLiDARに基づく検出モデルを強化する。 実世界のデータセットの実験では、大幅な改善が示されている。
  論文  参考訳（メタデータ） (2023-09-21T15:00:31Z)
• Unsupervised Adaptation from Repeated Traversals for Autonomous Driving [54.59577283226982]
  自動運転車はエンドユーザー環境に一般化し、確実に動作させなければならない。 潜在的な解決策の1つは、エンドユーザの環境から収集されたラベルのないデータを活用することである。 適応過程を監督する信頼性のある信号はターゲット領域に存在しない。 この単純な仮定は、ターゲット領域上の3次元物体検出器の反復的自己学習を可能にする強力な信号を得るのに十分であることを示す。
  論文  参考訳（メタデータ） (2023-03-27T15:07:55Z)
• CADM: Confusion Model-based Detection Method for Real-drift in Chunk Data Stream [3.0885191226198785]
  コンセプトドリフト検出は、健康モニタリングや故障診断といった現実の多くの応用において重要であることから、かなりの注目を集めている。 本稿では,概念的混乱に基づく限定アノテーションを用いて,チャンクデータストリーム内のリアルタイムドリフトを検出する手法を提案する。
  論文  参考訳（メタデータ） (2023-03-25T08:59:27Z)
• Consistent Diffusion Models: Mitigating Sampling Drift by Learning to be Consistent [97.64313409741614]
  本稿では, モデルが生成したデータ上での予測が時間とともに一定であることを示す, 両立性特性を強制することを提案する。 CIFAR-10の条件および非条件生成とAFHQとFFHQのベースライン改良について,本研究の新たな訓練目標が得られた。
  論文  参考訳（メタデータ） (2023-02-17T18:45:04Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Tracking the risk of a deployed model and detecting harmful distribution shifts [105.27463615756733]
  実際には、デプロイされたモデルのパフォーマンスが大幅に低下しないという、良心的なシフトを無視することは理にかなっている。 我々は,警告を発射する有効な方法は,(a)良性な警告を無視しながら有害なシフトを検知し,(b)誤報率を増大させることなく,モデル性能の連続的なモニタリングを可能にすることを論じる。
  論文  参考訳（メタデータ） (2021-10-12T17:21:41Z)
• Task-Sensitive Concept Drift Detector with Metric Learning [7.706795195017394]
  提案手法は, 実測時に真のラベルにアクセスすることなくドリフトを検出することのできる, タスク依存型ドリフト検出フレームワークである。 ドリフトが分類性能に影響を与える実際のドリフトを検出し、仮想ドリフトを適切に無視することができる。 本稿では, 検出精度, 偽陽性率, 検出遅延の標準指標を1つの値に蓄積する新しい指標を用いて, 提案手法の性能評価を行う。
  論文  参考訳（メタデータ） (2021-08-16T09:10:52Z)
• Bayesian Autoencoders for Drift Detection in Industrial Environments [69.93875748095574]
  オートエンコーダは、マルチセンサー環境で異常を検出するために使用される教師なしモデルである。 異常は、実際の環境の変化(実際のドリフト)や、故障した感覚デバイス(仮想ドリフト)から生じる。
  論文  参考訳（メタデータ） (2021-07-28T10:19:58Z)
• Detecting Concept Drift With Neural Network Model Uncertainty [0.0]
  不確実ドリフト検出(UDD)は、真のラベルにアクセスすることなくドリフトを検出することができる。 入力データに基づくドリフト検出とは対照的に,現在の入力データが予測モデルの特性に与える影響を考察する。 UDDは2つの合成および10の実世界のデータセットにおいて、回帰処理と分類処理の両方において、他の最先端戦略よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-07-05T08:56:36Z)
• DriftSurf: A Risk-competitive Learning Algorithm under Concept Drift [12.579800289829963]
  ストリーミングデータから学ぶとき、概念ドリフト(concept drift)とも呼ばれるデータ分散の変化は、以前に学習したモデルが不正確なものになる可能性がある。 本研究では,ドリフト検出をより広範な安定状態/反応性状態プロセスに組み込むことにより,従来のドリフト検出に基づく手法を拡張する適応学習アルゴリズムを提案する。 このアルゴリズムはベースラーナーにおいて汎用的であり、様々な教師付き学習問題に適用できる。
  論文  参考訳（メタデータ） (2020-03-13T23:25:25Z)
• Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
  本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。 我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
  論文  参考訳（メタデータ） (2020-03-04T12:27:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。