論文の概要: Unsupervised Concept Drift Detection from Deep Learning Representations in Real-time

• arxiv url: http://arxiv.org/abs/2406.17813v1
• Date: Mon, 24 Jun 2024 23:41:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-27 17:46:26.678950
• Title: Unsupervised Concept Drift Detection from Deep Learning Representations in Real-time
• Title（参考訳）: リアルタイム深層学習表現からの教師なし概念ドリフト検出
• Authors: Salvatore Greco, Bartolomeo Vacchetti, Daniele Apiletti, Tania Cerquitelli,
• Abstract要約: コンセプト・ドリフト(英: Concept Drift)は、対象領域の基本的なデータ分布と統計的性質が時間とともに変化する現象である。 我々は、教師なしリアルタイム概念ドリフト検出フレームワークDriftLensを提案する。 深層学習表現の分布距離を利用して非構造化データに作用する。
• 参考スコア（独自算出の注目度）: 5.999777817331315
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Concept Drift is a phenomenon in which the underlying data distribution and statistical properties of a target domain change over time, leading to a degradation of the model's performance. Consequently, models deployed in production require continuous monitoring through drift detection techniques. Most drift detection methods to date are supervised, i.e., based on ground-truth labels. However, true labels are usually not available in many real-world scenarios. Although recent efforts have been made to develop unsupervised methods, they often lack the required accuracy, have a complexity that makes real-time implementation in production environments difficult, or are unable to effectively characterize drift. To address these challenges, we propose DriftLens, an unsupervised real-time concept drift detection framework. It works on unstructured data by exploiting the distribution distances of deep learning representations. DriftLens can also provide drift characterization by analyzing each label separately. A comprehensive experimental evaluation is presented with multiple deep learning classifiers for text, image, and speech. Results show that (i) DriftLens performs better than previous methods in detecting drift in $11/13$ use cases; (ii) it runs at least 5 times faster; (iii) its detected drift value is very coherent with the amount of drift (correlation $\geq 0.85$); (iv) it is robust to parameter changes.
• Abstract（参考訳）: コンセプト・ドリフト(Concept Drift)は、対象領域の基本的なデータ分布と統計的性質が時間とともに変化し、モデルの性能が低下する現象である。 そのため、本番環境に配備されるモデルには、ドリフト検出技術による継続的な監視が必要である。 それまでのドリフト検出手法のほとんどは、例えば、地上構造ラベルに基づいて監督されている。 しかし、真のラベルは多くの現実世界のシナリオでは利用できない。 近年,教師なし手法の開発が試みられているが,要求される精度の欠如や,実運用環境におけるリアルタイム実装の困難化,あるいはドリフトを効果的に特徴付けることができない複雑さが指摘されている。 これらの課題に対処するために、教師なしリアルタイム概念ドリフト検出フレームワークDriftLensを提案する。 深層学習表現の分布距離を利用して非構造化データに作用する。 DriftLensは、各ラベルを別々に分析することで、ドリフト特性を提供することもできる。 テキスト,画像,音声の深層学習分類器を用いた総合的な実験評価を行った。 その結果は (i)DriftLensは、11/13ドルのユースケースでのドリフトの検出において、従来の方法よりも優れています。 (二)少なくとも五倍の速さで走ること。 (iii)検出ドリフト値はドリフト量と非常に一致している(相関$\geq 0.85$)。 (iv)パラメータの変更に対して堅牢である。

関連論文リスト

• Drift Detection: Introducing Gaussian Split Detector [1.9430846345184412]
  本稿では,バッチモードで動作する新しいドリフト検出器であるGaussian Split Detector (GSD)を紹介する。 GSDは、データが正規分布に従うときに機能し、決定境界の変化を監視するためにガウス混合モデルを使用するように設計されている。 我々の検出器は、実際のドリフトの検出や、誤報を避けるための鍵となる仮想ドリフトの無視において、技術の現状よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-05-14T14:15:31Z)
• Methods for Generating Drift in Text Streams [49.3179290313959]
  コンセプトドリフトは、実世界のデータセットで頻繁に発生する現象であり、時間とともにデータ分布の変化に対応する。 本稿では,ラベル付きドリフトを用いたデータセット作成を容易にするための4つのテキストドリフト生成手法を提案する。 その結果、ドリフトの直後にすべてのメソッドのパフォーマンスが低下し、インクリメンタルなSVMは、以前のパフォーマンスレベルを実行し、回復するのに最も速いことを示している。
  論文  参考訳（メタデータ） (2024-03-18T23:48:33Z)
• A comprehensive analysis of concept drift locality in data streams [3.5897534810405403]
  概念ドリフトは、進化するデータ特性への効果的なモデル適応のために検出されなければならない。 本稿では,その局所性とスケールに基づいて,概念ドリフトの新たな分類法を提案する。 我々は, 様々な難易度において, 9つの最先端ドリフト検出器の比較評価を行った。
  論文  参考訳（メタデータ） (2023-11-10T20:57:43Z)
• Unsupervised Domain Adaptation for Self-Driving from Past Traversal Features [69.47588461101925]
  本研究では,新しい運転環境に3次元物体検出器を適応させる手法を提案する。 提案手法は,空間的量子化履歴特徴を用いたLiDARに基づく検出モデルを強化する。 実世界のデータセットの実験では、大幅な改善が示されている。
  論文  参考訳（メタデータ） (2023-09-21T15:00:31Z)
• Unsupervised Adaptation from Repeated Traversals for Autonomous Driving [54.59577283226982]
  自動運転車はエンドユーザー環境に一般化し、確実に動作させなければならない。 潜在的な解決策の1つは、エンドユーザの環境から収集されたラベルのないデータを活用することである。 適応過程を監督する信頼性のある信号はターゲット領域に存在しない。 この単純な仮定は、ターゲット領域上の3次元物体検出器の反復的自己学習を可能にする強力な信号を得るのに十分であることを示す。
  論文  参考訳（メタデータ） (2023-03-27T15:07:55Z)
• CADM: Confusion Model-based Detection Method for Real-drift in Chunk Data Stream [3.0885191226198785]
  コンセプトドリフト検出は、健康モニタリングや故障診断といった現実の多くの応用において重要であることから、かなりの注目を集めている。 本稿では,概念的混乱に基づく限定アノテーションを用いて,チャンクデータストリーム内のリアルタイムドリフトを検出する手法を提案する。
  論文  参考訳（メタデータ） (2023-03-25T08:59:27Z)
• Consistent Diffusion Models: Mitigating Sampling Drift by Learning to be Consistent [97.64313409741614]
  本稿では, モデルが生成したデータ上での予測が時間とともに一定であることを示す, 両立性特性を強制することを提案する。 CIFAR-10の条件および非条件生成とAFHQとFFHQのベースライン改良について,本研究の新たな訓練目標が得られた。
  論文  参考訳（メタデータ） (2023-02-17T18:45:04Z)
• Tracking the risk of a deployed model and detecting harmful distribution shifts [105.27463615756733]
  実際には、デプロイされたモデルのパフォーマンスが大幅に低下しないという、良心的なシフトを無視することは理にかなっている。 我々は,警告を発射する有効な方法は,(a)良性な警告を無視しながら有害なシフトを検知し,(b)誤報率を増大させることなく,モデル性能の連続的なモニタリングを可能にすることを論じる。
  論文  参考訳（メタデータ） (2021-10-12T17:21:41Z)
• Detecting Concept Drift With Neural Network Model Uncertainty [0.0]
  不確実ドリフト検出(UDD)は、真のラベルにアクセスすることなくドリフトを検出することができる。 入力データに基づくドリフト検出とは対照的に,現在の入力データが予測モデルの特性に与える影響を考察する。 UDDは2つの合成および10の実世界のデータセットにおいて、回帰処理と分類処理の両方において、他の最先端戦略よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-07-05T08:56:36Z)
• DriftSurf: A Risk-competitive Learning Algorithm under Concept Drift [12.579800289829963]
  ストリーミングデータから学ぶとき、概念ドリフト(concept drift)とも呼ばれるデータ分散の変化は、以前に学習したモデルが不正確なものになる可能性がある。 本研究では,ドリフト検出をより広範な安定状態/反応性状態プロセスに組み込むことにより,従来のドリフト検出に基づく手法を拡張する適応学習アルゴリズムを提案する。 このアルゴリズムはベースラーナーにおいて汎用的であり、様々な教師付き学習問題に適用できる。
  論文  参考訳（メタデータ） (2020-03-13T23:25:25Z)
• Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
  本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。 我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
  論文  参考訳（メタデータ） (2020-03-04T12:27:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。