論文の概要: OPTWIN: Drift identification with optimal sub-windows
- arxiv url: http://arxiv.org/abs/2305.11942v1
- Date: Fri, 19 May 2023 18:01:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-24 01:55:25.354903
- Title: OPTWIN: Drift identification with optimal sub-windows
- Title（参考訳）: OPTWIN:最適サブウィンドウを用いたドリフト同定
- Authors: Mauro Dalle Lucca Tosi and Martin Theobald
- Abstract要約: コンセプトドリフトは、時間とともにやってくるデータストリームの統計的特性において、予期せぬ変化である。
OPTimal WINdow"の概念ドリフト検出器は、OLアルゴリズムのエラーを追跡するために、入ってくるデータストリーム上のイベントのスライディングウィンドウを使用する。
実験により、OPTWINは統計的に重要な方法でベースラインのF1スコアを超えることが示された。
- 参考スコア（独自算出の注目度）: 2.264082902587589
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Online Learning (OL) is a field of research that is increasingly gaining
attention both in academia and industry. One of the main challenges of OL is
the inherent presence of concept drifts, which are commonly defined as
unforeseeable changes in the statistical properties of an incoming data stream
over time. The detection of concept drifts typically involves analyzing the
error rates produced by an underlying OL algorithm in order to identify if a
concept drift occurred or not, such that the OL algorithm can adapt
accordingly. Current concept-drift detectors perform very well, i.e., with low
false negative rates, but they still tend to exhibit high false positive rates
in the concept-drift detection. This may impact the performance of the learner
and result in an undue amount of computational resources spent on retraining a
model that actually still performs within its expected range. In this paper, we
propose OPTWIN, our "OPTimal WINdow" concept drift detector. OPTWIN uses a
sliding window of events over an incoming data stream to track the errors of an
OL algorithm. The novelty of OPTWIN is to consider both the means and the
variances of the error rates produced by a learner in order to split the
sliding window into two provably optimal sub-windows, such that the split
occurs at the earliest event at which a statistically significant difference
according to either the $t$- or the $f$-tests occurred. We assessed OPTWIN over
the MOA framework, using ADWIN, DDM, EDDM, STEPD and ECDD as baselines over 7
synthetic and real-world datasets, and in the presence of both sudden and
gradual concept drifts. In our experiments, we show that OPTWIN surpasses the
F1-score of the baselines in a statistically significant manner while
maintaining a lower detection delay and saving up to 21% of time spent on
retraining the models.
- Abstract（参考訳）: オンライン学習(ol)は、学界と産業の両方でますます注目を集めている研究分野である。
OLの主な課題の1つは概念ドリフトの存在であり、これは一般的に、時間とともにやってくるデータストリームの統計的性質の予期せぬ変化として定義される。
概念ドリフトの検出は、典型的には、概念ドリフトが発生したかどうかを識別するために、基礎となるolアルゴリズムが生成した誤り率を分析することを伴う。
現在のコンセプトドリフト検出器は、低い偽陰性率で非常によく機能するが、コンセプトドリフト検出では高い偽陽性率を示す傾向にある。
これは学習者のパフォーマンスに影響を与え、予測範囲内で実際に動作しているモデルの再トレーニングに費やされた膨大な計算リソースをもたらす可能性がある。
本稿では,OPTimal WINdowの概念ドリフト検出器OPTWINを提案する。
OPTWINは、OLアルゴリズムのエラーを追跡するために、入ってくるデータストリーム上のイベントのスライディングウィンドウを使用する。
optwinの目新しさは、スライディングウィンドウを2つの最適なサブウィンドウに分割するために学習者が生成した誤差率の平均と分散の両方を検討することである。
ADWIN, DDM, EDDM, STEPD, ECDDを7つの合成および実世界のデータセットのベースラインとし, 突然および段階的な概念ドリフトの存在下でOPTWINをMOAフレームワーク上で評価した。
実験では,オプティウィンが,検出遅延の低減とモデルの再トレーニングに費やす時間の21%の節約を保ちながら,統計的に有意な方法でベースラインのf1-scoreを上回っていることを示す。
関連論文リスト
- Unsupervised Concept Drift Detection from Deep Learning Representations in Real-time [5.999777817331315]
コンセプト・ドリフト(英: Concept Drift)は、対象領域の基本的なデータ分布と統計的性質が時間とともに変化する現象である。
我々は、教師なしリアルタイム概念ドリフト検出フレームワークDriftLensを提案する。
深層学習表現の分布距離を利用して非構造化データに作用する。
論文 参考訳（メタデータ） (2024-06-24T23:41:46Z) - Methods for Generating Drift in Text Streams [49.3179290313959]
コンセプトドリフトは、実世界のデータセットで頻繁に発生する現象であり、時間とともにデータ分布の変化に対応する。
本稿では,ラベル付きドリフトを用いたデータセット作成を容易にするための4つのテキストドリフト生成手法を提案する。
その結果、ドリフトの直後にすべてのメソッドのパフォーマンスが低下し、インクリメンタルなSVMは、以前のパフォーマンスレベルを実行し、回復するのに最も速いことを示している。
論文 参考訳（メタデータ） (2024-03-18T23:48:33Z) - LARA: A Light and Anti-overfitting Retraining Approach for Unsupervised
Time Series Anomaly Detection [49.52429991848581]
深部変分自動エンコーダに基づく時系列異常検出手法(VAE)のための光・反オーバーフィット学習手法(LARA)を提案する。
本研究の目的は,1) 再学習過程を凸問題として定式化し, 過度に収束できること,2) 履歴データを保存せずに活用するルミネートブロックを設計すること,3) 潜在ベクトルと再構成データの微調整を行うと, 線形形成が基底真実と微調整されたブロックとの誤りを最小に調整できることを数学的に証明することである。
論文 参考訳（メタデータ） (2023-10-09T12:36:16Z) - Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。
我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。
我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
論文 参考訳（メタデータ） (2023-10-02T03:25:32Z) - Uncovering Drift in Textual Data: An Unsupervised Method for Detecting
and Mitigating Drift in Machine Learning Models [9.035254826664273]
機械学習におけるドリフト(drift)とは、モデルが動作しているデータやコンテキストの統計的性質が時間とともに変化し、性能が低下する現象を指す。
提案手法では, 目標分布として生産データのサンプルを符号化し, モデルトレーニングデータを基準分布として符号化する。
また,ドリフトの根本原因である生産データのサブセットも同定する。
これらの高ドリフトサンプルを用いて再トレーニングしたモデルでは、オンライン顧客エクスペリエンスの品質指標のパフォーマンスが改善された。
論文 参考訳（メタデータ） (2023-09-07T16:45:42Z) - Advances on Concept Drift Detection in Regression Tasks using Social
Networks Theory [5.25961378238154]
スケールフリーネットワークレグレシタ (SFNR) は、ソーシャルネットワーク理論を用いた動的アンサンブルに基づく回帰手法である。
概念のドリフトを検出するため、SFNRはAdaptive Window (ADWIN)アルゴリズムを使用している。
その結果,特にコンセプトドリフト時の精度が向上した。
論文 参考訳（メタデータ） (2023-04-19T16:13:28Z) - Consistent Diffusion Models: Mitigating Sampling Drift by Learning to be
Consistent [97.64313409741614]
本稿では, モデルが生成したデータ上での予測が時間とともに一定であることを示す, 両立性特性を強制することを提案する。
CIFAR-10の条件および非条件生成とAFHQとFFHQのベースライン改良について,本研究の新たな訓練目標が得られた。
論文 参考訳（メタデータ） (2023-02-17T18:45:04Z) - StreamYOLO: Real-time Object Detection for Streaming Perception [84.2559631820007]
将来を予測する能力を備えたモデルを提供し、ストリーミング知覚の結果を大幅に改善する。
本稿では,複数の速度を駆動するシーンについて考察し,VasAP(Velocity-Awared streaming AP)を提案する。
本手法は,Argoverse-HDデータセットの最先端性能を実現し,SAPとVsAPをそれぞれ4.7%,VsAPを8.2%改善する。
論文 参考訳（メタデータ） (2022-07-21T12:03:02Z) - Real-time Object Detection for Streaming Perception [84.2559631820007]
ストリーミング知覚は,ビデオオンライン知覚の1つの指標として,レイテンシと精度を共同評価するために提案される。
ストリーミング知覚のためのシンプルで効果的なフレームワークを構築します。
提案手法はArgoverse-HDデータセット上での競合性能を実現し,強力なベースラインに比べてAPを4.9%向上させる。
論文 参考訳（メタデータ） (2022-03-23T11:33:27Z) - Detecting Concept Drift With Neural Network Model Uncertainty [0.0]
不確実ドリフト検出(UDD)は、真のラベルにアクセスすることなくドリフトを検出することができる。
入力データに基づくドリフト検出とは対照的に,現在の入力データが予測モデルの特性に与える影響を考察する。
UDDは2つの合成および10の実世界のデータセットにおいて、回帰処理と分類処理の両方において、他の最先端戦略よりも優れていることを示す。
論文 参考訳（メタデータ） (2021-07-05T08:56:36Z) - DriftSurf: A Risk-competitive Learning Algorithm under Concept Drift [12.579800289829963]
ストリーミングデータから学ぶとき、概念ドリフト(concept drift)とも呼ばれるデータ分散の変化は、以前に学習したモデルが不正確なものになる可能性がある。
本研究では,ドリフト検出をより広範な安定状態/反応性状態プロセスに組み込むことにより,従来のドリフト検出に基づく手法を拡張する適応学習アルゴリズムを提案する。
このアルゴリズムはベースラーナーにおいて汎用的であり、様々な教師付き学習問題に適用できる。
論文 参考訳（メタデータ） (2020-03-13T23:25:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。