論文の概要: Employing chunk size adaptation to overcome concept drift

• arxiv url: http://arxiv.org/abs/2110.12881v1
• Date: Mon, 25 Oct 2021 12:36:22 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-26 22:56:19.525279
• Title: Employing chunk size adaptation to overcome concept drift
• Title（参考訳）: チャンクサイズ適応を用いたコンセプトドリフトの克服
• Authors: J\k{e}drzej Kozal, Filip Guzy, Micha{\l} Wo\'zniak
• Abstract要約: ブロックベースのデータストリーム分類アルゴリズムに適応可能な新しいチャンク適応復元フレームワークを提案する。 提案アルゴリズムは,概念ドリフト検出時のデータチャンクサイズを調整し,その変更が使用済みモデルの予測性能に与える影響を最小限に抑える。
• 参考スコア（独自算出の注目度）: 2.277447144331876
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern analytical systems must be ready to process streaming data and correctly respond to data distribution changes. The phenomenon of changes in data distributions is called concept drift, and it may harm the quality of the used models. Additionally, the possibility of concept drift appearance causes that the used algorithms must be ready for the continuous adaptation of the model to the changing data distributions. This work focuses on non-stationary data stream classification, where a classifier ensemble is used. To keep the ensemble model up to date, the new base classifiers are trained on the incoming data blocks and added to the ensemble while, at the same time, outdated models are removed from the ensemble. One of the problems with this type of model is the fast reaction to changes in data distributions. We propose a new Chunk Adaptive Restoration framework that can be adapted to any block-based data stream classification algorithm. The proposed algorithm adjusts the data chunk size in the case of concept drift detection to minimize the impact of the change on the predictive performance of the used model. The conducted experimental research, backed up with the statistical tests, has proven that Chunk Adaptive Restoration significantly reduces the model's restoration time.
• Abstract（参考訳）: 現代の分析システムは、ストリーミングデータを処理し、データの分散変化に正しく対応する必要がある。 データ分布の変化の現象は概念ドリフトと呼ばれ、使用済みモデルの品質に悪影響を及ぼす可能性がある。 さらに、概念ドリフトの出現の可能性により、使用されるアルゴリズムは、変化するデータ分布へのモデルの継続的な適応の準備ができなければならない。 本研究は,非定常データストリーム分類に着目し,分類器アンサンブルを用いる。 アンサンブルモデルを最新の状態に保つため、新しいベース分類器は入ってくるデータブロック上で訓練され、アンサンブルに追加されると同時に、古いモデルがアンサンブルから削除される。 このタイプのモデルの問題の1つは、データ分散の変化に対する高速な反応である。 我々は,任意のブロックベースデータストリーム分類アルゴリズムに適用可能な新しいチャンク適応修復フレームワークを提案する。 提案アルゴリズムは,概念ドリフト検出時のデータチャンクサイズを調整し,その変更が使用済みモデルの予測性能に与える影響を最小限に抑える。 統計的テストで裏付けられた実験により、チャンク適応修復はモデルの復元時間を著しく短縮できることが証明された。

関連論文リスト

• Learning Augmentation Policies from A Model Zoo for Time Series Forecasting [58.66211334969299]
  本稿では,強化学習に基づく学習可能なデータ拡張手法であるAutoTSAugを紹介する。 限界サンプルを学習可能なポリシーで強化することにより、AutoTSAugは予測性能を大幅に改善する。
  論文  参考訳（メタデータ） (2024-09-10T07:34:19Z)
• Distilled Datamodel with Reverse Gradient Matching [74.75248610868685]
  オフライントレーニングとオンライン評価段階を含む,データ影響評価のための効率的なフレームワークを提案する。 提案手法は, 直接再学習法と比較して, プロセスの大幅な高速化を図りながら, 同等のモデル行動評価を実現する。
  論文  参考訳（メタデータ） (2024-04-22T09:16:14Z)
• Addressing Concept Shift in Online Time Series Forecasting: Detect-then-Adapt [37.98336090671441]
  概念 textbfDrift textbfDetection antextbfD textbfAdaptation (D3A) まずドリフトの概念を検知し、次に急激な適応の検出の後、現在のモデルをドリフトされた概念に積極的に適応する。 これは、トレイン-テストのパフォーマンスの不整合に寄与する重要な要因であるデータ分散ギャップを軽減するのに役立ちます。
  論文  参考訳（メタデータ） (2024-03-22T04:44:43Z)
• Quilt: Robust Data Segment Selection against Concept Drifts [30.62320149405819]
  継続的機械学習パイプラインは、モデルが定期的にデータストリームでトレーニングされる産業環境で一般的である。 概念ドリフトは、データXとラベルy、P(X, y)の結合分布が時間とともに変化し、おそらくモデルの精度が低下するデータストリームで発生する。 既存のコンセプトドリフト適応アプローチは、主にモデルを新しいデータに更新することに集中し、ドリフトした履歴データを破棄する傾向がある。 モデル精度を最大化するデータセグメントを識別および選択するためのデータ中心フレームワークであるQultを提案する。
  論文  参考訳（メタデータ） (2023-12-15T11:10:34Z)
• Unsupervised Unlearning of Concept Drift with Autoencoders [5.41354952642957]
  コンセプトドリフトは、将来のサンプルのデータストリームに影響を与えるデータ分散の変化を指す。 本稿では,世界レベルでの教師なしおよびモデルに依存しないドリフト適応手法を提案する。
  論文  参考訳（メタデータ） (2022-11-23T14:52:49Z)
• On-the-Fly Test-time Adaptation for Medical Image Segmentation [63.476899335138164]
  ソースモデルをテスト時にターゲットデータに適応させることは、データシフト問題に対する効率的な解決策である。 本稿では、各畳み込みブロックに適応バッチ正規化層を設けるAdaptive UNetという新しいフレームワークを提案する。 テスト期間中、モデルは新しいテストイメージのみを取り込み、ドメインコードを生成して、テストデータに従ってソースモデルの特徴を適応させる。
  論文  参考訳（メタデータ） (2022-03-10T18:51:29Z)
• Autoregressive based Drift Detection Method [0.0]
  我々はADDMと呼ばれる自己回帰モデルに基づく新しい概念ドリフト検出手法を提案する。 以上の結果から,新しいドリフト検出法は最先端ドリフト検出法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2022-03-09T14:36:16Z)
• Unsupervised Model Drift Estimation with Batch Normalization Statistics for Dataset Shift Detection and Model Selection [0.0]
  本研究では,未ラベル試験データに基づくバッチ正規化層の統計量を利用したモデルドリフト推定手法を提案する。 本手法は,モデル動物園内に複数の候補モデルが存在する場合のモデル選択だけでなく,教師なしの方法でのトレーニングトラジェクトリにおいても有効であることを示す。
  論文  参考訳（メタデータ） (2021-07-01T03:04:47Z)
• Churn Reduction via Distillation [54.5952282395487]
  本研究は, 基礎モデルを教師として用いた蒸留によるトレーニングと, 予測的チャーンに対する明示的な制約によるトレーニングとの等価性を示す。 次に, 蒸留が近年の多くのベースラインに対する低チャーン訓練に有効であることを示す。
  論文  参考訳（メタデータ） (2021-06-04T18:03:31Z)
• Anomaly Detection of Time Series with Smoothness-Inducing Sequential Variational Auto-Encoder [59.69303945834122]
  Smoothness-Inducing Sequential Variational Auto-Encoder (SISVAE) モデルを提案する。 我々のモデルは、フレキシブルニューラルネットワークを用いて各タイムスタンプの平均と分散をパラメータ化する。 合成データセットと公開実世界のベンチマークの両方において,本モデルの有効性を示す。
  論文  参考訳（メタデータ） (2021-02-02T06:15:15Z)
• On Robustness and Transferability of Convolutional Neural Networks [147.71743081671508]
  現代の深層畳み込みネットワーク(CNN)は、分散シフトの下で一般化しないとしてしばしば批判される。 現代画像分類CNNにおける分布外と転送性能の相互作用を初めて検討した。 トレーニングセットとモデルサイズを増大させることで、分散シフトロバスト性が著しく向上することがわかった。
  論文  参考訳（メタデータ） (2020-07-16T18:39:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。