論文の概要: Examining Computational Performance of Unsupervised Concept Drift
Detection: A Survey and Beyond
- arxiv url: http://arxiv.org/abs/2304.08319v2
- Date: Wed, 4 Oct 2023 08:06:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-05 22:07:26.466612
- Title: Examining Computational Performance of Unsupervised Concept Drift
Detection: A Survey and Beyond
- Title(参考訳): 教師なしコンセプトドリフト検出の計算性能の検討--調査と今後
- Authors: Elias Werner, Nishant Kumar, Matthias Lieber, Sunna Torge, Stefan
Gumhold, Wolfgang E. Nagel
- Abstract要約: この研究は、ラベル付きデータの可用性に制限されない、教師なしドリフト検出器に焦点を当てている。
我々は,5つの異なるデータセット上で利用可能な4つのドリフト検出器のRROメモリ消費に基づいて,計算性能を測定した。
本研究では, ドリフト検出器の計算性能を徹底的に検討する必要があることを示すため, 評価結果について議論するために, 最先端の検知品質指標を測定した。
- 参考スコア(独自算出の注目度): 5.002363595688988
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Concept drift detection is crucial for many AI systems to ensure the system's
reliability. These systems often have to deal with large amounts of data or
react in real time. Thus, drift detectors must meet computational requirements
or constraints with a comprehensive performance evaluation. However, so far,
the focus of developing drift detectors is on detection quality, e.g.~accuracy,
but not on computational performance, such as running time. We show that the
previous works consider computational performance only as a secondary objective
and do not have a benchmark for such evaluation. Hence, we propose a set of
metrics that considers both, computational performance and detection quality.
Among others, our set of metrics includes the Relative Runtime Overhead RRO to
evaluate a drift detector's computational impact on an AI system. This work
focuses on unsupervised drift detectors, not being restricted to the
availability of labeled data. We measure the computational performance based on
the RRO and memory consumption of four available unsupervised drift detectors
on five different data sets. The range of the RRO reaches from 1.01 to 20.15.
Moreover, we measure state-of-the-art detection quality metrics to discuss our
evaluation results and show the necessity of thorough computational performance
considerations for drift detectors. Additionally, we highlight and explain
requirements for a comprehensive benchmark of drift detectors. Our
investigations can also be extended for supervised drift detection.
- Abstract(参考訳): コンセプトドリフト検出は、システムの信頼性を確保するために多くのAIシステムにとって不可欠である。
これらのシステムは多くの場合、大量のデータを扱うか、リアルタイムで反応する必要がある。
したがって、ドリフト検出器は総合的な性能評価で計算要求や制約を満たす必要がある。
しかし、これまでのドリフト検出器の開発は、例えば精度などの検出品質に焦点を当てているが、実行時間などの計算性能は重視していない。
先行研究は,計算性能を二次目的としてのみ考慮し,その評価のベンチマークを持たないことを示す。
そこで本研究では,計算性能と検出品質の両方を考慮したメトリクスセットを提案する。
その中には、AIシステムに対するドリフト検出器の計算的影響を評価するためのRelative Runtime Overhead RROが含まれています。
この研究は教師なしのドリフト検出器に焦点を当てており、ラベル付きデータの可用性に制限されない。
計算性能はRROと5つの異なるデータセット上で利用可能な4つのドリフト検出器のメモリ消費に基づいて測定する。
RROの範囲は1.01から20.15までである。
さらに, 最先端検出品質指標を測定し, 評価結果について検討し, ドリフト検出器の計算性能を徹底的に検討する必要性を示す。
さらに,ドリフト検出器の包括的なベンチマークの要件を強調し,解説する。
我々の調査は、監視ドリフト検出のために拡張することもできる。
関連論文リスト
- Detection Latencies of Anomaly Detectors: An Overlooked Perspective ? [1.8492669447784602]
本稿では,攻撃とエラーの時間的遅延を測定することの関連性について論じる。
本稿では,検知器の評価手法を提案する。
論文 参考訳(メタデータ) (2024-02-14T10:52:39Z) - A Machine Learning-based Algorithm for Automated Detection of
Frequency-based Events in Recorded Time Series of Sensor Data [0.0]
本研究では,時系列データ中の周波数に基づく事象を識別する新しい事象検出手法を提案する。
時系列データを解析するためには、訓練対象検出モデルを用いて頭蓋骨内にイベントを検出することができる。
このアルゴリズムは未知のデータセットに基づいて評価され、イベント検出の精度は0.97である。
論文 参考訳(メタデータ) (2023-10-16T21:35:23Z) - Unsupervised Domain Adaptation for Self-Driving from Past Traversal
Features [69.47588461101925]
本研究では,新しい運転環境に3次元物体検出器を適応させる手法を提案する。
提案手法は,空間的量子化履歴特徴を用いたLiDARに基づく検出モデルを強化する。
実世界のデータセットの実験では、大幅な改善が示されている。
論文 参考訳(メタデータ) (2023-09-21T15:00:31Z) - CODA: A Real-World Road Corner Case Dataset for Object Detection in
Autonomous Driving [117.87070488537334]
我々は、ビジョンベース検出器のこの重要な問題を露呈する、CODAという挑戦的なデータセットを導入する。
大規模自動運転データセットで訓練された標準物体検出器の性能は、mARの12.8%以下に著しく低下した。
我々は最先端のオープンワールドオブジェクト検出器を実験し、CODAの新しいオブジェクトを確実に識別できないことを発見した。
論文 参考訳(メタデータ) (2022-03-15T08:32:56Z) - A Quality Index Metric and Method for Online Self-Assessment of
Autonomous Vehicles Sensory Perception [164.93739293097605]
本稿では,検出品質指標(DQI)と呼ばれる新しい評価指標を提案し,カメラを用いた物体検出アルゴリズムの性能を評価する。
我々は,提案したDQI評価指標を予測するために,原画像画素とスーパーピクセルを入力として利用するスーパーピクセルベースのアテンションネットワーク(SPA-NET)を開発した。
論文 参考訳(メタデータ) (2022-03-04T22:16:50Z) - Pedestrian Detection: Domain Generalization, CNNs, Transformers and
Beyond [82.37430109152383]
その結果、現在の歩行者検知器は、クロスデータセット評価において、たとえ小さな領域シフトであっても処理が不十分であることがわかった。
限定的な一般化は、その方法と現在のデータ源の2つの主要な要因に帰着する。
本稿では、一般化を改善する進歩的な微調整戦略を提案する。
論文 参考訳(メタデータ) (2022-01-10T06:00:26Z) - Rethinking Drone-Based Search and Rescue with Aerial Person Detection [79.76669658740902]
航空ドローンの映像の視覚検査は、現在土地捜索救助(SAR)活動に不可欠な部分である。
本稿では,この空中人物検出(APD)タスクを自動化するための新しいディープラーニングアルゴリズムを提案する。
本稿では,Aerial Inspection RetinaNet (AIR) アルゴリズムについて述べる。
論文 参考訳(メタデータ) (2021-11-17T21:48:31Z) - Task-Sensitive Concept Drift Detector with Metric Learning [7.706795195017394]
提案手法は, 実測時に真のラベルにアクセスすることなくドリフトを検出することのできる, タスク依存型ドリフト検出フレームワークである。
ドリフトが分類性能に影響を与える実際のドリフトを検出し、仮想ドリフトを適切に無視することができる。
本稿では, 検出精度, 偽陽性率, 検出遅延の標準指標を1つの値に蓄積する新しい指標を用いて, 提案手法の性能評価を行う。
論文 参考訳(メタデータ) (2021-08-16T09:10:52Z) - On the Role of Sensor Fusion for Object Detection in Future Vehicular
Networks [25.838878314196375]
異なるセンサの組み合わせが車両の移動・運転環境の検出にどのように影響するかを評価します。
最終的な目標は、チャネルに分散するデータの量を最小限に抑える最適な設定を特定することです。
論文 参考訳(メタデータ) (2021-04-23T18:58:37Z) - Dense Label Encoding for Boundary Discontinuity Free Rotation Detection [69.75559390700887]
本稿では,分類に基づく比較的研究の少ない方法論について検討する。
我々は2つの側面でフロンティアを推し進めるための新しい手法を提案する。
航空画像のための大規模公開データセットの実験と視覚解析は,我々のアプローチの有効性を示している。
論文 参考訳(メタデータ) (2020-11-19T05:42:02Z) - Efficient and accurate object detection with simultaneous classification
and tracking [1.4620086904601473]
本稿では,ポイントストリーム内の同時分類と追跡に基づく検出フレームワークを提案する。
このフレームワークでは、トラッカーが点雲のシーケンスでデータアソシエーションを行い、冗長な処理を避けるために検出器を誘導する。
ベンチマーク・データセットを用いて実験を行い,提案手法が従来のトラッキング・バイ・ディテクト・アプローチより優れていることを示した。
論文 参考訳(メタデータ) (2020-07-04T10:22:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。