論文の概要: Computational Performance Aware Benchmarking of Unsupervised Concept
Drift Detection
- arxiv url: http://arxiv.org/abs/2304.08319v1
- Date: Mon, 17 Apr 2023 14:39:56 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-18 14:51:11.068120
- Title: Computational Performance Aware Benchmarking of Unsupervised Concept
Drift Detection
- Title(参考訳): 教師なしドリフト検出の計算性能を考慮したベンチマーク
- Authors: Elias Werner, Nishant Kumar, Sunna Torge, Matthias Lieber, Arunima
Raj, Stefan Gumhold, Wolfgang E. Nagel
- Abstract要約: 多くのAIシステムにとって、コンセプトドリフト検出はシステムの信頼性を確保するために不可欠である。
ドリフト検出器は 総合的な性能評価で 計算要求や制約を満たさなければならない
本稿では,ドリフト検出器の検知品質と計算性能の両方を考慮した新しいベンチマークスイートを提案する。
- 参考スコア(独自算出の注目度): 4.857277093742933
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: For many AI systems, concept drift detection is crucial to ensure the systems
reliability. These systems often have to deal with large amounts of data or
react in real time. Thus, drift detectors must meet computational requirements
or constraints with a comprehensive performance evaluation. However, so far,
the focus of developing drift detectors is on detection quality, e.g.~accuracy,
but not on computational performance, such as running time. We show that the
previous works consider computational performance only as a secondary objective
and do not have a benchmark for such evaluation. Hence, we propose a novel
benchmark suite for drift detectors that accounts both detection quality and
computational performance to ensure a detector's applicability in various AI
systems. In this work, we focus on unsupervised drift detectors that are not
restricted to the availability of labeled data and thus being widely
applicable. Our benchmark suite supports configurable synthetic and real world
data streams. Moreover, it provides means for simulating a machine learning
model's output to unify the performance evaluation across different drift
detectors. This allows a fair and comprehensive comparison of drift detectors
proposed in related work. Our benchmark suite is integrated in the existing
framework, Massive Online Analysis (MOA). To evaluate our benchmark suite's
capability, we integrate two representative unsupervised drift detectors. Our
work enables the scientific community to achieve a baseline for unsupervised
drift detectors with respect to both detection quality and computational
performance.
- Abstract(参考訳): 多くのaiシステムでは、システムの信頼性を確保するために概念ドリフト検出が不可欠である。
これらのシステムは多くの場合、大量のデータを扱うか、リアルタイムで反応する必要がある。
したがって、ドリフト検出器は総合的な性能評価で計算要求や制約を満たす必要がある。
しかし、これまでのドリフト検出器の開発は、例えば精度などの検出品質に焦点を当てているが、実行時間などの計算性能は重視していない。
先行研究は,計算性能を二次目的としてのみ考慮し,その評価のベンチマークを持たないことを示す。
そこで本研究では,様々なaiシステムにおいて,検出精度と計算性能の両方を考慮したドリフト検出のための新しいベンチマークスイートを提案する。
本研究では,ラベル付きデータの可用性に制限されず,広く適用可能な非監視ドリフト検出器に焦点をあてる。
我々のベンチマークスイートは、構成可能な合成および実世界のデータストリームをサポートします。
さらに、機械学習モデルの出力をシミュレートし、異なるドリフト検出器間のパフォーマンス評価を統一する手段を提供する。
これにより、関連する研究で提案されたドリフト検出器の公平かつ包括的な比較が可能になる。
私たちのベンチマークスイートは、既存のフレームワークであるMassive Online Analysis (MOA)に統合されています。
ベンチマークスイートの能力を評価するため、2つの代表的な教師なしドリフト検出器を統合する。
本研究は, 検出品質と計算性能の両面において, 教師なしドリフト検出器のベースラインを実現することを可能にする。
関連論文リスト
- Detection Latencies of Anomaly Detectors: An Overlooked Perspective ? [1.8492669447784602]
本稿では,攻撃とエラーの時間的遅延を測定することの関連性について論じる。
本稿では,検知器の評価手法を提案する。
論文 参考訳(メタデータ) (2024-02-14T10:52:39Z) - A Machine Learning-based Algorithm for Automated Detection of
Frequency-based Events in Recorded Time Series of Sensor Data [0.0]
本研究では,時系列データ中の周波数に基づく事象を識別する新しい事象検出手法を提案する。
時系列データを解析するためには、訓練対象検出モデルを用いて頭蓋骨内にイベントを検出することができる。
このアルゴリズムは未知のデータセットに基づいて評価され、イベント検出の精度は0.97である。
論文 参考訳(メタデータ) (2023-10-16T21:35:23Z) - Unsupervised Domain Adaptation for Self-Driving from Past Traversal
Features [69.47588461101925]
本研究では,新しい運転環境に3次元物体検出器を適応させる手法を提案する。
提案手法は,空間的量子化履歴特徴を用いたLiDARに基づく検出モデルを強化する。
実世界のデータセットの実験では、大幅な改善が示されている。
論文 参考訳(メタデータ) (2023-09-21T15:00:31Z) - CODA: A Real-World Road Corner Case Dataset for Object Detection in
Autonomous Driving [117.87070488537334]
我々は、ビジョンベース検出器のこの重要な問題を露呈する、CODAという挑戦的なデータセットを導入する。
大規模自動運転データセットで訓練された標準物体検出器の性能は、mARの12.8%以下に著しく低下した。
我々は最先端のオープンワールドオブジェクト検出器を実験し、CODAの新しいオブジェクトを確実に識別できないことを発見した。
論文 参考訳(メタデータ) (2022-03-15T08:32:56Z) - A Quality Index Metric and Method for Online Self-Assessment of
Autonomous Vehicles Sensory Perception [164.93739293097605]
本稿では,検出品質指標(DQI)と呼ばれる新しい評価指標を提案し,カメラを用いた物体検出アルゴリズムの性能を評価する。
我々は,提案したDQI評価指標を予測するために,原画像画素とスーパーピクセルを入力として利用するスーパーピクセルベースのアテンションネットワーク(SPA-NET)を開発した。
論文 参考訳(メタデータ) (2022-03-04T22:16:50Z) - Pedestrian Detection: Domain Generalization, CNNs, Transformers and
Beyond [82.37430109152383]
その結果、現在の歩行者検知器は、クロスデータセット評価において、たとえ小さな領域シフトであっても処理が不十分であることがわかった。
限定的な一般化は、その方法と現在のデータ源の2つの主要な要因に帰着する。
本稿では、一般化を改善する進歩的な微調整戦略を提案する。
論文 参考訳(メタデータ) (2022-01-10T06:00:26Z) - Rethinking Drone-Based Search and Rescue with Aerial Person Detection [79.76669658740902]
航空ドローンの映像の視覚検査は、現在土地捜索救助(SAR)活動に不可欠な部分である。
本稿では,この空中人物検出(APD)タスクを自動化するための新しいディープラーニングアルゴリズムを提案する。
本稿では,Aerial Inspection RetinaNet (AIR) アルゴリズムについて述べる。
論文 参考訳(メタデータ) (2021-11-17T21:48:31Z) - Task-Sensitive Concept Drift Detector with Metric Learning [7.706795195017394]
提案手法は, 実測時に真のラベルにアクセスすることなくドリフトを検出することのできる, タスク依存型ドリフト検出フレームワークである。
ドリフトが分類性能に影響を与える実際のドリフトを検出し、仮想ドリフトを適切に無視することができる。
本稿では, 検出精度, 偽陽性率, 検出遅延の標準指標を1つの値に蓄積する新しい指標を用いて, 提案手法の性能評価を行う。
論文 参考訳(メタデータ) (2021-08-16T09:10:52Z) - On the Role of Sensor Fusion for Object Detection in Future Vehicular
Networks [25.838878314196375]
異なるセンサの組み合わせが車両の移動・運転環境の検出にどのように影響するかを評価します。
最終的な目標は、チャネルに分散するデータの量を最小限に抑える最適な設定を特定することです。
論文 参考訳(メタデータ) (2021-04-23T18:58:37Z) - Dense Label Encoding for Boundary Discontinuity Free Rotation Detection [69.75559390700887]
本稿では,分類に基づく比較的研究の少ない方法論について検討する。
我々は2つの側面でフロンティアを推し進めるための新しい手法を提案する。
航空画像のための大規模公開データセットの実験と視覚解析は,我々のアプローチの有効性を示している。
論文 参考訳(メタデータ) (2020-11-19T05:42:02Z) - Efficient and accurate object detection with simultaneous classification
and tracking [1.4620086904601473]
本稿では,ポイントストリーム内の同時分類と追跡に基づく検出フレームワークを提案する。
このフレームワークでは、トラッカーが点雲のシーケンスでデータアソシエーションを行い、冗長な処理を避けるために検出器を誘導する。
ベンチマーク・データセットを用いて実験を行い,提案手法が従来のトラッキング・バイ・ディテクト・アプローチより優れていることを示した。
論文 参考訳(メタデータ) (2020-07-04T10:22:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。