論文の概要: Computational Performance Aware Benchmarking of Unsupervised Concept
Drift Detection
- arxiv url: http://arxiv.org/abs/2304.08319v1
- Date: Mon, 17 Apr 2023 14:39:56 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-18 14:51:11.068120
- Title: Computational Performance Aware Benchmarking of Unsupervised Concept
Drift Detection
- Title（参考訳）: 教師なしドリフト検出の計算性能を考慮したベンチマーク
- Authors: Elias Werner, Nishant Kumar, Sunna Torge, Matthias Lieber, Arunima
Raj, Stefan Gumhold, Wolfgang E. Nagel
- Abstract要約: 多くのAIシステムにとって、コンセプトドリフト検出はシステムの信頼性を確保するために不可欠である。
ドリフト検出器は 総合的な性能評価で 計算要求や制約を満たさなければならない
本稿では,ドリフト検出器の検知品質と計算性能の両方を考慮した新しいベンチマークスイートを提案する。
- 参考スコア（独自算出の注目度）: 4.857277093742933
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: For many AI systems, concept drift detection is crucial to ensure the systems
reliability. These systems often have to deal with large amounts of data or
react in real time. Thus, drift detectors must meet computational requirements
or constraints with a comprehensive performance evaluation. However, so far,
the focus of developing drift detectors is on detection quality, e.g.~accuracy,
but not on computational performance, such as running time. We show that the
previous works consider computational performance only as a secondary objective
and do not have a benchmark for such evaluation. Hence, we propose a novel
benchmark suite for drift detectors that accounts both detection quality and
computational performance to ensure a detector's applicability in various AI
systems. In this work, we focus on unsupervised drift detectors that are not
restricted to the availability of labeled data and thus being widely
applicable. Our benchmark suite supports configurable synthetic and real world
data streams. Moreover, it provides means for simulating a machine learning
model's output to unify the performance evaluation across different drift
detectors. This allows a fair and comprehensive comparison of drift detectors
proposed in related work. Our benchmark suite is integrated in the existing
framework, Massive Online Analysis (MOA). To evaluate our benchmark suite's
capability, we integrate two representative unsupervised drift detectors. Our
work enables the scientific community to achieve a baseline for unsupervised
drift detectors with respect to both detection quality and computational
performance.
- Abstract（参考訳）: 多くのaiシステムでは、システムの信頼性を確保するために概念ドリフト検出が不可欠である。
これらのシステムは多くの場合、大量のデータを扱うか、リアルタイムで反応する必要がある。
したがって、ドリフト検出器は総合的な性能評価で計算要求や制約を満たす必要がある。
しかし、これまでのドリフト検出器の開発は、例えば精度などの検出品質に焦点を当てているが、実行時間などの計算性能は重視していない。
先行研究は,計算性能を二次目的としてのみ考慮し,その評価のベンチマークを持たないことを示す。
そこで本研究では,様々なaiシステムにおいて,検出精度と計算性能の両方を考慮したドリフト検出のための新しいベンチマークスイートを提案する。
本研究では,ラベル付きデータの可用性に制限されず,広く適用可能な非監視ドリフト検出器に焦点をあてる。
我々のベンチマークスイートは、構成可能な合成および実世界のデータストリームをサポートします。
さらに、機械学習モデルの出力をシミュレートし、異なるドリフト検出器間のパフォーマンス評価を統一する手段を提供する。
これにより、関連する研究で提案されたドリフト検出器の公平かつ包括的な比較が可能になる。
私たちのベンチマークスイートは、既存のフレームワークであるMassive Online Analysis (MOA)に統合されています。
ベンチマークスイートの能力を評価するため、2つの代表的な教師なしドリフト検出器を統合する。
本研究は, 検出品質と計算性能の両面において, 教師なしドリフト検出器のベースラインを実現することを可能にする。
関連論文リスト
- Impacts of floating-point non-associativity on reproducibility for HPC and deep learning applications [0.0]
浮動小数点非連想性に起因する並列プログラムにおける変数の実行は、アルゴリズムに大きな影響を与えることが知られている。
並列プログラミングモデルにおける浮動小数点非連想性の統計的性質について検討する。
我々は、ディープラーニングのためのGPUデプロイメントのコンテキスト内で、最近追加されたPyTorchの決定論的オプションについて検討する。
論文 参考訳（メタデータ） (2024-08-09T16:07:37Z) - Efficient Transferability Assessment for Selection of Pre-trained Detectors [63.21514888618542]
本稿では,事前学習対象検出器の効率的な伝達性評価について検討する。
我々は、事前訓練された検出器の大規模で多様な動物園を含む検出器転送性ベンチマークを構築した。
実験により,本手法は伝達性の評価において,他の最先端手法よりも優れていることが示された。
論文 参考訳（メタデータ） (2024-03-14T14:23:23Z) - ReAct: Temporal Action Detection with Relational Queries [84.76646044604055]
本研究は,アクションクエリを備えたエンコーダ・デコーダフレームワークを用いて,時間的行動検出(TAD)の進展を図ることを目的とする。
まず,デコーダ内の関係注意機構を提案し,その関係に基づいてクエリ間の関心を誘導する。
最後に、高品質なクエリを区別するために、推論時に各アクションクエリのローカライズ品質を予測することを提案する。
論文 参考訳（メタデータ） (2022-07-14T17:46:37Z) - Should All Proposals be Treated Equally in Object Detection? [110.27485090952385]
オブジェクト検出器の複雑さと精度のトレードオフは、リソース制約されたビジョンタスクにとって重要な問題である。
検出効率の改善には、提案の不平等な処理に向けて、パラダイムシフトが必要であると仮定されている。
これにより、利用可能な計算予算がより有効になり、同じFLOPSの精度が向上する。
論文 参考訳（メタデータ） (2022-07-07T18:26:32Z) - Underwater Object Classification and Detection: first results and open
challenges [1.1549572298362782]
本研究は,水中環境における物体検出の問題点を概観する。
我々は、従来の最先端(SOTA)アルゴリズムの欠点を分析し、定量化する。
論文 参考訳（メタデータ） (2022-01-04T04:54:08Z) - A Step Towards Efficient Evaluation of Complex Perception Tasks in
Simulation [5.4954641673299145]
単純化された低忠実度シミュレータを用いて,効率的な大規模テストを実現する手法を提案する。
我々のアプローチは、テスト中のタスクの計算集約的なコンポーネントに対応する効率的なサロゲートモデルを設計することに依存している。
計算コストを削減したCarlaシミュレータにおける自律運転タスクの性能を評価することで,提案手法の有効性を実証する。
論文 参考訳（メタデータ） (2021-09-28T13:50:21Z) - Doing Great at Estimating CATE? On the Neglected Assumptions in
Benchmark Comparisons of Treatment Effect Estimators [91.3755431537592]
もっとも単純な設定であっても、無知性仮定に基づく推定は誤解を招く可能性があることを示す。
異種処理効果評価のための機械学習ベンチマークデータセットを2つ検討した。
ベンチマークデータセットの固有の特性が、他のものよりもいくつかのアルゴリズムを好んでいる点を強調します。
論文 参考訳（メタデータ） (2021-07-28T13:21:27Z) - WSSOD: A New Pipeline for Weakly- and Semi-Supervised Object Detection [75.80075054706079]
弱機能および半教師付きオブジェクト検出フレームワーク(WSSOD)を提案する。
エージェント検出器は、まず関節データセット上でトレーニングされ、弱注釈画像上で擬似境界ボックスを予測するために使用される。
提案フレームワークはPASCAL-VOC と MSCOCO のベンチマークで顕著な性能を示し,完全教師付き環境で得られたものと同等の性能を達成している。
論文 参考訳（メタデータ） (2021-05-21T11:58:50Z) - Systematic Assessment of Hyperdimensional Computing for Epileptic
Seizure Detection [4.249341912358848]
この研究は、てんかん発作の検出のためのHDコンピューティングフレームワークの体系的な評価を行うことである。
先程実装した2つの特徴と, てんかん発作検出におけるHDコンピューティングの新しいアプローチを検証した。
論文 参考訳（メタデータ） (2021-05-03T15:11:08Z) - Efficient and accurate object detection with simultaneous classification
and tracking [1.4620086904601473]
本稿では,ポイントストリーム内の同時分類と追跡に基づく検出フレームワークを提案する。
このフレームワークでは、トラッカーが点雲のシーケンスでデータアソシエーションを行い、冗長な処理を避けるために検出器を誘導する。
ベンチマーク・データセットを用いて実験を行い,提案手法が従来のトラッキング・バイ・ディテクト・アプローチより優れていることを示した。
論文 参考訳（メタデータ） (2020-07-04T10:22:33Z) - Robust Learning Through Cross-Task Consistency [92.42534246652062]
クロスタスク整合性を用いた学習向上のための,広く適用可能な完全計算手法を提案する。
クロスタスク一貫性による学習は,より正確な予測と,アウト・オブ・ディストリビューション・インプットの一般化につながることを観察する。
論文 参考訳（メタデータ） (2020-06-07T09:24:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。