論文の概要: Examining Computational Performance of Unsupervised Concept Drift
Detection: A Survey and Beyond
- arxiv url: http://arxiv.org/abs/2304.08319v2
- Date: Wed, 4 Oct 2023 08:06:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-05 22:07:26.466612
- Title: Examining Computational Performance of Unsupervised Concept Drift
Detection: A Survey and Beyond
- Title（参考訳）: 教師なしコンセプトドリフト検出の計算性能の検討--調査と今後
- Authors: Elias Werner, Nishant Kumar, Matthias Lieber, Sunna Torge, Stefan
Gumhold, Wolfgang E. Nagel
- Abstract要約: この研究は、ラベル付きデータの可用性に制限されない、教師なしドリフト検出器に焦点を当てている。
我々は,5つの異なるデータセット上で利用可能な4つのドリフト検出器のRROメモリ消費に基づいて,計算性能を測定した。
本研究では, ドリフト検出器の計算性能を徹底的に検討する必要があることを示すため, 評価結果について議論するために, 最先端の検知品質指標を測定した。
- 参考スコア（独自算出の注目度）: 5.002363595688988
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Concept drift detection is crucial for many AI systems to ensure the system's
reliability. These systems often have to deal with large amounts of data or
react in real time. Thus, drift detectors must meet computational requirements
or constraints with a comprehensive performance evaluation. However, so far,
the focus of developing drift detectors is on detection quality, e.g.~accuracy,
but not on computational performance, such as running time. We show that the
previous works consider computational performance only as a secondary objective
and do not have a benchmark for such evaluation. Hence, we propose a set of
metrics that considers both, computational performance and detection quality.
Among others, our set of metrics includes the Relative Runtime Overhead RRO to
evaluate a drift detector's computational impact on an AI system. This work
focuses on unsupervised drift detectors, not being restricted to the
availability of labeled data. We measure the computational performance based on
the RRO and memory consumption of four available unsupervised drift detectors
on five different data sets. The range of the RRO reaches from 1.01 to 20.15.
Moreover, we measure state-of-the-art detection quality metrics to discuss our
evaluation results and show the necessity of thorough computational performance
considerations for drift detectors. Additionally, we highlight and explain
requirements for a comprehensive benchmark of drift detectors. Our
investigations can also be extended for supervised drift detection.
- Abstract（参考訳）: コンセプトドリフト検出は、システムの信頼性を確保するために多くのAIシステムにとって不可欠である。
これらのシステムは多くの場合、大量のデータを扱うか、リアルタイムで反応する必要がある。
したがって、ドリフト検出器は総合的な性能評価で計算要求や制約を満たす必要がある。
しかし、これまでのドリフト検出器の開発は、例えば精度などの検出品質に焦点を当てているが、実行時間などの計算性能は重視していない。
先行研究は,計算性能を二次目的としてのみ考慮し,その評価のベンチマークを持たないことを示す。
そこで本研究では,計算性能と検出品質の両方を考慮したメトリクスセットを提案する。
その中には、AIシステムに対するドリフト検出器の計算的影響を評価するためのRelative Runtime Overhead RROが含まれています。
この研究は教師なしのドリフト検出器に焦点を当てており、ラベル付きデータの可用性に制限されない。
計算性能はRROと5つの異なるデータセット上で利用可能な4つのドリフト検出器のメモリ消費に基づいて測定する。
RROの範囲は1.01から20.15までである。
さらに, 最先端検出品質指標を測定し, 評価結果について検討し, ドリフト検出器の計算性能を徹底的に検討する必要性を示す。
さらに,ドリフト検出器の包括的なベンチマークの要件を強調し,解説する。
我々の調査は、監視ドリフト検出のために拡張することもできる。
関連論文リスト
- Impacts of floating-point non-associativity on reproducibility for HPC and deep learning applications [0.0]
浮動小数点非連想性に起因する並列プログラムにおける変数の実行は、アルゴリズムに大きな影響を与えることが知られている。
並列プログラミングモデルにおける浮動小数点非連想性の統計的性質について検討する。
我々は、ディープラーニングのためのGPUデプロイメントのコンテキスト内で、最近追加されたPyTorchの決定論的オプションについて検討する。
論文 参考訳（メタデータ） (2024-08-09T16:07:37Z) - Efficient Transferability Assessment for Selection of Pre-trained Detectors [63.21514888618542]
本稿では,事前学習対象検出器の効率的な伝達性評価について検討する。
我々は、事前訓練された検出器の大規模で多様な動物園を含む検出器転送性ベンチマークを構築した。
実験により,本手法は伝達性の評価において,他の最先端手法よりも優れていることが示された。
論文 参考訳（メタデータ） (2024-03-14T14:23:23Z) - ReAct: Temporal Action Detection with Relational Queries [84.76646044604055]
本研究は,アクションクエリを備えたエンコーダ・デコーダフレームワークを用いて,時間的行動検出(TAD)の進展を図ることを目的とする。
まず,デコーダ内の関係注意機構を提案し,その関係に基づいてクエリ間の関心を誘導する。
最後に、高品質なクエリを区別するために、推論時に各アクションクエリのローカライズ品質を予測することを提案する。
論文 参考訳（メタデータ） (2022-07-14T17:46:37Z) - Should All Proposals be Treated Equally in Object Detection? [110.27485090952385]
オブジェクト検出器の複雑さと精度のトレードオフは、リソース制約されたビジョンタスクにとって重要な問題である。
検出効率の改善には、提案の不平等な処理に向けて、パラダイムシフトが必要であると仮定されている。
これにより、利用可能な計算予算がより有効になり、同じFLOPSの精度が向上する。
論文 参考訳（メタデータ） (2022-07-07T18:26:32Z) - Underwater Object Classification and Detection: first results and open
challenges [1.1549572298362782]
本研究は,水中環境における物体検出の問題点を概観する。
我々は、従来の最先端(SOTA)アルゴリズムの欠点を分析し、定量化する。
論文 参考訳（メタデータ） (2022-01-04T04:54:08Z) - A Step Towards Efficient Evaluation of Complex Perception Tasks in
Simulation [5.4954641673299145]
単純化された低忠実度シミュレータを用いて,効率的な大規模テストを実現する手法を提案する。
我々のアプローチは、テスト中のタスクの計算集約的なコンポーネントに対応する効率的なサロゲートモデルを設計することに依存している。
計算コストを削減したCarlaシミュレータにおける自律運転タスクの性能を評価することで,提案手法の有効性を実証する。
論文 参考訳（メタデータ） (2021-09-28T13:50:21Z) - Doing Great at Estimating CATE? On the Neglected Assumptions in
Benchmark Comparisons of Treatment Effect Estimators [91.3755431537592]
もっとも単純な設定であっても、無知性仮定に基づく推定は誤解を招く可能性があることを示す。
異種処理効果評価のための機械学習ベンチマークデータセットを2つ検討した。
ベンチマークデータセットの固有の特性が、他のものよりもいくつかのアルゴリズムを好んでいる点を強調します。
論文 参考訳（メタデータ） (2021-07-28T13:21:27Z) - WSSOD: A New Pipeline for Weakly- and Semi-Supervised Object Detection [75.80075054706079]
弱機能および半教師付きオブジェクト検出フレームワーク(WSSOD)を提案する。
エージェント検出器は、まず関節データセット上でトレーニングされ、弱注釈画像上で擬似境界ボックスを予測するために使用される。
提案フレームワークはPASCAL-VOC と MSCOCO のベンチマークで顕著な性能を示し,完全教師付き環境で得られたものと同等の性能を達成している。
論文 参考訳（メタデータ） (2021-05-21T11:58:50Z) - Systematic Assessment of Hyperdimensional Computing for Epileptic
Seizure Detection [4.249341912358848]
この研究は、てんかん発作の検出のためのHDコンピューティングフレームワークの体系的な評価を行うことである。
先程実装した2つの特徴と, てんかん発作検出におけるHDコンピューティングの新しいアプローチを検証した。
論文 参考訳（メタデータ） (2021-05-03T15:11:08Z) - Efficient and accurate object detection with simultaneous classification
and tracking [1.4620086904601473]
本稿では,ポイントストリーム内の同時分類と追跡に基づく検出フレームワークを提案する。
このフレームワークでは、トラッカーが点雲のシーケンスでデータアソシエーションを行い、冗長な処理を避けるために検出器を誘導する。
ベンチマーク・データセットを用いて実験を行い,提案手法が従来のトラッキング・バイ・ディテクト・アプローチより優れていることを示した。
論文 参考訳（メタデータ） (2020-07-04T10:22:33Z) - Robust Learning Through Cross-Task Consistency [92.42534246652062]
クロスタスク整合性を用いた学習向上のための,広く適用可能な完全計算手法を提案する。
クロスタスク一貫性による学習は,より正確な予測と,アウト・オブ・ディストリビューション・インプットの一般化につながることを観察する。
論文 参考訳（メタデータ） (2020-06-07T09:24:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。