論文の概要: How to Sustainably Monitor ML-Enabled Systems? Accuracy and Energy Efficiency Tradeoffs in Concept Drift Detection

• arxiv url: http://arxiv.org/abs/2404.19452v1
• Date: Tue, 30 Apr 2024 11:09:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-01 14:34:58.857187
• Title: How to Sustainably Monitor ML-Enabled Systems? Accuracy and Energy Efficiency Tradeoffs in Concept Drift Detection
• Title（参考訳）: ML対応システムの持続監視法 : コンセプトドリフト検出における精度とエネルギー効率のトレードオフ
• Authors: Rafiullah Omar, Justus Bogner, Joran Leest, Vincenzo Stoico, Patricia Lago, Henry Muccini,
• Abstract要約: 実運用環境にデプロイされるML対応システムは通常、コンセプトドリフトによるモデル予測品質の低下に悩まされる。 エネルギー効率を改善するための1つの推奨戦術は、概念のドリフトのレベルを体系的に監視し、避けられないときにのみ再訓練することである。 本研究では, ドリフト検出のための7つの一般的な手法の精度とエネルギー効率のトレードオフについて, 制御実験を行った。
• 参考スコア（独自算出の注目度）: 8.896318643030481
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: ML-enabled systems that are deployed in a production environment typically suffer from decaying model prediction quality through concept drift, i.e., a gradual change in the statistical characteristics of a certain real-world domain. To combat this, a simple solution is to periodically retrain ML models, which unfortunately can consume a lot of energy. One recommended tactic to improve energy efficiency is therefore to systematically monitor the level of concept drift and only retrain when it becomes unavoidable. Different methods are available to do this, but we know very little about their concrete impact on the tradeoff between accuracy and energy efficiency, as these methods also consume energy themselves. To address this, we therefore conducted a controlled experiment to study the accuracy vs. energy efficiency tradeoff of seven common methods for concept drift detection. We used five synthetic datasets, each in a version with abrupt and one with gradual drift, and trained six different ML models as base classifiers. Based on a full factorial design, we tested 420 combinations (7 drift detectors * 5 datasets * 2 types of drift * 6 base classifiers) and compared energy consumption and drift detection accuracy. Our results indicate that there are three types of detectors: a) detectors that sacrifice energy efficiency for detection accuracy (KSWIN), b) balanced detectors that consume low to medium energy with good accuracy (HDDM_W, ADWIN), and c) detectors that consume very little energy but are unusable in practice due to very poor accuracy (HDDM_A, PageHinkley, DDM, EDDM). By providing rich evidence for this energy efficiency tactic, our findings support ML practitioners in choosing the best suited method of concept drift detection for their ML-enabled systems.
• Abstract（参考訳）: 実運用環境にデプロイされるML対応システムは通常、概念ドリフト(概念ドリフト)によるモデル予測品質の低下、すなわち、ある実世界の領域の統計的特性の段階的な変化に悩まされる。 これに対抗するための簡単な解決策は、残念なことに大量のエネルギーを消費するMLモデルを定期的に再トレーニングすることだ。 エネルギー効率を改善するための1つの推奨戦術は、概念のドリフトのレベルを体系的に監視し、避けられないときにのみ再訓練することである。 しかし、これらの手法はエネルギーを消費するので、精度とエネルギー効率のトレードオフに対する具体的な影響はほとんどわかっていません。 そこで我々は,概念ドリフト検出のための7つの一般的な手法の精度とエネルギー効率のトレードオフについて,制御実験を行った。 我々は5つの合成データセットを使用し、それぞれに急速ドリフトのあるバージョンと漸進的なドリフトを持つバージョンを作成し、ベース分類器として6つの異なるMLモデルを訓練した。 フルファクター設計に基づいて420の組合せ(ドリフト検出器 * 7 データセット * 5 データセット * 2 種類のドリフト * 6 ベース分類器)を試験し、エネルギー消費とドリフト検出精度を比較した。 この結果は,3種類の検出器が存在することを示唆している。 a) 検出精度(KSWIN)のエネルギー効率を犠牲にする検出器 ロ 低-中エネルギーを高精度に消費する平衡検出器(HDDM_W、ADWIN)及び c) エネルギーをほとんど消費しないが、非常に精度の低い(HDDM_A, PageHinkley, DDM, EDDM)ために実際には使用できない検出器 本研究は,このエネルギー効率戦略の豊富な証拠を提供することにより,ML対応システムに最適なドリフト検出法を選択する上で,ML実践者を支援するものである。

関連論文リスト

• Time to Retrain? Detecting Concept Drifts in Machine Learning Systems [1.4499463058550683]
  機械学習(ML)モデルにおける概念ドリフトを検出するためのモデル非依存手法(CDSeer)を提案する。 その結果、CDSeerの精度とリコールは最先端と比較して優れており、手作業によるラベリングは極めて少ないことがわかった。 CDSeerのパフォーマンス向上と導入の容易さは、MLシステムをより信頼性の高いものにする上で価値がある。
  論文  参考訳（メタデータ） (2024-10-11T18:47:39Z)
• Cal-DETR: Calibrated Detection Transformer [67.75361289429013]
  本稿では,Deformable-DETR,UP-DETR,DINOのキャリブレーション検出トランス(Cal-DETR)のメカニズムを提案する。 我々は、不確実性を利用してクラスロジットを変調する不確実性誘導ロジット変調機構を開発する。 その結果、Cal-DETRは、ドメイン内およびドメイン外の両方を校正する競合する列車時間法に対して有効であることがわかった。
  論文  参考訳（メタデータ） (2023-11-06T22:13:10Z)
• Unsupervised Domain Adaptation for Self-Driving from Past Traversal Features [69.47588461101925]
  本研究では,新しい運転環境に3次元物体検出器を適応させる手法を提案する。 提案手法は,空間的量子化履歴特徴を用いたLiDARに基づく検出モデルを強化する。 実世界のデータセットの実験では、大幅な改善が示されている。
  論文  参考訳（メタデータ） (2023-09-21T15:00:31Z)
• Are Concept Drift Detectors Reliable Alarming Systems? -- A Comparative Study [6.7961908135481615]
  コンセプトドリフト(concept drift)またはコンセプトドリフト(concept drift)は、機械学習モデルのパフォーマンスに影響を与える。 本研究では, ドリフト検出装置の信頼性を評価し, 時間内ドリフトの同定を行う。 本研究の目的は,ドリフト検出器がどの状況で使用されるべきかを,実践者が理解できるようにすることである。
  論文  参考訳（メタデータ） (2022-11-23T16:31:15Z)
• StreamYOLO: Real-time Object Detection for Streaming Perception [84.2559631820007]
  将来を予測する能力を備えたモデルを提供し、ストリーミング知覚の結果を大幅に改善する。 本稿では,複数の速度を駆動するシーンについて考察し,VasAP(Velocity-Awared streaming AP)を提案する。 本手法は,Argoverse-HDデータセットの最先端性能を実現し,SAPとVsAPをそれぞれ4.7%,VsAPを8.2%改善する。
  論文  参考訳（メタデータ） (2022-07-21T12:03:02Z)
• The KFIoU Loss for Rotated Object Detection [115.334070064346]
  本稿では,SkewIoU損失とトレンドレベルアライメントを両立できる近似的損失を考案する上で,有効な方法の1つとして論じる。 具体的には、対象をガウス分布としてモデル化し、SkewIoUのメカニズムを本質的に模倣するためにカルマンフィルタを採用する。 KFIoUと呼ばれる新たな損失は実装が容易で、正確なSkewIoUよりもうまく動作する。
  論文  参考訳（メタデータ） (2022-01-29T10:54:57Z)
• Detecting Concept Drift With Neural Network Model Uncertainty [0.0]
  不確実ドリフト検出(UDD)は、真のラベルにアクセスすることなくドリフトを検出することができる。 入力データに基づくドリフト検出とは対照的に,現在の入力データが予測モデルの特性に与える影響を考察する。 UDDは2つの合成および10の実世界のデータセットにおいて、回帰処理と分類処理の両方において、他の最先端戦略よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-07-05T08:56:36Z)
• Automatic Learning to Detect Concept Drift [40.69280758487987]
  誤り率の変化パターンを追跡し,コンセプトドリフトの分類を学習する新しいフレームワークであるMeta-ADDを提案する。 具体的には、トレーニングフェーズにおいて、様々なコンセプトドリフトの誤差率に基づいてメタ特徴を抽出し、その後、原型ニューラルネットワークを介してメタ検出装置を開発する。 検出フェーズでは、学習したメタ検出器が微調整され、ストリームベースのアクティブラーニングを介して対応するデータストリームに適応する。
  論文  参考訳（メタデータ） (2021-05-04T11:10:39Z)
• Adversarial Concept Drift Detection under Poisoning Attacks for Robust Data Stream Mining [15.49323098362628]
  本稿では,敵対的攻撃と毒殺攻撃の存在下でのロバストな概念ドリフト検出のための枠組みを提案する。 本稿では,2種類の逆流の概念と,頑健な訓練可能なドリフト検出器の分類について紹介する。 また,ロバストネスの相対損失 (Relative Loss of Robustness) についても紹介する。
  論文  参考訳（メタデータ） (2020-09-20T18:46:31Z)
• SADet: Learning An Efficient and Accurate Pedestrian Detector [68.66857832440897]
  本稿では,一段検出器の検出パイプラインに対する一連の最適化手法を提案する。 効率的な歩行者検出のための単発アンカーベース検出器(SADet)を形成する。 構造的には単純だが、VGA解像度の画像に対して最先端の結果と20ドルFPSのリアルタイム速度を示す。
  論文  参考訳（メタデータ） (2020-07-26T12:32:38Z)
• EHSOD: CAM-Guided End-to-end Hybrid-Supervised Object Detection with Cascade Refinement [53.69674636044927]
  本稿では,エンド・ツー・エンドのハイブリッド型オブジェクト検出システムであるEHSODについて述べる。 完全なアノテートと弱いアノテートの両方で、ワンショットでトレーニングすることができる。 完全なアノテートされたデータの30%しか持たない複数のオブジェクト検出ベンチマークで、同等の結果が得られる。
  論文  参考訳（メタデータ） (2020-02-18T08:04:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。