論文の概要: Open-Source Drift Detection Tools in Action: Insights from Two Use Cases

• arxiv url: http://arxiv.org/abs/2404.18673v2
• Date: Fri, 10 May 2024 11:20:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-13 17:45:54.551217
• Title: Open-Source Drift Detection Tools in Action: Insights from Two Use Cases
• Title（参考訳）: オープンソースドリフト検出ツールの動作:2つのユースケースから
• Authors: Rieke Müller, Mohamed Abdelaal, Davor Stjelja,
• Abstract要約: D3Benchは、Evidently AI、NannyML、Alibi-Detectの能力を調べ、2つのスマートなビルディングユースケースから現実のデータを活用する。 MLパイプラインへの統合性、多様なデータタイプへの適応性、ユーザフレンドリさ、計算効率、リソース要求など、包括的な非機能的基準を検討する。 以上の結果から,Evidently AIはその一般的なデータドリフト検出に際し,NannyMLはシフトの正確なタイミングを推定し,その結果が予測精度に与える影響を評価するのに優れていることがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Data drifts pose a critical challenge in the lifecycle of machine learning (ML) models, affecting their performance and reliability. In response to this challenge, we present a microbenchmark study, called D3Bench, which evaluates the efficacy of open-source drift detection tools. D3Bench examines the capabilities of Evidently AI, NannyML, and Alibi-Detect, leveraging real-world data from two smart building use cases.We prioritize assessing the functional suitability of these tools to identify and analyze data drifts. Furthermore, we consider a comprehensive set of non-functional criteria, such as the integrability with ML pipelines, the adaptability to diverse data types, user-friendliness, computational efficiency, and resource demands. Our findings reveal that Evidently AI stands out for its general data drift detection, whereas NannyML excels at pinpointing the precise timing of shifts and evaluating their consequent effects on predictive accuracy.
• Abstract（参考訳）: データドリフトは、機械学習(ML)モデルのライフサイクルにおいて重要な課題となり、そのパフォーマンスと信頼性に影響を与える。 この課題に対して,オープンソースのドリフト検出ツールの有効性を評価するマイクロベンチマークD3Benchを提案する。 D3Benchは、Evidently AI、NannyML、Alibi-Detectの能力を調査し、2つのスマートビルディングユースケースから現実のデータを活用し、これらのツールの機能的適合性を評価し、データドリフトを特定し分析する。 さらに,MLパイプラインの可積分性,多様なデータ型への適応性,ユーザフレンドリ性,計算効率,リソース要求など,包括的な非機能基準についても検討する。 以上の結果から,Evidently AIはその一般的なデータドリフト検出に際し,NannyMLはシフトの正確なタイミングを推定し,その結果が予測精度に与える影響を評価するのに優れていることがわかった。

関連論文リスト

• Self-supervised Feature Adaptation for 3D Industrial Anomaly Detection [59.41026558455904]
  具体的には,大規模ビジュアルデータセット上で事前学習されたモデルを利用した初期のマルチモーダルアプローチについて検討する。 本研究では,アダプタを微調整し,異常検出に向けたタスク指向の表現を学習するためのLSFA法を提案する。
  論文  参考訳（メタデータ） (2024-01-06T07:30:41Z)
• Clairvoyance: A Pipeline Toolkit for Medical Time Series [95.22483029602921]
  時系列学習は、データ駆動の*クリニカルな意思決定支援のパンとバターである* Clairvoyanceは、ソフトウェアツールキットとして機能する、統合されたエンドツーエンドのオートMLフレンドリなパイプラインを提案する。 Clairvoyanceは、臨床時系列MLのための包括的で自動化可能なパイプラインの生存可能性を示す最初のものである。
  論文  参考訳（メタデータ） (2023-10-28T12:08:03Z)
• Unsupervised Domain Adaptation for Self-Driving from Past Traversal Features [69.47588461101925]
  本研究では,新しい運転環境に3次元物体検出器を適応させる手法を提案する。 提案手法は,空間的量子化履歴特徴を用いたLiDARに基づく検出モデルを強化する。 実世界のデータセットの実験では、大幅な改善が示されている。
  論文  参考訳（メタデータ） (2023-09-21T15:00:31Z)
• DuEqNet: Dual-Equivariance Network in Outdoor 3D Object Detection for Autonomous Driving [4.489333751818157]
  まず3次元物体検出ネットワークに等分散の概念を導入するDuEqNetを提案する。 我々のモデルの双対同変は、局所的および大域的両方の同変的特徴を抽出することができる。 本モデルでは, 配向精度が向上し, 予測効率が向上する。
  論文  参考訳（メタデータ） (2023-02-27T08:30:02Z)
• Resolving Class Imbalance for LiDAR-based Object Detector by Dynamic Weight Average and Contextual Ground Truth Sampling [7.096611243139798]
  実世界の運転データセットは、しばしばデータ不均衡の問題に悩まされる。 このデータ不均衡問題に対処する手法を提案する。 KITTIおよびnuScenesデータセットを用いた実験により,提案手法の有効性が確認された。
  論文  参考訳（メタデータ） (2022-10-07T05:23:25Z)
• Benchmarking the Robustness of LiDAR-Camera Fusion for 3D Object Detection [58.81316192862618]
  自律運転における3D知覚のための2つの重要なセンサーは、カメラとLiDARである。 これら2つのモダリティを融合させることで、3次元知覚モデルの性能を大幅に向上させることができる。 我々は、最先端の核融合法を初めてベンチマークした。
  論文  参考訳（メタデータ） (2022-05-30T09:35:37Z)
• Understanding Programmatic Weak Supervision via Source-aware Influence Function [76.74549130841383]
  Programmatic Weak Supervision (PWS)は、複数の弱い監督ソースのソース投票を確率的トレーニングラベルに集約する。 エンドモデルのトレーニング目標を分解し、各(データ、ソース、クラス)に関連する影響を計算するために、インフルエンス関数(IF)を構築します。 これらのプリミティブな影響スコアは、ソース投票、監督ソース、トレーニングデータなど、個々のコンポーネントPWSの影響を推定するために使用することができる。
  論文  参考訳（メタデータ） (2022-05-25T15:57:24Z)
• Feature Extraction for Machine Learning-based Intrusion Detection in IoT Networks [6.6147550436077776]
  本稿では, 特徴量削減 (FR) と機械学習 (ML) の手法が, 様々なデータセットにまたがって一般化できるかどうかを明らかにすることを目的とする。 主成分分析(PCA)、自動エンコーダ(AE)、線形識別分析(LDA)の3つの特徴抽出(FE)アルゴリズムの検出精度を評価する。
  論文  参考訳（メタデータ） (2021-08-28T23:52:18Z)
• Out-Of-Bag Anomaly Detection [0.9449650062296822]
  データ異常は、実世界のデータセットでユビキタスであり、機械学習(ML)システムに悪影響を及ぼす可能性がある。 本稿では,新しいモデルに基づく異常検出手法を提案し,その手法をアウト・オブ・バグ検出と呼ぶ。 本手法は,家庭評価のケーススタディを通じて,データ前処理のステップとして,MLシステムの精度と信頼性を向上させることができることを示す。
  論文  参考訳（メタデータ） (2020-09-20T06:01:52Z)
• Causal Feature Selection for Algorithmic Fairness [61.767399505764736]
  データ管理の統合コンポーネントにおける公平性について検討する。 本稿では,データセットの公平性を保証する特徴のサブコレクションを同定する手法を提案する。
  論文  参考訳（メタデータ） (2020-06-10T20:20:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。