論文の概要: Monitoring Machine Learning Models: Online Detection of Relevant Deviations

• arxiv url: http://arxiv.org/abs/2309.15187v1
• Date: Tue, 26 Sep 2023 18:46:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-28 18:09:09.527007
• Title: Monitoring Machine Learning Models: Online Detection of Relevant Deviations
• Title（参考訳）: 機械学習モデルのモニタリング: 関連する偏差のオンライン検出
• Authors: Florian Heinrichs
• Abstract要約: 機械学習モデルは、データ分散やその他の要因の変化によって、時間の経過とともに劣化する可能性がある。 本稿では,関連する変化を検出するための逐次モニタリング手法を提案する。 本研究は, 微ゆらぎと有意義な劣化を区別する実用的な解決法である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine learning models are essential tools in various domains, but their performance can degrade over time due to changes in data distribution or other factors. On one hand, detecting and addressing such degradations is crucial for maintaining the models' reliability. On the other hand, given enough data, any arbitrary small change of quality can be detected. As interventions, such as model re-training or replacement, can be expensive, we argue that they should only be carried out when changes exceed a given threshold. We propose a sequential monitoring scheme to detect these relevant changes. The proposed method reduces unnecessary alerts and overcomes the multiple testing problem by accounting for temporal dependence of the measured model quality. Conditions for consistency and specified asymptotic levels are provided. Empirical validation using simulated and real data demonstrates the superiority of our approach in detecting relevant changes in model quality compared to benchmark methods. Our research contributes a practical solution for distinguishing between minor fluctuations and meaningful degradations in machine learning model performance, ensuring their reliability in dynamic environments.
• Abstract（参考訳）: 機械学習モデルは、さまざまな領域において必須のツールであるが、データ分散やその他の要因の変化により、時間とともにパフォーマンスが低下する可能性がある。 モデル信頼性を維持するためには,このような劣化の検出と対処が不可欠である。 一方、十分なデータがあれば、任意の品質変化を検出することができる。 モデルの再トレーニングや置換といった介入は費用がかかる可能性があるため、変更が所定のしきい値を超えた場合にのみ実施すべきであると主張する。 関連する変化を検出するための逐次モニタリング手法を提案する。 提案手法は,不必要な警告を低減し,測定したモデル品質の時間的依存性を考慮し,複数のテスト問題を克服する。 一貫性と特定の漸近レベルの条件を提供する。 シミュレーションおよび実データを用いた実証検証は,ベンチマーク手法と比較して,モデル品質の関連する変化を検出する上で,我々のアプローチが優れていることを示す。 本研究は,機械学習モデルの性能において,ゆらぎと意味のある劣化を区別し,動的環境における信頼性を確保するための実践的ソリューションを提供する。

関連論文リスト

• Complementary Learning for Real-World Model Failure Detection [15.779651238128562]
  そこでは、異なる訓練パラダイムから学習特性を用いてモデルエラーを検出する。 我々は,制御的かつ自己管理的な方法で,点群における意味的および予測的動作ラベルを学習することにより,我々のアプローチを実証する。 大規模定性解析を行い、ライダー点雲にラベル付き異常を持つ最初のデータセットであるLidarCODAを提示する。
  論文  参考訳（メタデータ） (2024-07-19T13:36:35Z)
• Is Your Anomaly Detector Ready for Change? Adapting AIOps Solutions to the Real World [15.1355549683548]
  モデル更新頻度から2種類の異常検出モデル保守手法を解析した。 我々は、データ変更監視ツールが、再トレーニングによって異常検出モデルを更新する必要があるかどうかを判断できるかどうかを検討する。
  論文  参考訳（メタデータ） (2023-11-17T09:54:35Z)
• QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
  モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。 QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。 例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
  論文  参考訳（メタデータ） (2023-11-06T00:21:44Z)
• Reliability in Semantic Segmentation: Are We on the Right Track? [15.0189654919665]
  我々は、古いResNetベースのアーキテクチャから新しいトランスフォーマーまで、さまざまなモデルを分析します。 近年のモデルでは, 信頼性は著しく高いが, 不確実性評価の点では, 全体として信頼性は高くない。 これは、ロバストネスと不確実性推定の両方に焦点を当てた現代のセグメンテーションモデルに関する最初の研究である。
  論文  参考訳（メタデータ） (2023-03-20T17:38:24Z)
• Generative Modeling Helps Weak Supervision (and Vice Versa) [87.62271390571837]
  本稿では,弱い監督と生成的敵ネットワークを融合したモデルを提案する。 弱い監督によるラベル推定と並行して、データの離散変数をキャプチャする。 これは、弱い教師付き合成画像と擬似ラベルによるデータ拡張を可能にする最初のアプローチである。
  論文  参考訳（メタデータ） (2022-03-22T20:24:21Z)
• Tracking the risk of a deployed model and detecting harmful distribution shifts [105.27463615756733]
  実際には、デプロイされたモデルのパフォーマンスが大幅に低下しないという、良心的なシフトを無視することは理にかなっている。 我々は,警告を発射する有効な方法は,(a)良性な警告を無視しながら有害なシフトを検知し,(b)誤報率を増大させることなく,モデル性能の連続的なモニタリングを可能にすることを論じる。
  論文  参考訳（メタデータ） (2021-10-12T17:21:41Z)
• Score-Based Change Detection for Gradient-Based Learning Machines [9.670556223243182]
  本稿では,経験的リスク最小化により学習した機械学習モデルの任意のコンポーネント数の変化を検出できる汎用的なスコアベース変化検出手法を提案する。 仮説テストの整合性を確立し、所定の誤報率を達成するためにそれを校正する方法を示す。
  論文  参考訳（メタデータ） (2021-06-27T01:38:11Z)
• ALT-MAS: A Data-Efficient Framework for Active Testing of Machine Learning Algorithms [58.684954492439424]
  少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。 ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
  論文  参考訳（メタデータ） (2021-04-11T12:14:04Z)
• DirectDebug: Automated Testing and Debugging of Feature Models [55.41644538483948]
  変数モデル(例えば、特徴モデル)は、ソフトウェアアーティファクトの変数と共通性を表現する一般的な方法である。 複雑でしばしば大規模な機能モデルは欠陥になりうる、すなわち、ソフトウェアアーチファクトの期待される変動特性を表現しない。
  論文  参考訳（メタデータ） (2021-02-11T11:22:20Z)
• How Training Data Impacts Performance in Learning-based Control [67.7875109298865]
  本稿では,トレーニングデータの密度と制御性能の関係を考察する。 データセットの品質尺度を定式化し、$rho$-gap と呼ぶ。 フィードバック線形化制御法に$rho$-gapを適用する方法を示す。
  論文  参考訳（メタデータ） (2020-05-25T12:13:49Z)
• On the Role of Dataset Quality and Heterogeneity in Model Confidence [27.657631193015252]
  安全クリティカルなアプリケーションは、正確で校正された確率を出力する機械学習モデルを必要とする。 未分類のディープネットワークは、過度に信頼された予測をすることが知られている。 本研究では,データセットサイズとラベルノイズがモデルの信頼性に与える影響について検討した。
  論文  参考訳（メタデータ） (2020-02-23T05:13:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。