論文の概要: Reliably detecting model failures in deployment without labels

• arxiv url: http://arxiv.org/abs/2506.05047v2
• Date: Mon, 09 Jun 2025 16:57:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 16:33:10.17804
• Title: Reliably detecting model failures in deployment without labels
• Title（参考訳）: ラベルのないデプロイメントにおけるモデル障害の信頼性検出
• Authors: Viet Nguyen, Changjian Shui, Vijay Giri, Siddarth Arya, Amol Verma, Fahad Razak, Rahul G. Krishnan,
• Abstract要約: 本稿では,デプロイ後劣化(PDD)モニタリングの問題点を定式化し,対処する。 本稿では,予測モデルの相違に基づく,実用的で効率的なモニタリングアルゴリズムD3Mを提案する。 標準ベンチマークと実世界の大規模内科データセットによる実証的な結果から,フレームワークの有効性が示された。
• 参考スコア（独自算出の注目度）: 10.006585036887929
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The distribution of data changes over time; models operating operating in dynamic environments need retraining. But knowing when to retrain, without access to labels, is an open challenge since some, but not all shifts degrade model performance. This paper formalizes and addresses the problem of post-deployment deterioration (PDD) monitoring. We propose D3M, a practical and efficient monitoring algorithm based on the disagreement of predictive models, achieving low false positive rates under non-deteriorating shifts and provides sample complexity bounds for high true positive rates under deteriorating shifts. Empirical results on both standard benchmark and a real-world large-scale internal medicine dataset demonstrate the effectiveness of the framework and highlight its viability as an alert mechanism for high-stakes machine learning pipelines.
• Abstract（参考訳）: 動的環境で動作するモデルには、再トレーニングが必要である。 しかし、ラベルへのアクセスなしにいつ再トレーニングするかを知ることは、一部の人にとってはオープンな課題だが、すべてがモデルのパフォーマンスを低下させるわけではない。 本稿では,デプロイ後劣化(PDD)モニタリングの問題点を定式化し,対処する。 予測モデルの相違に基づく実用的で効率的なモニタリングアルゴリズムであるD3Mを提案する。 標準ベンチマークと実世界の大規模医療データセットによる実証的な結果は、このフレームワークの有効性を実証し、その生存性を、高度な機械学習パイプラインの警告メカニズムとして強調する。

関連論文リスト

• WATCH: Adaptive Monitoring for AI Deployments via Weighted-Conformal Martingales [13.807613678989664]
  非パラメトリックシーケンシャルテストのメソッド -- 特にコンフォーマルテストマーチンチャル(CTM)と任意の時間価推論 -- は、この監視タスクに有望なツールを提供する。 既存のアプローチは、限られた仮説クラスやアラーム基準の監視に限られています。」
  論文  参考訳（メタデータ） (2025-05-07T17:53:47Z)
• Strengthening Anomaly Awareness [0.0]
  我々は、教師なし異常検出の強化を目的とした、異常認識フレームワークの洗練されたバージョンを提案する。 本稿では,2段階のトレーニング戦略を通じて,変分オートエンコーダ(VAE)の最小限の監視を導入する。
  論文  参考訳（メタデータ） (2025-04-15T16:52:22Z)
• Robust Distribution Alignment for Industrial Anomaly Detection under Distribution Shift [51.24522135151649]
  異常検出は産業アプリケーションの品質管理において重要な役割を担っている。 既存の方法は、一般化可能なモデルをトレーニングすることで、ドメインシフトに対処しようとする。 提案手法は,最先端の異常検出法や領域適応法と比較して,優れた結果を示す。
  論文  参考訳（メタデータ） (2025-03-19T05:25:52Z)
• Does Unsupervised Domain Adaptation Improve the Robustness of Amortized Bayesian Inference? A Systematic Evaluation [3.4109073456116477]
  近年のロバストなアプローチでは、シミュレーションおよび観測データの埋め込み空間と一致するように、教師なし領域適応(UDA)が採用されている。 本研究では,領域間の要約空間の整合が,非モデル化現象や雑音の影響を効果的に緩和することを示した。 以上の結果から,UDAを用いてABIのロバスト性を高める際に,不特定型を慎重に検討することの必要性が示唆された。
  論文  参考訳（メタデータ） (2025-02-07T14:13:51Z)
• Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
  異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。 本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-06T14:49:59Z)
• An Outlier Exposure Approach to Improve Visual Anomaly Detection Performance for Mobile Robots [76.36017224414523]
  移動ロボットの視覚異常検出システム構築の問題点を考察する。 標準異常検出モデルは、非異常データのみからなる大規模なデータセットを用いて訓練される。 本研究では,これらのデータを利用してリアルNVP異常検出モデルの性能向上を図る。
  論文  参考訳（メタデータ） (2022-09-20T15:18:13Z)
• CausalAgents: A Robustness Benchmark for Motion Forecasting using Causal Relationships [8.679073301435265]
  既存のデータに摂動を適用することにより、モデルロバスト性の評価と改善のための新しいベンチマークを構築する。 我々はこれらのラベルを使用して、現場から非因果的エージェントを削除することでデータを摂動する。 非因果摂動下では, minADE の相対的な変化は, 原型と比較して25$-$38%である。
  論文  参考訳（メタデータ） (2022-07-07T21:28:23Z)
• Self-Supervised Training with Autoencoders for Visual Anomaly Detection [61.62861063776813]
  我々は, 正規サンプルの分布を低次元多様体で支持する異常検出において, 特定のユースケースに焦点を当てた。 我々は、訓練中に識別情報を活用する自己指導型学習体制に適応するが、通常の例のサブ多様体に焦点をあてる。 製造領域における視覚異常検出のための挑戦的なベンチマークであるMVTec ADデータセットで、最先端の新たな結果を達成する。
  論文  参考訳（メタデータ） (2022-06-23T14:16:30Z)
• Tracking the risk of a deployed model and detecting harmful distribution shifts [105.27463615756733]
  実際には、デプロイされたモデルのパフォーマンスが大幅に低下しないという、良心的なシフトを無視することは理にかなっている。 我々は,警告を発射する有効な方法は,(a)良性な警告を無視しながら有害なシフトを検知し,(b)誤報率を増大させることなく,モデル性能の連続的なモニタリングを可能にすることを論じる。
  論文  参考訳（メタデータ） (2021-10-12T17:21:41Z)
• SUOD: Accelerating Large-Scale Unsupervised Heterogeneous Outlier Detection [63.253850875265115]
  外乱検出(OD)は、一般的なサンプルから異常物体を識別するための機械学習(ML)タスクである。 そこで我々は,SUODと呼ばれるモジュール型加速度システムを提案する。
  論文  参考訳（メタデータ） (2020-03-11T00:22:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。