論文の概要: Out-of-Distribution Detection and Data Drift Monitoring using Statistical Process Control

• arxiv url: http://arxiv.org/abs/2402.08088v1
• Date: Mon, 12 Feb 2024 22:10:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-14 17:32:03.787705
• Title: Out-of-Distribution Detection and Data Drift Monitoring using Statistical Process Control
• Title（参考訳）: 統計的プロセス制御を用いた分布外検出とデータドリフトモニタリング
• Authors: Ghada Zamzmi, Kesavan Venkatesh, Brandon Nelson, Smriti Prathapan, Paul H. Yi, Berkman Sahiner, and Jana G. Delfino
• Abstract要約: 機械学習(ML)メソッドは、トレーニングディストリビューションから逸脱したデータで失敗することが多い。 これは、データドリフトが患者の安全を損なう予期せぬパフォーマンスを引き起こす可能性がある、臨床環境でML対応デバイスにとって重要な懸念である。 本稿では,ML 対応統計処理制御(SPC)フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 1.2196109054410231
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Background: Machine learning (ML) methods often fail with data that deviates from their training distribution. This is a significant concern for ML-enabled devices in clinical settings, where data drift may cause unexpected performance that jeopardizes patient safety. Method: We propose a ML-enabled Statistical Process Control (SPC) framework for out-of-distribution (OOD) detection and drift monitoring. SPC is advantageous as it visually and statistically highlights deviations from the expected distribution. To demonstrate the utility of the proposed framework for monitoring data drift in radiological images, we investigated different design choices, including methods for extracting feature representations, drift quantification, and SPC parameter selection. Results: We demonstrate the effectiveness of our framework for two tasks: 1) differentiating axial vs. non-axial computed tomography (CT) images and 2) separating chest x-ray (CXR) from other modalities. For both tasks, we achieved high accuracy in detecting OOD inputs, with 0.913 in CT and 0.995 in CXR, and sensitivity of 0.980 in CT and 0.984 in CXR. Our framework was also adept at monitoring data streams and identifying the time a drift occurred. In a simulation with 100 daily CXR cases, we detected a drift in OOD input percentage from 0-1% to 3-5% within two days, maintaining a low false-positive rate. Through additional experimental results, we demonstrate the framework's data-agnostic nature and independence from the underlying model's structure. Conclusion: We propose a framework for OOD detection and drift monitoring that is agnostic to data, modality, and model. The framework is customizable and can be adapted for specific applications.
• Abstract（参考訳）: 背景: マシンラーニング(ml)メソッドは、トレーニング分布から逸脱したデータで失敗することが多い。 これは、データドリフトが患者の安全を損なう予期せぬパフォーマンスを引き起こす可能性がある臨床環境でML対応デバイスにとって重要な懸念である。 方法: オフ・オブ・ディストリビューション(OOD)検出とドリフトモニタリングのためのML対応統計処理制御(SPC)フレームワークを提案する。 SPCは、視覚的かつ統計的に、期待される分布からの逸脱を強調しているため、有利である。 放射線画像中のデータドリフトを監視するためのフレームワークの有用性を実証するため,特徴表現抽出法,ドリフト定量化法,spcパラメータ選択法など,異なる設計選択法を検討した。 結果:2つの課題に対するフレームワークの有効性を示す。 1)軸方向ct画像と非軸方向ct画像の鑑別 2)胸部X線(CXR)を他の形態から分離する。 どちらのタスクにおいても, ood入力の検出精度は高く, ct 0.913, cxr 0.995, ct 0.980, cxr 0.984。 当社のフレームワークは、データストリームの監視や、ドリフトの発生時期の特定にも適していました。 CXR100例を対象に,2日以内にOOD入力率0-1%から3-5%のドリフトが検出され,偽陽性率は低かった。 さらなる実験結果を通じて、基礎となるモデルの構造からのデータ非依存な性質と独立性を示す。 結論:我々は,データやモダリティ,モデルに依存しないood検出とドリフト監視のためのフレームワークを提案する。 フレームワークはカスタマイズ可能で、特定のアプリケーションに適応できる。

関連論文リスト

• Can Your Generative Model Detect Out-of-Distribution Covariate Shift? [2.0144831048903566]
  条件付き正規化フロー(cNFs)を用いたOODセンサデータ検出のための新しい手法を提案する。 CIFAR10 対 CIFAR10-C と ImageNet200 対 ImageNet200-C では,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-09-04T19:27:56Z)
• Efficient Data-Sketches and Fine-Tuning for Early Detection of Distributional Drift in Medical Imaging [5.1358645354733765]
  本稿では,CT-Scan医療画像における分布のドリフトを検出するための,高精度かつ高感度なアプローチを提案する。 我々は,リアルタイムな異常検出のための頑健なライブラリモデルを開発し,画像の効率的な比較を可能にした。 乳がん画像から関連する特徴を抽出するために,視力変換器の事前訓練モデルを微調整した。
  論文  参考訳（メタデータ） (2024-08-15T23:46:37Z)
• Conservative Prediction via Data-Driven Confidence Minimization [70.93946578046003]
  機械学習の安全性クリティカルな応用においては、モデルが保守的であることが望ましいことが多い。 本研究では,不確実性データセットに対する信頼性を最小化するデータ駆動信頼性最小化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-08T07:05:36Z)
• Quantifying the effect of X-ray scattering for data generation in real-time defect detection [1.124958340749622]
  インライン検出は高度に正確で堅牢で高速なアルゴリズムを必要とする。 DCNNは、大量のラベル付きデータが利用できる場合、これらの要件を満たす。 X線散乱はシミュレーションするのに計算コストがかかることが知られている。
  論文  参考訳（メタデータ） (2023-05-22T08:29:43Z)
• CODiT: Conformal Out-of-Distribution Detection in Time-Series Data [11.565104282674973]
  多くの応用において、機械学習モデルへの入力は時間列を形成する。 共形異常検出フレームワークにおける非整合性尺度として,非分布時間同値からの偏差を用いる。 自律運転におけるコンピュータビジョンデータセットにおける最先端結果の達成によるCODiTの有効性について述べる。
  論文  参考訳（メタデータ） (2022-07-24T16:41:14Z)
• Improving Classification Model Performance on Chest X-Rays through Lung Segmentation [63.45024974079371]
  本稿では, セグメンテーションによる異常胸部X線(CXR)識別性能を向上させるための深層学習手法を提案する。 提案手法は,CXR画像中の肺領域を局所化するための深層ニューラルネットワーク(XLSor)と,大規模CXRデータセットで事前学習した自己教師あり運動量コントラスト(MoCo)モデルのバックボーンを用いたCXR分類モデルである。
  論文  参考訳（メタデータ） (2022-02-22T15:24:06Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• A Deep Learning Based Workflow for Detection of Lung Nodules With Chest Radiograph [0.0]
  CXRから肺領域を識別するセグメンテーションモデルを構築し,それを16個のパッチに分割した。 これらのラベル付きパッチを使用して、ディープニューラルネットワーク(DNN)モデルを微調整し、パッチをポジティブまたはネガティブに分類する。
  論文  参考訳（メタデータ） (2021-12-19T16:19:46Z)
• Chest x-ray automated triage: a semiologic approach designed for clinical implementation, exploiting different types of labels through a combination of four Deep Learning architectures [83.48996461770017]
  本研究では,異なる畳み込みアーキテクチャの後期融合に基づく深層学習手法を提案する。 公開胸部x線画像と機関アーカイブを組み合わせたトレーニングデータセットを4つ構築した。 4つの異なるディープラーニングアーキテクチャをトレーニングし、それらのアウトプットとレイトフュージョン戦略を組み合わせることで、統一されたツールを得ました。
  論文  参考訳（メタデータ） (2020-12-23T14:38:35Z)
• Learn what you can't learn: Regularized Ensembles for Transductive Out-of-distribution Detection [76.39067237772286]
  ニューラルネットワークの現在のアウト・オブ・ディストリビューション(OOD)検出アルゴリズムは,様々なOOD検出シナリオにおいて不満足な結果をもたらすことを示す。 本稿では,テストデータのバッチを観察した後に検出方法を調整することで,このような「ハード」なOODシナリオがいかに有用かを検討する。 本稿では,テストデータと正規化に人工ラベリング手法を用いて,テストバッチ内のOODサンプルに対してのみ矛盾予測を生成するモデルのアンサンブルを求める手法を提案する。
  論文  参考訳（メタデータ） (2020-12-10T16:55:13Z)
• Statistical control for spatio-temporal MEG/EEG source imaging with desparsified multi-task Lasso [102.84915019938413]
  脳磁図(MEG)や脳電図(EEG)のような非侵襲的手法は、非侵襲的手法を約束する。 ソースローカライゼーション(ソースイメージング)の問題は、しかしながら、高次元の統計的推測問題を引き起こす。 この問題に対処するために,分離されたマルチタスクラッソ(ecd-MTLasso)のアンサンブルを提案する。
  論文  参考訳（メタデータ） (2020-09-29T21:17:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。