論文の概要: All models are local: time to replace external validation with recurrent local validation

• arxiv url: http://arxiv.org/abs/2305.03219v2
• Date: Sat, 13 May 2023 04:20:16 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-16 20:44:51.172823
• Title: All models are local: time to replace external validation with recurrent local validation
• Title（参考訳）: すべてのモデルはローカルである: 外部バリデーションをリカレントローカルバリデーションに置き換える時間
• Authors: Alex Youssef, Michael Pencina, Anshul Thakur, Tingting Zhu, David Clifton, Nigam H. Shah
• Abstract要約: MLモデルの一般化性を保証するため、外部検証がしばしば推奨される。 一般化性や、モデルの臨床的有用性に匹敵するものではない。 MLモデルの安全性やユーティリティを確立するには,外部検証が不十分である,と提案する。
• 参考スコア（独自算出の注目度）: 10.043347396280009
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: External validation is often recommended to ensure the generalizability of ML models. However, it neither guarantees generalizability nor equates to a model's clinical usefulness (the ultimate goal of any clinical decision-support tool). External validation is misaligned with current healthcare ML needs. First, patient data changes across time, geography, and facilities. These changes create significant volatility in the performance of a single fixed model (especially for deep learning models, which dominate clinical ML). Second, newer ML techniques, current market forces, and updated regulatory frameworks are enabling frequent updating and monitoring of individual deployed model instances. We submit that external validation is insufficient to establish ML models' safety or utility. Proposals to fix the external validation paradigm do not go far enough. Continued reliance on it as the ultimate test is likely to lead us astray. We propose the MLOps-inspired paradigm of recurring local validation as an alternative that ensures the validity of models while protecting against performance-disruptive data variability. This paradigm relies on site-specific reliability tests before every deployment, followed by regular and recurrent checks throughout the life cycle of the deployed algorithm. Initial and recurrent reliability tests protect against performance-disruptive distribution shifts, and concept drifts that jeopardize patient safety.
• Abstract（参考訳）: 外部検証はMLモデルの一般化性を保証するためにしばしば推奨される。 しかし、汎用性や、モデルの臨床的有用性(あらゆる臨床的意思決定支援ツールの最終的な目標)に匹敵するものではない。 外部検証は、現在のヘルスケアMLのニーズと不一致である。 まず、患者データは時間、地理、施設によって変化する。 これらの変化は、単一の固定モデル(特に臨床mlを支配しているディープラーニングモデル)のパフォーマンスに大きなボラティリティをもたらします。 第二に、新しいML技術、現在の市場力、更新された規制フレームワークは、デプロイされた個々のモデルインスタンスの頻繁な更新と監視を可能にしている。 MLモデルの安全性やユーティリティを確立するには,外部検証が不十分であることを示す。 外部バリデーションパラダイムを修正するための提案は、十分に行き届かない。 最終的なテストが私たちを混乱に導く可能性が高いので、引き続きそれに依存します。 本稿では,MLOpsにインスパイアされた局所的検証のパラダイムを提案する。 このパラダイムは、デプロイ毎のサイト固有の信頼性テストと、デプロイされたアルゴリズムのライフサイクル全体にわたる定期的かつ反復的なチェックに依存する。 初期および繰り返しの信頼性テストは、パフォーマンス破壊的な分散シフトと、患者の安全性を損なうコンセプトドリフトから保護される。

関連論文リスト

• Unsupervised Model Diagnosis [49.36194740479798]
  本稿では,ユーザガイドを使わずに,意味論的対実的説明を生成するために,Unsupervised Model Diagnosis (UMO)を提案する。 提案手法は意味論における変化を特定し可視化し,その変化を広範囲なテキストソースの属性と照合する。
  論文  参考訳（メタデータ） (2024-10-08T17:59:03Z)
• Enhancing Security in Federated Learning through Adaptive Consensus-Based Model Update Validation [2.28438857884398]
  本稿では,ラベルフリップ攻撃に対して,FL(Federated Learning)システムを構築するための高度なアプローチを提案する。 本稿では,適応的しきい値設定機構と統合されたコンセンサスに基づく検証プロセスを提案する。 以上の結果から,FLシステムのレジリエンスを高め,ラベルフリップ攻撃の顕著な緩和効果が示唆された。
  論文  参考訳（メタデータ） (2024-03-05T20:54:56Z)
• Monitoring Machine Learning Models: Online Detection of Relevant Deviations [0.0]
  機械学習モデルは、データ分散やその他の要因の変化によって、時間の経過とともに劣化する可能性がある。 本稿では,関連する変化を検出するための逐次モニタリング手法を提案する。 本研究は, 微ゆらぎと有意義な劣化を区別する実用的な解決法である。
  論文  参考訳（メタデータ） (2023-09-26T18:46:37Z)
• SureFED: Robust Federated Learning via Uncertainty-Aware Inward and Outward Inspection [29.491675102478798]
  本稿では,堅牢なフェデレーション学習のための新しいフレームワークであるSureFEDを紹介する。 SureFEDは、良識のあるクライアントのローカル情報を使って信頼を確立する。 理論的には、データとモデル中毒攻撃に対するアルゴリズムの堅牢性を証明する。
  論文  参考訳（メタデータ） (2023-08-04T23:51:05Z)
• A Generative Framework for Low-Cost Result Validation of Machine Learning-as-a-Service Inference [4.478182379059458]
  FidesはML-as-a-Service(ML)推論のリアルタイム整合性検証のための新しいフレームワークである。 Fidesは、統計的分析とばらつき測定を使用して、サービスモデルが攻撃を受けている場合、高い確率で識別するクライアント側攻撃検出モデルを備えている。 攻撃検出と再分類モデルの訓練のための生成的逆ネットワークフレームワークを考案した。
  論文  参考訳（メタデータ） (2023-03-31T19:17:30Z)
• Safe AI for health and beyond -- Monitoring to transform a health service [51.8524501805308]
  機械学習アルゴリズムの出力を監視するために必要なインフラストラクチャを評価する。 モデルのモニタリングと更新の例を示す2つのシナリオを提示します。
  論文  参考訳（メタデータ） (2023-03-02T17:27:45Z)
• Distillation to Enhance the Portability of Risk Models Across Institutions with Large Patient Claims Database [12.452703677540505]
  可読性予測モデルのクロスサイト評価によるモデルポータビリティの実現性について検討する。 再帰型ニューラルネットワークを自己注意で拡張し、専門家の特徴とブレンドして、可読性予測モデルを構築する。 実験の結果、ある機関で訓練・試験されたMLモデルの直接適用は、同一施設で訓練・試験されたMLモデルよりも悪い結果が得られた。
  論文  参考訳（メタデータ） (2022-07-06T05:26:32Z)
• Adaptive Memory Networks with Self-supervised Learning for Unsupervised Anomaly Detection [54.76993389109327]
  教師なし異常検出は、通常のデータのみをトレーニングすることで、目に見えない異常を検出するモデルを構築することを目的としている。 本稿では,これらの課題に対処するために,自己教師付き学習(AMSL)を用いた適応記憶ネットワーク(Adaptive Memory Network)を提案する。 AMSLには、一般的な正規パターンを学ぶための自己教師付き学習モジュールと、リッチな特徴表現を学ぶための適応型メモリ融合モジュールが組み込まれている。
  論文  参考訳（メタデータ） (2022-01-03T03:40:21Z)
• Certified Adversarial Defenses Meet Out-of-Distribution Corruptions: Benchmarking Robustness and Simple Baselines [65.0803400763215]
  この研究は、最先端のロバストモデルがアウト・オブ・ディストリビューションデータに遭遇した場合、敵のロバスト性がどのように変化を保証しているかを批判的に検証する。 本稿では,トレーニングデータのスペクトルカバレッジを改善するために,新たなデータ拡張方式であるFourierMixを提案する。 また,FourierMixの拡張により,様々なOODベンチマークにおいて,より優れたロバスト性保証を実現することが可能となる。
  論文  参考訳（メタデータ） (2021-12-01T17:11:22Z)
• MEMO: Test Time Robustness via Adaptation and Augmentation [131.28104376280197]
  テスト時間ロバスト化の問題、すなわちモデルロバスト性を改善するためにテストインプットを用いて検討する。 最近の先行研究ではテスト時間適応法が提案されているが、それぞれ追加の仮定を導入している。 モデルが確率的で適応可能な任意のテスト環境で使用できるシンプルなアプローチを提案する。
  論文  参考訳（メタデータ） (2021-10-18T17:55:11Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。