論文の概要: Towards a Post-Market Monitoring Framework for Machine Learning-based
Medical Devices: A case study
- arxiv url: http://arxiv.org/abs/2311.11463v1
- Date: Mon, 20 Nov 2023 00:15:16 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-21 20:20:17.100818
- Title: Towards a Post-Market Monitoring Framework for Machine Learning-based
Medical Devices: A case study
- Title（参考訳）: 機械学習を用いた医療機器のポストマーケットモニタリングフレームワークに向けて:―ケーススタディ―
- Authors: Jean Feng, Adarsh Subbaswamy, Alexej Gossmann, Harvineet Singh,
Berkman Sahiner, Mi-Ok Kim, Gene Pennello, Nicholas Petrick, Romain
Pirracchio, Fan Xia
- Abstract要約: パフォーマンス監視は、機械学習アルゴリズムの安全性と有効性を保証するために重要である。
主な決定の1つは、現実世界(観測)と介入データの両方を選択することである。
術後の吐き気・吐き気に対するMLに基づくリスク予測アルゴリズムの検討を事例として検討する。
- 参考スコア（独自算出の注目度）: 6.329470650220206
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: After a machine learning (ML)-based system is deployed in clinical practice,
performance monitoring is important to ensure the safety and effectiveness of
the algorithm over time. The goal of this work is to highlight the complexity
of designing a monitoring strategy and the need for a systematic framework that
compares the multitude of monitoring options. One of the main decisions is
choosing between using real-world (observational) versus interventional data.
Although the former is the most convenient source of monitoring data, it
exhibits well-known biases, such as confounding, selection, and missingness. In
fact, when the ML algorithm interacts with its environment, the algorithm
itself may be a primary source of bias. On the other hand, a carefully designed
interventional study that randomizes individuals can explicitly eliminate such
biases, but the ethics, feasibility, and cost of such an approach must be
carefully considered. Beyond the decision of the data source, monitoring
strategies vary in the performance criteria they track, the interpretability of
the test statistics, the strength of their assumptions, and their speed at
detecting performance decay. As a first step towards developing a framework
that compares the various monitoring options, we consider a case study of an
ML-based risk prediction algorithm for postoperative nausea and vomiting
(PONV). Bringing together tools from causal inference and statistical process
control, we walk through the basic steps of defining candidate monitoring
criteria, describing potential sources of bias and the causal model, and
specifying and comparing candidate monitoring procedures. We hypothesize that
these steps can be applied more generally, as causal inference can address
other sources of biases as well.
- Abstract（参考訳）: 機械学習(ML)ベースのシステムが臨床実践に配備された後、パフォーマンスモニタリングはアルゴリズムの安全性と有効性を確保するために重要である。
この研究の目的は、監視戦略の設計の複雑さと、多数の監視オプションを比較する体系的なフレームワークの必要性を強調することである。
主な決定の1つは、現実世界(観測)と介入データの両方を選択することである。
前者は最も便利なモニタリングデータソースであるが、欠点、選択、欠如など、よく知られたバイアスを示す。
実際、MLアルゴリズムが環境と相互作用する場合、アルゴリズム自体がバイアスの主な原因になる可能性がある。
一方で、個人をランダム化するための注意深く設計された介入研究は、そのバイアスを明示的に排除することができるが、そのようなアプローチの倫理、実現可能性、コストを慎重に検討する必要がある。
データソースの決定以外にも、追跡するパフォーマンス基準、テスト統計の解釈可能性、仮定の強さ、パフォーマンス劣化を検出する速度など、監視戦略は様々である。
各種モニタリングオプションを比較するフレームワークを開発するための第一歩として,術後の吐き気・吐き気(PONV)に対するMLベースのリスク予測アルゴリズムを事例として検討する。
因果推論と統計的プロセス制御のツールを組み合わせて、候補監視基準を定義し、潜在的なバイアス源と因果モデルを説明し、候補監視手順を特定して比較する。
因果推論は他のバイアス源にも対処できるため、これらのステップはより一般的に適用できるという仮説を立てる。
関連論文リスト
- Explanatory Model Monitoring to Understand the Effects of Feature Shifts on Performance [61.06245197347139]
そこで本研究では,機能シフトによるブラックボックスモデルの振る舞いを説明する新しい手法を提案する。
本稿では,最適輸送と共有値の概念を組み合わせた提案手法について,説明的性能推定として紹介する。
論文 参考訳（メタデータ） (2024-08-24T18:28:19Z) - Monitoring Algorithmic Fairness under Partial Observations [3.790015813774933]
実行時検証技術は、デプロイされたシステムのアルゴリズム的公正性を監視するために導入された。
従来の監視技術は、監視されたシステムの状態の完全な可観測性を前提としている。
我々は、部分的に観測されたマルコフ連鎖としてモデル化されたシステムにフェアネスモニタリングを拡張した。
論文 参考訳（メタデータ） (2023-08-01T07:35:54Z) - Alignment-based conformance checking over probabilistic events [4.060731229044571]
本稿では、重み付きトレースモデルと重み付きアライメントコスト関数と、イベントデータに対する信頼度を制御するカスタムしきい値パラメータを導入する。
結果のアルゴリズムは、プロセスモデルとよりよく一致した、低いが十分に高い確率のアクティビティを考慮します。
論文 参考訳（メタデータ） (2022-09-09T14:07:37Z) - Lightweight Automated Feature Monitoring for Data Streams [1.4658400971135652]
そこで本稿では,データドリフトを検出するFM(Feature Monitoring)システムを提案する。
システムは、システムによって使用されるすべての機能を監視し、アラームが発生するたびにランク付けされる解釈可能な機能を提供します。
これは、FMが特定のタイプの問題を検出するためにカスタムシグナルを追加する必要をなくし、利用可能な機能の空間を監視するのに十分であることを示している。
論文 参考訳（メタデータ） (2022-07-18T14:38:11Z) - Learning Robust Output Control Barrier Functions from Safe Expert Demonstrations [50.37808220291108]
本稿では,専門家によるデモンストレーションの部分的な観察から,安全な出力フィードバック制御法を考察する。
まず,安全性を保証する手段として,ロバスト出力制御バリア関数(ROCBF)を提案する。
次に、安全なシステム動作を示す専門家による実証からROCBFを学習するための最適化問題を定式化する。
論文 参考訳（メタデータ） (2021-11-18T23:21:00Z) - Benchmarking Safety Monitors for Image Classifiers with Machine Learning [0.0]
高精度機械学習(ML)画像分類器は、動作時に失敗しないことを保証できない。
安全モニタなどのフォールトトレランス機構の使用は,システムを安全な状態に保つ上で有望な方向である。
本稿では,ML画像分類器のベンチマークを行うためのベースラインフレームワークを確立することを目的とする。
論文 参考訳（メタデータ） (2021-10-04T07:52:23Z) - DEALIO: Data-Efficient Adversarial Learning for Imitation from
Observation [57.358212277226315]
観察ifoからの模倣学習において、学習エージェントは、実演者の生成した制御信号にアクセスせずに、実演行動の観察のみを用いて実演エージェントを模倣しようとする。
近年、逆模倣学習に基づく手法は、ifO問題に対する最先端のパフォーマンスをもたらすが、データ非効率でモデルなしの強化学習アルゴリズムに依存するため、サンプルの複雑さに悩まされることが多い。
この問題は、サンプルの収集が時間、エネルギー、およびリスクの面で高いコストを被る可能性がある現実世界の設定に展開することは非現実的です。
よりデータ効率の高いifOアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-03-31T23:46:32Z) - Models, Pixels, and Rewards: Evaluating Design Trade-offs in Visual
Model-Based Reinforcement Learning [109.74041512359476]
視覚的MBRLアルゴリズムにおける予測モデルの設計決定について検討する。
潜在空間の使用など、しばしば重要と見なされる設計上の決定は、タスクのパフォーマンスにはほとんど影響しないことが分かりました。
我々は,この現象が探索とどのように関係しているか,および標準ベンチマークにおける下位スコーリングモデルのいくつかが,同じトレーニングデータでトレーニングされた場合のベストパフォーマンスモデルと同等の性能を発揮するかを示す。
論文 参考訳（メタデータ） (2020-12-08T18:03:21Z) - Anticipating the Long-Term Effect of Online Learning in Control [75.6527644813815]
AntLerは、学習を予想する学習ベースの制御法則の設計アルゴリズムである。
AntLer は確率 1 と任意に最適な解を近似することを示す。
論文 参考訳（メタデータ） (2020-07-24T07:00:14Z) - How Training Data Impacts Performance in Learning-based Control [67.7875109298865]
本稿では,トレーニングデータの密度と制御性能の関係を考察する。
データセットの品質尺度を定式化し、$rho$-gap と呼ぶ。
フィードバック線形化制御法に$rho$-gapを適用する方法を示す。
論文 参考訳（メタデータ） (2020-05-25T12:13:49Z) - Collaborative Inference for Efficient Remote Monitoring [34.27630312942825]
これをモデルレベルで解決するための簡単なアプローチは、より単純なアーキテクチャを使用することです。
本稿では,局所的なモニタリングツールとして機能する単純な関数の和として,予測モデルを分解した代替手法を提案する。
ローカル監視機能が安全であることを保証するために、後者にサイン要求が課される。
論文 参考訳（メタデータ） (2020-02-12T01:57:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。