論文の概要: Regulating AI Adaptation: An Analysis of AI Medical Device Updates
- arxiv url: http://arxiv.org/abs/2407.16900v1
- Date: Sat, 22 Jun 2024 19:44:47 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-28 18:19:29.698685
- Title: Regulating AI Adaptation: An Analysis of AI Medical Device Updates
- Title（参考訳）: AI適応の規制:AI医療機器のアップデートの分析
- Authors: Kevin Wu, Eric Wu, Kit Rodolfa, Daniel E. Ho, James Zou,
- Abstract要約: FDAが承認したAI医療機器の更新頻度と性質を系統的に分析する。
新しいデータで再トレーニングした結果、全デバイスレポートの2%未満が更新されていることがわかった。
新たなサイトで評価すると,モデル性能は最大0.18AUC低下するが,サイト固有のデータで再トレーニングすることで,この性能低下を軽減できることがわかった。
- 参考スコア（独自算出の注目度）: 21.48987993359371
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While the pace of development of AI has rapidly progressed in recent years, the implementation of safe and effective regulatory frameworks has lagged behind. In particular, the adaptive nature of AI models presents unique challenges to regulators as updating a model can improve its performance but also introduce safety risks. In the US, the Food and Drug Administration (FDA) has been a forerunner in regulating and approving hundreds of AI medical devices. To better understand how AI is updated and its regulatory considerations, we systematically analyze the frequency and nature of updates in FDA-approved AI medical devices. We find that less than 2% of all devices report having been updated by being re-trained on new data. Meanwhile, nearly a quarter of devices report updates in the form of new functionality and marketing claims. As an illustrative case study, we analyze pneumothorax detection models and find that while model performance can degrade by as much as 0.18 AUC when evaluated on new sites, re-training on site-specific data can mitigate this performance drop, recovering up to 0.23 AUC. However, we also observed significant degradation on the original site after re-training using data from new sites, providing insight from one example that challenges the current one-model-fits-all approach to regulatory approvals. Our analysis provides an in-depth look at the current state of FDA-approved AI device updates and insights for future regulatory policies toward model updating and adaptive AI.
- Abstract（参考訳）: 近年、AIの開発ペースは急速に進歩しているが、安全で効果的な規制フレームワークの実装は遅れを取っている。
特に、AIモデルの適応性は、モデルのアップデートによってパフォーマンスが向上するだけでなく、安全性のリスクも伴うため、規制当局に固有の課題をもたらす。
米国では、食品医薬品局(FDA)が、何百ものAI医療機器の規制と承認の先駆者だ。
AIの更新方法とその規制上の配慮をより深く理解するために、FDAが承認したAI医療機器の更新頻度と性質を体系的に分析する。
新しいデータで再トレーニングした結果、全デバイスレポートの2%未満が更新されていることがわかった。
一方、デバイスの4分の1近くが、新しい機能とマーケティングクレームの形でアップデートを報告している。
実験例では, 気胸検出モデルの解析を行い, 新たな部位で評価した場合, モデル性能は0.18AUCまで低下するが, サイト固有のデータによる再トレーニングは, この性能低下を軽減し, 0.23AUCまで回復できることがわかった。
しかし,新たなサイトからのデータを用いて再トレーニングを行った結果,元のサイトが著しく劣化していることも確認できた。
私たちの分析は、FDAが承認したAIデバイスのアップデートの状況を詳細に分析し、モデル更新と適応AIに対する将来の規制ポリシーに関する洞察を提供します。
関連論文リスト
- Compliance Cards: Computational Artifacts for Automated AI Regulation Compliance [10.711968755473388]
我々は、AI Actコンプライアンス分析のための高度自動化システムを導入する。
ひとつは、AIシステムと大規模モデルの両方に関するコンプライアンス関連メタデータをキャプチャする、計算アーティファクトのインターロックセットです。
第2に、AIシステムやモデルがAI法に準拠しているかどうかをランタイム予測するために、これらの計算成果物間で自動分析アルゴリズムが動作します。
論文 参考訳（メタデータ） (2024-06-20T22:07:15Z) - Anomaly Detection for Incident Response at Scale [1.284857579394658]
我々は、Walmartのビジネスとシステムの状態をリアルタイムで監視する、機械学習ベースの異常検出製品を提案する。
3ヶ月にわたる検証の間、製品は3000以上のモデルから25以上のアプリケーション、プラットフォーム、運用チームへの予測を提供した。
AIDRは、検出にかかる時間が少なく、従来の方法よりも偽陽性が少ない、さまざまな社内チームで成功している。
論文 参考訳（メタデータ） (2024-04-24T00:46:19Z) - AIDE: An Automatic Data Engine for Object Detection in Autonomous Driving [68.73885845181242]
本稿では,問題を自動的に識別し,データを効率よくキュレートし,自動ラベル付けによりモデルを改善する自動データエンジン(AIDE)を提案する。
さらに,AVデータセットのオープンワールド検出のためのベンチマークを構築し,様々な学習パラダイムを包括的に評価し,提案手法の優れた性能を低コストで実証する。
論文 参考訳（メタデータ） (2024-03-26T04:27:56Z) - Analyzing Adversarial Inputs in Deep Reinforcement Learning [53.3760591018817]
本稿では, 正当性検証のレンズを用いて, 逆入力の特性を包括的に解析する。
このような摂動に対する感受性に基づいてモデルを分類するために、新しい計量である逆数率(Adversarial Rate)を導入する。
本分析は, 直交入力が所定のDRLシステムの安全性にどのように影響するかを実証的に示す。
論文 参考訳（メタデータ） (2024-02-07T21:58:40Z) - Revisiting VAE for Unsupervised Time Series Anomaly Detection: A
Frequency Perspective [40.21603048003118]
変分オートエンコーダ(VAE)は、より優れたノイズ除去能力のために近年人気を集めている。
FCVAEは、グローバルとローカルの両方の周波数特徴を条件付き変分オートエンコーダ(CVAE)の条件に同時に統合する革新的なアプローチを利用する
提案手法は, パブリックデータセットと大規模クラウドシステムを用いて評価され, その結果, 最先端の手法よりも優れた結果が得られた。
論文 参考訳（メタデータ） (2024-02-05T09:06:57Z) - New Epochs in AI Supervision: Design and Implementation of an Autonomous
Radiology AI Monitoring System [5.50085484902146]
本稿では,放射線学AI分類モデルの性能を実際に監視するための新しい手法を提案する。
予測分散と時間安定性という2つの指標を提案し、AIのパフォーマンス変化のプリエンプティブアラートに使用する。
論文 参考訳（メタデータ） (2023-11-24T06:29:04Z) - QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。
QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。
例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
論文 参考訳（メタデータ） (2023-11-06T00:21:44Z) - Safe AI for health and beyond -- Monitoring to transform a health
service [51.8524501805308]
機械学習アルゴリズムの出力を監視するために必要なインフラストラクチャを評価する。
モデルのモニタリングと更新の例を示す2つのシナリオを提示します。
論文 参考訳（メタデータ） (2023-03-02T17:27:45Z) - DAE : Discriminatory Auto-Encoder for multivariate time-series anomaly
detection in air transportation [68.8204255655161]
識別オートエンコーダ(DAE)と呼ばれる新しい異常検出モデルを提案する。
通常のLSTMベースのオートエンコーダのベースラインを使用するが、いくつかのデコーダがあり、それぞれ特定の飛行フェーズのデータを取得する。
その結果,DAEは精度と検出速度の両方で良好な結果が得られることがわかった。
論文 参考訳（メタデータ） (2021-09-08T14:07:55Z) - Reliability Analysis of Artificial Intelligence Systems Using Recurrent
Events Data from Autonomous Vehicles [2.7515565752659645]
我々は、自動運転車におけるAIシステムの信頼性の表現として、リカレントな切り離しイベントを使用している。
イベント・プロセスを記述するために,モノトニック・スプラインに基づく新しい非パラメトリック・モデルを提案する。
論文 参考訳（メタデータ） (2021-02-02T20:25:23Z) - Adversarial vs behavioural-based defensive AI with joint, continual and
active learning: automated evaluation of robustness to deception, poisoning
and concept drift [62.997667081978825]
人工知能(AI)の最近の進歩は、サイバーセキュリティのための行動分析(UEBA)に新たな能力をもたらした。
本稿では、検出プロセスを改善し、人間の専門知識を効果的に活用することにより、この攻撃を効果的に軽減するソリューションを提案する。
論文 参考訳（メタデータ） (2020-01-13T13:54:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。