論文の概要: Estimating Test Performance for AI Medical Devices under Distribution Shift with Conformal Prediction

• arxiv url: http://arxiv.org/abs/2207.05796v1
• Date: Tue, 12 Jul 2022 19:25:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-15 05:55:46.821998
• Title: Estimating Test Performance for AI Medical Devices under Distribution Shift with Conformal Prediction
• Title（参考訳）: コンフォーマル予測を用いた配電シフトによるAI医療機器の試験性能の推定
• Authors: Charles Lu, Syed Rakin Ahmed, Praveer Singh, Jayashree Kalpathy-Cramer
• Abstract要約: ラベルのない対象領域における任意のブラックボックスモデルのテスト精度を予測するタスクについて検討する。 そこで本研究では,共形予測に基づく「ブラックボックス」テスト推定手法を提案し,他の手法と比較した。
• 参考スコア（独自算出の注目度）: 4.395519864600419
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Estimating the test performance of software AI-based medical devices under distribution shifts is crucial for evaluating the safety, efficiency, and usability prior to clinical deployment. Due to the nature of regulated medical device software and the difficulty in acquiring large amounts of labeled medical datasets, we consider the task of predicting the test accuracy of an arbitrary black-box model on an unlabeled target domain without modification to the original training process or any distributional assumptions of the original source data (i.e. we treat the model as a "black-box" and only use the predicted output responses). We propose a "black-box" test estimation technique based on conformal prediction and evaluate it against other methods on three medical imaging datasets (mammography, dermatology, and histopathology) under several clinically relevant types of distribution shift (institution, hardware scanner, atlas, hospital). We hope that by promoting practical and effective estimation techniques for black-box models, manufacturers of medical devices will develop more standardized and realistic evaluation procedures to improve the robustness and trustworthiness of clinical AI tools.
• Abstract（参考訳）: 配布シフト下でのソフトウェアaiベースの医療機器のテスト性能の推定は,臨床展開前の安全性,効率,ユーザビリティを評価する上で重要である。 規制された医療機器ソフトウェアの性質と、大量のラベル付き医療データセットを取得するのが困難であることから、元のトレーニングプロセスや元のソースデータの分布的仮定に修正することなく、ラベルなしのターゲットドメイン上の任意のブラックボックスモデルのテスト精度を予測するタスクを考える(つまり、このモデルを「ブラックボックス」として扱い、予測された出力応答のみを使用する)。 そこで本研究では, コンフォメーション予測に基づく「ブラックボックス」テスト推定手法を提案し, 臨床応用による分布変化(施設, ハードウェアスキャナー, アトラス, 病院)の3種類の画像データセット(マンモグラフィー, 皮膚科, 病理組織学)と比較した。 医療機器メーカーは,ブラックボックスモデルの実用的,効果的な評価手法を推進することによって,臨床用AIツールの堅牢性と信頼性を向上させるために,より標準化された,現実的な評価手順を開発することを期待する。

関連論文リスト

• Integrating Clinical Knowledge into Concept Bottleneck Models [18.26357481872999]
  概念ボトルネックモデル(CBM)は最終出力を予測する前に人間の解釈可能な概念を予測する。 臨床知識の統合によるCBMの洗練, 臨床医の意思決定プロセスとの整合性の向上を提案する。 医療画像の2つのデータセット(白血球と皮膚画像)にアプローチを検証した。
  論文  参考訳（メタデータ） (2024-07-09T07:03:42Z)
• Detecting algorithmic bias in medical-AI models using trees [7.939586935057782]
  本稿では,医療AI意思決定支援システムにおけるアルゴリズムバイアスの領域を検出するための革新的な枠組みを提案する。 本手法は,医学・AIモデルにおける潜在的なバイアスを,特に敗血症予測の文脈で効果的に同定する。
  論文  参考訳（メタデータ） (2023-12-05T18:47:34Z)
• From Static Benchmarks to Adaptive Testing: Psychometrics in AI Evaluation [60.14902811624433]
  本稿では,静的評価手法から適応テストへのパラダイムシフトについて論じる。 これには、ベンチマークで各テスト項目の特性と価値を推定し、リアルタイムでアイテムを動的に調整することが含まれる。 我々は、AI評価にサイコメトリックを採用する現在のアプローチ、アドバンテージ、そして根底にある理由を分析します。
  論文  参考訳（メタデータ） (2023-06-18T09:54:33Z)
• Automated Medical Coding on MIMIC-III and MIMIC-IV: A Critical Review and Replicability Study [60.56194508762205]
  我々は、最先端の医療自動化機械学習モデルを再現し、比較し、分析する。 その結果, 弱い構成, サンプル化の不十分さ, 評価の不十分さなどにより, いくつかのモデルの性能が低下していることが判明した。 再生モデルを用いたMIMIC-IVデータセットの総合評価を行った。
  論文  参考訳（メタデータ） (2023-04-21T11:54:44Z)
• Towards Reliable Medical Image Segmentation by utilizing Evidential Calibrated Uncertainty [52.03490691733464]
  本稿では,医療画像セグメンテーションネットワークにシームレスに統合可能な,実装が容易な基礎モデルであるDEviSを紹介する。 主観的論理理論を利用して、医用画像分割の問題に対する確率と不確実性を明示的にモデル化する。 DeviSには不確実性を考慮したフィルタリングモジュールが組み込まれている。
  論文  参考訳（メタデータ） (2023-01-01T05:02:46Z)
• Improving Trustworthiness of AI Disease Severity Rating in Medical Imaging with Ordinal Conformal Prediction Sets [0.7734726150561088]
  統計的に厳密な不確実性定量化の欠如は、AI結果の信頼を損なう重要な要因である。 分布自由不確実性定量化の最近の進歩は、これらの問題に対する実用的な解決策である。 本稿では, 正しい狭窄の重症度を含むことが保証される順序予測セットを形成する手法を実証する。
  論文  参考訳（メタデータ） (2022-07-05T18:01:20Z)
• Literature-Augmented Clinical Outcome Prediction [10.46990394710927]
  EBMとAIベースの臨床モデルとのギャップを埋める技術を導入する。 集中治療(ICU)患者情報に基づいて患者固有の文献を自動的に検索するシステムを提案する。 我々のモデルは,最近の強靭なベースラインと比較して,3つの課題に対する予測精度を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2021-11-16T11:19:02Z)
• Clinical Outcome Prediction from Admission Notes using Self-Supervised Knowledge Integration [55.88616573143478]
  臨床テキストからのアウトカム予測は、医師が潜在的なリスクを見落としないようにする。 退院時の診断,手術手順,院内死亡率,長期予測は4つの一般的な結果予測対象である。 複数の公開資料から得られた患者結果に関する知識を統合するために,臨床結果の事前学習を提案する。
  論文  参考訳（メタデータ） (2021-02-08T10:26:44Z)
• Privacy-preserving medical image analysis [53.4844489668116]
  医用画像におけるプライバシ保護機械学習(PPML)のためのソフトウェアフレームワークであるPriMIAを提案する。 集合型学習モデルの分類性能は,未発見データセットの人間専門家と比較して有意に良好である。 グラデーションベースのモデル反転攻撃に対するフレームワークのセキュリティを実証的に評価する。
  論文  参考訳（メタデータ） (2020-12-10T13:56:00Z)
• Hemogram Data as a Tool for Decision-making in COVID-19 Management: Applications to Resource Scarcity Scenarios [62.997667081978825]
  新型コロナウイルス(COVID-19)のパンデミックは世界中の緊急対応システムに挑戦している。 本研究は, 症状患者の血液検査データから得られた機械学習モデルについて述べる。 提案されたモデルでは、新型コロナウイルスqRT-PCRの結果を、高い精度、感度、特異性で症状のある個人に予測することができる。
  論文  参考訳（メタデータ） (2020-05-10T01:45:03Z)
• Uncertainty estimation for classification and risk prediction on medical tabular data [0.0]
  本研究は,医療データの分類とリスク予測のための不確実性推定の理解を深めるものである。 医療などのデータ共有分野において、モデルの予測の不確実性を測定する能力は、意思決定支援ツールの改善につながる可能性がある。
  論文  参考訳（メタデータ） (2020-04-13T08:46:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。