論文の概要: Approval policies for modifications to Machine Learning-Based Software
as a Medical Device: A study of bio-creep
- arxiv url: http://arxiv.org/abs/1912.12413v1
- Date: Sat, 28 Dec 2019 06:34:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-17 12:47:28.428115
- Title: Approval policies for modifications to Machine Learning-Based Software
as a Medical Device: A study of bio-creep
- Title（参考訳）: 医療機器としての機械学習ソフトウェアへの修正の承認政策:バイオクリープに関する研究
- Authors: Jean Feng, Scott Emerson, Noah Simon
- Abstract要約: FDAは、マーケティングに先立ってロックアルゴリズムを承認し、市場前のレビューを別々に行うために将来のアップデートを要求する。
本稿では,オンライン仮説テスト問題として,承認ポリシーの設計について述べる。
単純なポリシーを検討中ですが、必ずしもエラー率の保証を提供していません。
- 参考スコア（独自算出の注目度）: 7.305019142196582
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Successful deployment of machine learning algorithms in healthcare requires
careful assessments of their performance and safety. To date, the FDA approves
locked algorithms prior to marketing and requires future updates to undergo
separate premarket reviews. However, this negates a key feature of machine
learning--the ability to learn from a growing dataset and improve over time.
This paper frames the design of an approval policy, which we refer to as an
automatic algorithmic change protocol (aACP), as an online hypothesis testing
problem. As this process has obvious analogy with noninferiority testing of new
drugs, we investigate how repeated testing and adoption of modifications might
lead to gradual deterioration in prediction accuracy, also known as
``biocreep'' in the drug development literature. We consider simple policies
that one might consider but do not necessarily offer any error-rate guarantees,
as well as policies that do provide error-rate control. For the latter, we
define two online error-rates appropriate for this context: Bad Approval Count
(BAC) and Bad Approval and Benchmark Ratios (BABR). We control these rates in
the simple setting of a constant population and data source using policies
aACP-BAC and aACP-BABR, which combine alpha-investing, group-sequential, and
gate-keeping methods. In simulation studies, bio-creep regularly occurred when
using policies with no error-rate guarantees, whereas aACP-BAC and -BABR
controlled the rate of bio-creep without substantially impacting our ability to
approve beneficial modifications.
- Abstract（参考訳）: 医療に機械学習アルゴリズムをうまく配置するには、そのパフォーマンスと安全性を慎重に評価する必要がある。
これまでFDAは、マーケティングに先立ってロックアルゴリズムを承認し、今後のアップデートで市場前のレビューを別々に行う必要がある。
しかし、これは機械学習の重要な特徴を否定する - 成長するデータセットから学習し、時間とともに改善する能力だ。
本稿では,自動アルゴリズム変更プロトコル(aACP)をオンライン仮説テスト問題として,承認ポリシーの設計について述べる。
このプロセスは新薬の非致死性試験と明らかな類似性を持つため、反復的な試験と修正の採用が予測精度の段階的低下にどのようにつながるかを調査し、薬物開発文献で「バイオクレプ」とも呼ばれる。
我々は、単純なポリシーについて検討するが、必ずしもエラー率の保証やエラー率の制御を提供するポリシーを提供するわけではない。
後者については、Bad Approval Count (BAC)とBad Approval and Benchmark Ratios (BABR)の2つのオンラインエラー率を定義します。
AACP-BAC と aACP-BABR は,アルファ投資,グループ系列,ゲート管理の手法を組み合わせた政策である。
一方,aACP-BACおよび-BABRは,有効な修正を承認する能力に大きく影響を及ぼすことなく,バイオクリープ率を制御した。
関連論文リスト
- Improving Bias Correction Standards by Quantifying its Effects on Treatment Outcomes [54.18828236350544]
Propensity score matching (PSM) は、分析のために同等の人口を選択することで選択バイアスに対処する。
異なるマッチング手法は、すべての検証基準を満たす場合でも、同じタスクに対する平均処理効果(ATE)を著しく異なるものにすることができる。
この問題に対処するため,新しい指標A2Aを導入し,有効試合数を削減した。
論文 参考訳（メタデータ） (2024-07-20T12:42:24Z) - Training Compute Thresholds: Features and Functions in AI Regulation [0.7234862895932991]
米国とEUのレギュレータは、トレーニング計算に基づくしきい値を使用して、大規模社会被害のリスクを引き起こす可能性のあるGPAIモデルを特定している。
現在、トレーニング計算は、規制の監視とさらなる精査に値するGPAIモデルを特定するのに最も適した指標である、と我々は主張する。
GPAI技術と市場構造が進化するにつれて、規制当局は計算しきい値を更新し、他のメトリクスを規制審査プロセスに補完する必要がある。
論文 参考訳（メタデータ） (2024-05-17T14:10:24Z) - Conformal Off-Policy Evaluation in Markov Decision Processes [53.786439742572995]
強化学習は、データから効率的な制御ポリシーを特定し評価することを目的としている。
この学習タスクのほとんどの方法は、Off-Policy Evaluation (OPE)と呼ばれ、正確さと確実性を保証するものではない。
本稿では,目標方針の真報を含む区間を所定の確信度で出力するコンフォーマル予測に基づく新しいOPE手法を提案する。
論文 参考訳（メタデータ） (2023-04-05T16:45:11Z) - Quality-Based Conditional Processing in Multi-Biometrics: Application to
Sensor Interoperability [63.05238390013457]
2007年のバイオセキュリティ・マルチモーダル・アセスメント・キャンペーンにおいて,ATVS-UAM融合手法を品質ベースで評価し,評価を行った。
我々のアプローチは線形ロジスティック回帰に基づいており、融合したスコアはログライクな比率になる傾向にある。
その結果,提案手法はルールベースの核融合方式よりも優れていることがわかった。
論文 参考訳（メタデータ） (2022-11-24T12:11:22Z) - Code Compliance Assessment as a Learning Problem [0.15229257192293197]
コードコンプライアンスアセスメントを機械学習(ML)問題として定式化する。
コードのコンプライアンス、非コンプライアンス、あるいは無関係に関する予測を生成します。
当社のツール Policy2Code は分類精度 (59%, 71%) と検索MSR (0.05, 0.21) を実現している。
ユーザ調査では、24%のPolicy2Code検出が、CodeBERTの7%に対して受け入れられた。
論文 参考訳（メタデータ） (2022-09-10T05:41:04Z) - Actor-Critic based Improper Reinforcement Learning [61.430513757337486]
我々は,未知のマルコフ決定プロセスに対して,学習者に100万ドルのベースコントローラを付与する不適切な強化学習環境を考える。
本稿では,(1)ポリシーグラディエントに基づくアプローチ,(2)単純なアクター・クリティカル・スキームとNatural Actor-Criticスキームを切り替えるアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-07-19T05:55:02Z) - Post-Contextual-Bandit Inference [57.88785630755165]
コンテキストバンディットアルゴリズムは、電子商取引、医療、政策立案における非適応的なA/Bテストを置き換える傾向にある。
研究参加者の成果を改善することもでき、良い方針や最良の政策を特定できる可能性を高めることもできる。
研究の終盤における新規介入の信頼性推論を支援するため, 平均治療効果, サブグループ効果, あるいは新政策の価値について, 有効な信頼区間を構築したい。
論文 参考訳（メタデータ） (2021-06-01T12:01:51Z) - Learning how to approve updates to machine learning algorithms in
non-stationary settings [4.94950858749529]
FDAは機械学習アルゴリズムの修正を自律的に承認できるポリシーをデザインしようとしている。
モニタリングデータを蓄積して修正を承認する方法を学習する学習から評価へのアプローチについて検討する。
論文 参考訳（メタデータ） (2020-12-14T05:54:55Z) - Provably Good Batch Reinforcement Learning Without Great Exploration [51.51462608429621]
バッチ強化学習(RL)は、RLアルゴリズムを多くの高利得タスクに適用するために重要である。
最近のアルゴリズムは将来性を示しているが、期待された結果に対して過度に楽観的である。
より保守的な更新を行うため、ベルマンの最適性と評価のバックアップに小さな修正を加えることで、はるかに強力な保証が得られることを示す。
論文 参考訳（メタデータ） (2020-07-16T09:25:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。