論文の概要: Automated Test Generation for Medical Rules Web Services: A Case Study
at the Cancer Registry of Norway
- arxiv url: http://arxiv.org/abs/2308.12805v2
- Date: Mon, 6 Nov 2023 12:49:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-07 21:13:45.650966
- Title: Automated Test Generation for Medical Rules Web Services: A Case Study
at the Cancer Registry of Norway
- Title（参考訳）: 医療ルールwebサービスのための自動テスト生成:ノルウェーのがん登録簿におけるケーススタディ
- Authors: Christoph Laaber, Tao Yue, Shaukat Ali, Thomas Schwitalla, Jan F.
Nyg{\aa}rd
- Abstract要約: ノルウェーがん登録 (CRN) は、ノルウェーのがん患者に関するデータを収集、キュレート、管理する。
CRNの医療ルールエンジンであるGURIは、CRNの重要なコンポーネントである。
我々は、EvoMasterのブラックボックスとホワイトボックスツールでGURIをテストし、コードカバレッジ、見つかったエラー、ドメイン固有のルールカバレッジに関するテストの有効性を調査します。
- 参考スコア（独自算出の注目度）: 6.1763166094495645
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The Cancer Registry of Norway (CRN) collects, curates, and manages data
related to cancer patients in Norway, supported by an interactive,
human-in-the-loop, socio-technical decision support software system. Automated
software testing of this software system is inevitable; however, currently, it
is limited in CRN's practice. To this end, we present an industrial case study
to evaluate an AI-based system-level testing tool, i.e., EvoMaster, in terms of
its effectiveness in testing CRN's software system. In particular, we focus on
GURI, CRN's medical rule engine, which is a key component at the CRN. We test
GURI with EvoMaster's black-box and white-box tools and study their test
effectiveness regarding code coverage, errors found, and domain-specific rule
coverage. The results show that all EvoMaster tools achieve a similar code
coverage; i.e., around 19% line, 13% branch, and 20% method; and find a similar
number of errors; i.e., 1 in GURI's code. Concerning domain-specific coverage,
EvoMaster's black-box tool is the most effective in generating tests that lead
to applied rules; i.e., 100% of the aggregation rules and between 12.86% and
25.81% of the validation rules; and to diverse rule execution results; i.e.,
86.84% to 89.95% of the aggregation rules and 0.93% to 1.72% of the validation
rules pass, and 1.70% to 3.12% of the aggregation rules and 1.58% to 3.74% of
the validation rules fail. We further observe that the results are consistent
across 10 versions of the rules. Based on these results, we recommend using
EvoMaster's black-box tool to test GURI since it provides good results and
advances the current state of practice at the CRN. Nonetheless, EvoMaster needs
to be extended to employ domain-specific optimization objectives to improve
test effectiveness further. Finally, we conclude with lessons learned and
potential research directions, which we believe are generally applicable.
- Abstract（参考訳）: ノルウェーがん登録 (CRN) は、ノルウェーのがん患者に関するデータを収集、キュレート、管理し、対話的で人道的な社会技術決定支援ソフトウェアシステムによって支援している。
このソフトウェアシステムの自動テストは避けられないが、現在はCRNの実践に限られている。
そこで本研究では,AIベースのシステムレベルのテストツールであるEvoMasterを,CRNのソフトウェアシステムをテストする上での有効性で評価する産業ケーススタディを提案する。
特に、我々は、CRNの重要なコンポーネントであるCRNの医療ルールエンジンであるGURIに焦点を当てています。
我々は、EvoMasterのブラックボックスとホワイトボックスツールでGURIをテストし、コードカバレッジ、見つかったエラー、ドメイン固有のルールカバレッジに関するテストの有効性を調査します。
その結果、evomasterツールはすべて同じようなコードカバレッジ(約19%の行、13%のブランチ、20%のメソッド)を達成し、同様のエラー(guriのコードの1つ)を見つけることができた。
ドメイン固有のカバレッジに関しては、EvoMasterのブラックボックスツールは、アグリゲーションルールの100%、バリデーションルールの12.86%から25.81%、そして多様なルール実行結果、すなわち、アグリゲーションルールの86.84%から89.95%、バリデーションルールの0.93%から1.72%、アグリゲーションルールの1.70%から3.12%、バリデーションルールの1.58%から3.74%が失敗するテストを生成するのに最も効果的である。
さらに、ルールの10バージョン間で結果が一致していることも観察します。
これらの結果に基づいて、我々はEvoMasterのブラックボックスツールを使ってGURIをテストすることを推奨する。
それでもEvoMasterは、テストの有効性をさらに向上するために、ドメイン固有の最適化目標を採用するように拡張する必要がある。
最後に、学習した教訓と潜在的研究の方向性をまとめ、一般に適用できると考えている。
関連論文リスト
- Touchstone Benchmark: Are We on the Right Way for Evaluating AI Algorithms for Medical Segmentation? [90.30635552818875]
9種類の腹部臓器の大規模共同セグメント化ベンチマークであるTouchstoneを報告する。
このベンチマークは、世界中の76の病院から5,195回のCTスキャンと、11の病院から5,903回のCTスキャンに基づいています。
私たちは19のAIアルゴリズムの発明者14人を招待してアルゴリズムをトレーニングしましたが、私たちのチームは第三者として、3つのテストセットでこれらのアルゴリズムを独立して評価しました。
論文 参考訳（メタデータ） (2024-11-06T05:09:34Z) - LLMs in the Heart of Differential Testing: A Case Study on a Medical Rule Engine [4.078166585959715]
ノルウェーがん登録局(CRN)は、コアがん登録活動を支援するために、自動がん登録支援システム(CaReSS)を使用している。
GURIはCaReSSの中核的なコンポーネントであり、医療ルールによる入ってくるデータの検証に責任がある。
論文 参考訳（メタデータ） (2024-02-16T10:56:15Z) - Cost Reduction on Testing Evolving Cancer Registry System [5.173615889068739]
オープンソースのツールであるEvoMasterへの拡張は、進化的アルゴリズムでテストケースを生成する。
EvoClassは、GURIを進化させる際のテストコストを大幅に削減できる。
全体として、EvoClassは全体のコスト削減の31%を達成した。
論文 参考訳（メタデータ） (2023-09-29T07:56:23Z) - EvoCLINICAL: Evolving Cyber-Cyber Digital Twin with Active Transfer
Learning for Automated Cancer Registry System [10.384652811127085]
ノルウェーがん登録 (CRN) は、異なる医療機関からがんのメッセージを受け取ることで、がん患者の情報を収集する。
CRNはがん研究の基礎を築き、がんに関する重要な統計をステークホルダーに提供している。
GURIのためのサイバーサイバーサイバーデジタルツイン(CCDT)は、実システムとの集中的な相互作用を必要とせず、様々な実験や、GURIの運用状態の高度な解析を容易にする。
我々は,前バージョンのGURI向けに開発されたCCDTを事前学習モデルとして検討し,新しいGURIバージョンを問合せしてラベル付けしたデータセットを微調整するEvoCLINICALを提案する。
論文 参考訳（メタデータ） (2023-09-06T12:02:15Z) - Zero-Shot Anomaly Detection via Batch Normalization [58.291409630995744]
多くの安全クリティカルなアプリケーションドメインでは、異常検出が重要な役割を果たす。
異常検出器を正常なデータ分布でドリフトに適応させることの課題は、ゼロショットAD技術の開発に繋がった。
ゼロショットバッチレベルのADに対して,適応中心表現(Adaptive Centered Representation, ACR)と呼ばれるシンプルで効果的な手法を提案する。
論文 参考訳（メタデータ） (2023-02-15T18:34:15Z) - Out-of-Distribution Detection with Hilbert-Schmidt Independence
Optimization [114.43504951058796]
異常検出タスクはAIの安全性において重要な役割を担っている。
ディープニューラルネットワーク分類器は通常、アウト・オブ・ディストリビューション(OOD)の入力を、信頼性の高いイン・ディストリビューション・クラスに誤って分類する傾向がある。
我々は,OOD検出タスクにおいて実用的かつ理論的に有効な代替確率論的パラダイムを提案する。
論文 参考訳（メタデータ） (2022-09-26T15:59:55Z) - Certified Error Control of Candidate Set Pruning for Two-Stage Relevance
Ranking [57.42241521034744]
本稿では、妥当性ランキングのための候補セットプルーニングの認証エラー制御の概念を提案する。
提案手法は,第1段階から抽出した候補集合を抽出し,第2段階の復位速度を向上する。
論文 参考訳（メタデータ） (2022-05-19T16:00:13Z) - Exact Paired-Permutation Testing for Structured Test Statistics [67.71280539312536]
構造化されたテスト統計群のペア置換テストに対して,効率的な正確なアルゴリズムを提案する。
我々の正確なアルゴリズムはモンテカルロ近似よりも10ドル速く、共通のデータセットに20000ドルのサンプルがある。
論文 参考訳（メタデータ） (2022-05-03T11:00:59Z) - Hybrid Deep Neural Networks to Infer State Models of Black-Box Systems [2.294541416972175]
本稿では,システムの入力/出力信号当たりの時系列を入力として受け入れるハイブリッドディープニューラルネットワークを提案する。
当社のアプローチを,50万行のCコードで,業界パートナのUAV自動操縦ソリューションに適用しました。
論文 参考訳（メタデータ） (2020-08-26T23:24:34Z) - Noisy Adaptive Group Testing using Bayesian Sequential Experimental
Design [63.48989885374238]
病気の感染頻度が低い場合、Dorfman氏は80年前に、人のテストグループは個人でテストするよりも効率が良いことを示した。
本研究の目的は,ノイズの多い環境で動作可能な新しいグループテストアルゴリズムを提案することである。
論文 参考訳（メタデータ） (2020-04-26T23:41:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。