論文の概要: Cost Reduction on Testing Evolving Cancer Registry System
- arxiv url: http://arxiv.org/abs/2309.17038v1
- Date: Fri, 29 Sep 2023 07:56:23 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-23 05:38:41.492366
- Title: Cost Reduction on Testing Evolving Cancer Registry System
- Title（参考訳）: がん登録システムの進化テストにおけるコスト削減
- Authors: Erblin Isaku, Hassan Sartaj, Christoph Laaber, Tao Yue, Shaukat Ali,
Thomas Schwitalla, and Jan F. Nyg{\aa}rd
- Abstract要約: オープンソースのツールであるEvoMasterへの拡張は、進化的アルゴリズムでテストケースを生成する。
EvoClassは、GURIを進化させる際のテストコストを大幅に削減できる。
全体として、EvoClassは全体のコスト削減の31%を達成した。
- 参考スコア（独自算出の注目度）: 5.173615889068739
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The Cancer Registration Support System (CaReSS), built by the Cancer Registry
of Norway (CRN), is a complex real-world socio-technical software system that
undergoes continuous evolution in its implementation. Consequently, continuous
testing of CaReSS with automated testing tools is needed such that its
dependability is always ensured. Towards automated testing of a key software
subsystem of CaReSS, i.e., GURI, we present a real-world application of an
extension to the open-source tool EvoMaster, which automatically generates test
cases with evolutionary algorithms. We named the extension EvoClass, which
enhances EvoMaster with a machine learning classifier to reduce the overall
testing cost. This is imperative since testing with EvoMaster involves sending
many requests to GURI deployed in different environments, including the
production environment, whose performance and functionality could potentially
be affected by many requests. The machine learning classifier of EvoClass can
predict whether a request generated by EvoMaster will be executed successfully
or not; if not, the classifier filters out such requests, consequently reducing
the number of requests to be executed on GURI. We evaluated EvoClass on ten
GURI versions over four years in three environments: development, testing, and
production. Results showed that EvoClass can significantly reduce the testing
cost of evolving GURI without reducing testing effectiveness (measured as rule
coverage) across all three environments, as compared to the default EvoMaster.
Overall, EvoClass achieved ~31% of overall cost reduction. Finally, we report
our experiences and lessons learned that are equally valuable for researchers
and practitioners.
- Abstract（参考訳）: がん登録支援システム (CaReSS, Cancer Registration Support System) は、ノルウェーのがん登録局 (CRN) が開発し、その実装において継続的な進化を遂げる複雑な社会技術ソフトウェアシステムである。
そのため、自動テストツールによるCaReSSの継続的テストが必要であり、その信頼性が常に保証される。
本稿では,CaReSSの重要なソフトウェアサブシステム,すなわちGURIの自動テストに向けて,進化アルゴリズムを用いたテストケースの自動生成を行うオープンソースのツールであるEvoMasterを拡張した実世界のアプリケーションを提案する。
evomasterを機械学習の分類器で拡張し、テスト全体のコストを削減する拡張 evoclass と名付けました。
EvoMasterでのテストでは、さまざまな環境にデプロイされたGURIに多くのリクエストを送信する必要があるため、本番環境ではパフォーマンスや機能が多くのリクエストに影響される可能性がある。
EvoClassの機械学習分類器は、EvoMasterが生成したリクエストが正常に実行されるかどうかを予測することができる。
開発、テスト、運用という3つの環境において、EvoClassを4年間にわたって10のGURIバージョンで評価しました。
その結果、EvoClassは、デフォルトのEvoMasterと比較して、3つの環境でのテスト効率(ルールカバレッジとして測定される)を低下させることなく、GURIを進化させるテストコストを大幅に削減できることがわかった。
全体では、evoclassは全体のコスト削減の約31%を達成した。
最後に、研究者や実践者にも同様に価値のある経験と教訓を報告します。
関連論文リスト
- Testing Medical Rules Web Services in Practice [4.636078317600386]
ノルウェーがん登録 (CRN) はノルウェーのがん関連データを収集・処理している。
現在のプラクティスは、CRNのシステムを手動でテストして、障害を防ぎ、信頼性を確保することです。
本稿では、システムレベルのテストツールであるEvoMasterを使用して、CRNの医療ルールエンジンであるGURIの自動テストに焦点を当てる。
論文 参考訳（メタデータ） (2024-12-16T12:54:46Z) - The BrowserGym Ecosystem for Web Agent Research [151.90034093362343]
BrowserGymエコシステムは、Webエージェントの効率的な評価とベンチマークの必要性の高まりに対処する。
大規模なマルチベンチマークWebエージェント実験を初めて実施する。
結果は、OpenAIとAnthropicの最新モデルの大きな相違点を浮き彫りにしている。
論文 参考訳（メタデータ） (2024-12-06T23:43:59Z) - Automated Test-Case Generation for REST APIs Using Model Inference Search Heuristic [15.625240669567479]
EvoMasterは進化的アルゴリズム(EA)を使用して、REST APIのテストケースを自動的に生成するツールである。
本稿では、リアルタイム自動学習を用いて自動テストケース生成プロセスのガイドを行う新しい検索(MISH)を提案する。
MISHはシステム全体の振る舞いの表現を学び、推論される経路に基づいてテストケースの適合度を定義する。
論文 参考訳（メタデータ） (2024-12-04T16:00:14Z) - Quantum Neural Network Classifier for Cancer Registry System Testing: A Feasibility Study [36.016813621304316]
本稿では,既存の機械学習モデルではなく,量子機械学習モデルであるEvoMaster内での利用可能性を検討するために,Qlinicalを提案する。
結果は、QlinicalがEvoClassに匹敵するパフォーマンスを達成できることを示している。
論文 参考訳（メタデータ） (2024-11-07T14:22:02Z) - AMR-Evol: Adaptive Modular Response Evolution Elicits Better Knowledge Distillation for Large Language Models in Code Generation [56.54840407827354]
本研究は, 反応蒸留を精製するための2段階プロセスを用いた適応型モジュール応答進化(AMR-Evol)フレームワークについて紹介する。
AMR-Evolフレームワークがベースライン応答蒸留法よりも優れていることを示すために,3つのコードベンチマークを用いた実験を行った。
論文 参考訳（メタデータ） (2024-10-01T10:12:38Z) - Selene: Pioneering Automated Proof in Software Verification [62.09555413263788]
実世界の産業レベルのマイクロカーネルであるseL4をベースとした,最初のプロジェクトレベルの自動証明ベンチマークであるSeleneを紹介する。
GPT-3.5-turbo や GPT-4 のような先進的な大規模言語モデル (LLM) による実験結果から, 自動証明生成領域における LLM の機能を強調した。
論文 参考訳（メタデータ） (2024-01-15T13:08:38Z) - EvoCLINICAL: Evolving Cyber-Cyber Digital Twin with Active Transfer
Learning for Automated Cancer Registry System [10.384652811127085]
ノルウェーがん登録 (CRN) は、異なる医療機関からがんのメッセージを受け取ることで、がん患者の情報を収集する。
CRNはがん研究の基礎を築き、がんに関する重要な統計をステークホルダーに提供している。
GURIのためのサイバーサイバーサイバーデジタルツイン(CCDT)は、実システムとの集中的な相互作用を必要とせず、様々な実験や、GURIの運用状態の高度な解析を容易にする。
我々は,前バージョンのGURI向けに開発されたCCDTを事前学習モデルとして検討し,新しいGURIバージョンを問合せしてラベル付けしたデータセットを微調整するEvoCLINICALを提案する。
論文 参考訳（メタデータ） (2023-09-06T12:02:15Z) - Automated Test Generation for Medical Rules Web Services: A Case Study
at the Cancer Registry of Norway [6.1763166094495645]
ノルウェーがん登録 (CRN) は、ノルウェーのがん患者に関するデータを収集、キュレート、管理する。
CRNの医療ルールエンジンであるGURIは、CRNの重要なコンポーネントである。
我々は、EvoMasterのブラックボックスとホワイトボックスツールでGURIをテストし、コードカバレッジ、見つかったエラー、ドメイン固有のルールカバレッジに関するテストの有効性を調査します。
論文 参考訳（メタデータ） (2023-08-24T14:04:46Z) - Towards Automated Imbalanced Learning with Deep Hierarchical
Reinforcement Learning [57.163525407022966]
不均衡学習はデータマイニングにおいて基本的な課題であり、各クラスにトレーニングサンプルの不均等な比率が存在する。
オーバーサンプリングは、少数民族のための合成サンプルを生成することによって、不均衡な学習に取り組む効果的な手法である。
我々は,異なるレベルの意思決定を共同で最適化できる自動オーバーサンプリングアルゴリズムであるAutoSMOTEを提案する。
論文 参考訳（メタデータ） (2022-08-26T04:28:01Z) - Learning to Walk Autonomously via Reset-Free Quality-Diversity [73.08073762433376]
品質多様性アルゴリズムは、多様かつ高いパフォーマンスのスキルからなる大規模で複雑な行動レパートリーを発見することができる。
既存のQDアルゴリズムは、手動による人間の監督と介入を必要とするエピソードリセットと同様に、多数の評価を必要とする。
本稿では,オープンエンド環境におけるロボットの自律学習に向けたステップとして,リセットフリー品質多様性最適化(RF-QD)を提案する。
論文 参考訳（メタデータ） (2022-04-07T14:07:51Z) - Using Sampling to Estimate and Improve Performance of Automated Scoring
Systems with Guarantees [63.62448343531963]
本稿では,既存のパラダイムを組み合わせることで,人間が知能的に収集する応答をサンプリングする手法を提案する。
比較的少ない予算で精度(平均19.80%)と二次重み付きカッパ(平均25.60%)の顕著な増加を観察した。
論文 参考訳（メタデータ） (2021-11-17T05:00:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。