論文の概要: Cost Reduction on Testing Evolving Cancer Registry System
- arxiv url: http://arxiv.org/abs/2309.17038v1
- Date: Fri, 29 Sep 2023 07:56:23 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-23 05:38:41.492366
- Title: Cost Reduction on Testing Evolving Cancer Registry System
- Title(参考訳): がん登録システムの進化テストにおけるコスト削減
- Authors: Erblin Isaku, Hassan Sartaj, Christoph Laaber, Tao Yue, Shaukat Ali,
Thomas Schwitalla, and Jan F. Nyg{\aa}rd
- Abstract要約: オープンソースのツールであるEvoMasterへの拡張は、進化的アルゴリズムでテストケースを生成する。
EvoClassは、GURIを進化させる際のテストコストを大幅に削減できる。
全体として、EvoClassは全体のコスト削減の31%を達成した。
- 参考スコア(独自算出の注目度): 5.173615889068739
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The Cancer Registration Support System (CaReSS), built by the Cancer Registry
of Norway (CRN), is a complex real-world socio-technical software system that
undergoes continuous evolution in its implementation. Consequently, continuous
testing of CaReSS with automated testing tools is needed such that its
dependability is always ensured. Towards automated testing of a key software
subsystem of CaReSS, i.e., GURI, we present a real-world application of an
extension to the open-source tool EvoMaster, which automatically generates test
cases with evolutionary algorithms. We named the extension EvoClass, which
enhances EvoMaster with a machine learning classifier to reduce the overall
testing cost. This is imperative since testing with EvoMaster involves sending
many requests to GURI deployed in different environments, including the
production environment, whose performance and functionality could potentially
be affected by many requests. The machine learning classifier of EvoClass can
predict whether a request generated by EvoMaster will be executed successfully
or not; if not, the classifier filters out such requests, consequently reducing
the number of requests to be executed on GURI. We evaluated EvoClass on ten
GURI versions over four years in three environments: development, testing, and
production. Results showed that EvoClass can significantly reduce the testing
cost of evolving GURI without reducing testing effectiveness (measured as rule
coverage) across all three environments, as compared to the default EvoMaster.
Overall, EvoClass achieved ~31% of overall cost reduction. Finally, we report
our experiences and lessons learned that are equally valuable for researchers
and practitioners.
- Abstract(参考訳): がん登録支援システム (CaReSS, Cancer Registration Support System) は、ノルウェーのがん登録局 (CRN) が開発し、その実装において継続的な進化を遂げる複雑な社会技術ソフトウェアシステムである。
そのため、自動テストツールによるCaReSSの継続的テストが必要であり、その信頼性が常に保証される。
本稿では,CaReSSの重要なソフトウェアサブシステム,すなわちGURIの自動テストに向けて,進化アルゴリズムを用いたテストケースの自動生成を行うオープンソースのツールであるEvoMasterを拡張した実世界のアプリケーションを提案する。
evomasterを機械学習の分類器で拡張し、テスト全体のコストを削減する拡張 evoclass と名付けました。
EvoMasterでのテストでは、さまざまな環境にデプロイされたGURIに多くのリクエストを送信する必要があるため、本番環境ではパフォーマンスや機能が多くのリクエストに影響される可能性がある。
EvoClassの機械学習分類器は、EvoMasterが生成したリクエストが正常に実行されるかどうかを予測することができる。
開発、テスト、運用という3つの環境において、EvoClassを4年間にわたって10のGURIバージョンで評価しました。
その結果、EvoClassは、デフォルトのEvoMasterと比較して、3つの環境でのテスト効率(ルールカバレッジとして測定される)を低下させることなく、GURIを進化させるテストコストを大幅に削減できることがわかった。
全体では、evoclassは全体のコスト削減の約31%を達成した。
最後に、研究者や実践者にも同様に価値のある経験と教訓を報告します。
関連論文リスト
- MLXP: A framework for conducting replicable Machine Learning eXperiments
in Python [71.22547130430371]
MLXPはPythonをベースとした,オープンソースの,シンプルで,軽量な実験管理ツールである。
実験プロセスを最小限のオーバーヘッドで合理化し、高いレベルの実践的オーバーヘッドを確保します。
論文 参考訳(メタデータ) (2024-02-21T14:22:20Z) - SERL: A Software Suite for Sample-Efficient Robotic Reinforcement
Learning [85.21378553454672]
筆者らは,報酬の計算と環境のリセットを行う手法とともに,効率的なオフ・ポリティクス・ディープ・RL法を含むライブラリを開発した。
我々は,PCBボードアセンブリ,ケーブルルーティング,オブジェクトの移動に関するポリシを,非常に効率的な学習を実現することができることを発見した。
これらの政策は完全な成功率またはほぼ完全な成功率、摂動下でさえ極端な堅牢性を実現し、突発的な堅牢性回復と修正行動を示す。
論文 参考訳(メタデータ) (2024-01-29T10:01:10Z) - Selene: Pioneering Automated Proof in Software Verification [69.7891799471749]
我々は,seL4オペレーティングシステムマイクロカーネルの実際の産業レベルのプロジェクトに基づいて構築された,最初のプロジェクトレベルの自動証明ベンチマークであるSeleneを紹介する。
GPT-3.5-turbo や GPT-4 のような先進的な LLM による実験結果は,自動証明生成領域における大規模言語モデル (LLM) の機能を強調した。
論文 参考訳(メタデータ) (2024-01-15T13:08:38Z) - EvoCLINICAL: Evolving Cyber-Cyber Digital Twin with Active Transfer
Learning for Automated Cancer Registry System [10.384652811127085]
ノルウェーがん登録 (CRN) は、異なる医療機関からがんのメッセージを受け取ることで、がん患者の情報を収集する。
CRNはがん研究の基礎を築き、がんに関する重要な統計をステークホルダーに提供している。
GURIのためのサイバーサイバーサイバーデジタルツイン(CCDT)は、実システムとの集中的な相互作用を必要とせず、様々な実験や、GURIの運用状態の高度な解析を容易にする。
我々は,前バージョンのGURI向けに開発されたCCDTを事前学習モデルとして検討し,新しいGURIバージョンを問合せしてラベル付けしたデータセットを微調整するEvoCLINICALを提案する。
論文 参考訳(メタデータ) (2023-09-06T12:02:15Z) - Automated Test Generation for Medical Rules Web Services: A Case Study
at the Cancer Registry of Norway [6.1763166094495645]
ノルウェーがん登録 (CRN) は、ノルウェーのがん患者に関するデータを収集、キュレート、管理する。
CRNの医療ルールエンジンであるGURIは、CRNの重要なコンポーネントである。
我々は、EvoMasterのブラックボックスとホワイトボックスツールでGURIをテストし、コードカバレッジ、見つかったエラー、ドメイン固有のルールカバレッジに関するテストの有効性を調査します。
論文 参考訳(メタデータ) (2023-08-24T14:04:46Z) - Reinforcement learning informed evolutionary search for autonomous
systems testing [15.210312666486029]
本稿では,ドメイン知識から得られるサロゲート報酬を用いて学習した強化学習(RL)エージェントを用いて進化的探索(ES)を強化することを提案する。
RIGAAとして知られる我々の手法では、まずRLエージェントを訓練し、問題の有用な制約を学習し、それを用いて探索アルゴリズムの初期集団の特定の部分を生成する。
RIGAAは自律性アリロボットの迷路生成と自律車線維持支援システムの道路トポロジー生成の2つのケーススタディで評価した。
論文 参考訳(メタデータ) (2023-08-24T13:11:07Z) - SATHUR: Self Augmenting Task Hallucinal Unified Representation for
Generalized Class Incremental Learning [1.9051805625956872]
クラスインクリメンタルラーニング(CIL)は、従来のクラスを忘れずに新しいクラスを学習する人間の能力にインスパイアされている。
一般化クラスインクリメンタルラーニング(GCIL)は、各段階的なステップがより現実的に構造化される場所である。
本研究は,自己拡張タスク・ハロキナル統一表現(SATHUR)を紹介する。
論文 参考訳(メタデータ) (2023-08-13T00:17:13Z) - Towards Automated Imbalanced Learning with Deep Hierarchical
Reinforcement Learning [57.163525407022966]
不均衡学習はデータマイニングにおいて基本的な課題であり、各クラスにトレーニングサンプルの不均等な比率が存在する。
オーバーサンプリングは、少数民族のための合成サンプルを生成することによって、不均衡な学習に取り組む効果的な手法である。
我々は,異なるレベルの意思決定を共同で最適化できる自動オーバーサンプリングアルゴリズムであるAutoSMOTEを提案する。
論文 参考訳(メタデータ) (2022-08-26T04:28:01Z) - Learning to Walk Autonomously via Reset-Free Quality-Diversity [73.08073762433376]
品質多様性アルゴリズムは、多様かつ高いパフォーマンスのスキルからなる大規模で複雑な行動レパートリーを発見することができる。
既存のQDアルゴリズムは、手動による人間の監督と介入を必要とするエピソードリセットと同様に、多数の評価を必要とする。
本稿では,オープンエンド環境におけるロボットの自律学習に向けたステップとして,リセットフリー品質多様性最適化(RF-QD)を提案する。
論文 参考訳(メタデータ) (2022-04-07T14:07:51Z) - DeepRNG: Towards Deep Reinforcement Learning-Assisted Generative Testing
of Software [18.19171031755595]
本稿では,RNG(ランダム数生成器)を深部強化学習(RL)エージェントで直接増強することにより,ソフトウェアの生成試験を改善することを目的とする。
提案したDeepRNGフレームワークは,350,000行以上のコードを持つ高度に複雑なソフトウェアライブラリのテストに対して,統計的に有意な改善を提供することを示す。
論文 参考訳(メタデータ) (2022-01-29T15:07:02Z) - Using Sampling to Estimate and Improve Performance of Automated Scoring
Systems with Guarantees [63.62448343531963]
本稿では,既存のパラダイムを組み合わせることで,人間が知能的に収集する応答をサンプリングする手法を提案する。
比較的少ない予算で精度(平均19.80%)と二次重み付きカッパ(平均25.60%)の顕著な増加を観察した。
論文 参考訳(メタデータ) (2021-11-17T05:00:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。