論文の概要: A Taxonomy of Information Attributes for Test Case Prioritisation:
Applicability, Machine Learning
- arxiv url: http://arxiv.org/abs/2201.06044v1
- Date: Sun, 16 Jan 2022 13:13:29 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-19 17:07:27.150926
- Title: A Taxonomy of Information Attributes for Test Case Prioritisation:
Applicability, Machine Learning
- Title(参考訳): テストケース優先のための情報属性の分類:適用性、機械学習
- Authors: Aurora Ram\'irez, Robert Feldt, Jos\'e Ra\'ul Romero
- Abstract要約: テストスイートは実行に費用がかかるため、業界はテストケース優先順位付け(TCP)のための方法を必要としている。
近年のTCP方式では、テスト対象システム(SUT)とそのテストケースに関する情報を活用するために機械学習(ML)を採用している。
本稿では,20年間のTCP研究を解析し,これまで使用されてきた91の情報属性の分類について述べる。
- 参考スコア(独自算出の注目度): 12.24664973838839
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Most software companies have extensive test suites and re-run parts of them
continuously to ensure recent changes have no adverse effects. Since test
suites are costly to execute, industry needs methods for test case
prioritisation (TCP). Recently, TCP methods use machine learning (ML) to
exploit the information known about the system under test (SUT) and its test
cases. However, the value added by ML-based TCP methods should be critically
assessed with respect to the cost of collecting the information. This paper
analyses two decades of TCP research, and presents a taxonomy of 91 information
attributes that have been used. The attributes are classified with respect to
their information sources and the characteristics of their extraction process.
Based on this taxonomy, TCP methods validated with industrial data and those
applying ML are analysed in terms of information availability, attribute
combination and definition of data features suitable for ML. Relying on a high
number of information attributes, assuming easy access to SUT code and
simplified testing environments are identified as factors that might hamper
industrial applicability of ML-based TCP. The TePIA taxonomy provides a
reference framework to unify terminology and evaluate alternatives considering
the cost-benefit of the information attributes.
- Abstract(参考訳): ほとんどのソフトウェア企業は広範なテストスイートを持ち、その一部を継続的に再実行することで、最近の変更が悪影響を及ぼさないようにしている。
テストスイートの実行にはコストがかかるため、業界ではテストケース優先順位付け(TCP)の方法が必要である。
近年,テスト対象システム(SUT)とそのテストケースに関する情報を活用するために,機械学習(ML)が使用されている。
しかし、MLベースのTCPメソッドで付加される価値は、情報収集のコストに関して批判的に評価されるべきである。
本稿では,20年間のTCP研究を解析し,これまで使用されてきた91の情報属性の分類について述べる。
属性は、その情報ソースとその抽出プロセスの特徴について分類される。
この分類に基づいて、産業データで検証されたTCP法とMLを適用したTCP法は、MLに適したデータ特徴の可用性、属性の組み合わせ、定義の観点から分析される。
MLベースのTCPの産業的適用性を阻害する可能性のある要因として、SUTコードへの容易にアクセスと簡易なテスト環境を仮定して、多くの情報属性を考慮に入れている。
TePIA分類は、情報属性の費用対効果を考慮して、用語を統一し、代替品を評価するための参照フレームワークを提供する。
関連論文リスト
- Benchmarking Uncertainty Quantification Methods for Large Language Models with LM-Polygraph [85.51252685938564]
不確実性定量化(UQ)は、機械学習(ML)に依存するアプリケーションの重要なコンポーネントとして、ますます認識されつつある。
他のMLモデルと同様に、大きな言語モデル(LLM)は、クレームを作成することによって誤った予測をする傾向があり、あるいは与えられた入力に対して単に低品質の出力を生成する。
本稿では,最先端のUQベースラインの集合を実装した新しいベンチマークを提案し,新しいテクニックを制御可能かつ一貫した評価を行う環境を提供する。
論文 参考訳(メタデータ) (2024-06-21T20:06:31Z) - Advancing Anomaly Detection: Non-Semantic Financial Data Encoding with LLMs [49.57641083688934]
本稿では,Large Language Models (LLM) 埋め込みを用いた財務データにおける異常検出の新しい手法を提案する。
実験により,LLMが異常検出に有用な情報をもたらし,モデルがベースラインを上回っていることが確認された。
論文 参考訳(メタデータ) (2024-06-05T20:19:09Z) - Wildest Dreams: Reproducible Research in Privacy-preserving Neural
Network Training [2.853180143237022]
この作業は、ユーザデータのプライバシを維持することが最も重要であるMLモデルのトレーニングフェーズに重点を置いている。
我々は、現在のアプローチの理解を容易にする、しっかりとした理論的背景を提供する。
我々は,いくつかの論文の成果を再現し,その分野における既存の研究がオープンサイエンスを支援するレベルについて検討する。
論文 参考訳(メタデータ) (2024-03-06T10:25:36Z) - Prospector Heads: Generalized Feature Attribution for Large Models & Data [82.02696069543454]
本稿では,説明に基づく帰属手法の効率的かつ解釈可能な代替手段であるプロスペクタヘッドを紹介する。
入力データにおけるクラス固有のパターンの解釈と発見を、プロファイラヘッドがいかに改善できるかを実証する。
論文 参考訳(メタデータ) (2024-02-18T23:01:28Z) - An empirical study of testing machine learning in the wild [35.13282520395855]
機械学習(ML/DL)アルゴリズムは多くのソフトウェアシステムで採用されている。
インダクティブな性質のため、これらのシステムの品質を保証することは、研究コミュニティにとって重要な課題である。
ML/DLの品質保証に関する最近の研究は、信頼性を向上させるために、突然変異テストのような従来のソフトウェアテストの概念を適用している。
論文 参考訳(メタデータ) (2023-12-19T21:18:14Z) - Leveraging Large Language Models to Improve REST API Testing [51.284096009803406]
RESTGPTはAPI仕様を入力として、機械解釈可能なルールを抽出し、仕様内の自然言語記述からサンプルパラメータ値を生成する。
評価の結果、RESTGPTはルール抽出と値生成の両方において既存の技術よりも優れています。
論文 参考訳(メタデータ) (2023-12-01T19:53:23Z) - Adaptive REST API Testing with Reinforcement Learning [54.68542517176757]
現在のテストツールは効率的な探索機構がなく、全ての操作とパラメータを等しく扱う。
現在のツールは、仕様にレスポンススキーマがない場合や、変種を示す場合に苦労している。
我々は、強化学習を取り入れた適応型REST APIテスト手法を提案し、探索中の操作を優先順位付けする。
論文 参考訳(メタデータ) (2023-09-08T20:27:05Z) - Benchmarking Automated Machine Learning Methods for Price Forecasting
Applications [58.720142291102135]
自動機械学習(AutoML)ソリューションで手作業で作成したMLパイプラインを置換する可能性を示す。
CRISP-DMプロセスに基づいて,手動MLパイプラインを機械学習と非機械学習に分割した。
本稿では、価格予測の産業利用事例として、ドメイン知識とAutoMLを組み合わせることで、ML専門家への依存が弱まることを示す。
論文 参考訳(メタデータ) (2023-04-28T10:27:38Z) - ezDPS: An Efficient and Zero-Knowledge Machine Learning Inference
Pipeline [2.0813318162800707]
我々は,新しい効率的かつゼロ知識の機械学習推論スキームであるezDPSを提案する。
ezDPSはzkMLパイプラインで、データを複数のステージで高精度に処理する。
ezDPSは,全測定値における一般的な回路ベース手法よりも1~3桁効率が高いことを示す。
論文 参考訳(メタデータ) (2022-12-11T06:47:28Z) - On Taking Advantage of Opportunistic Meta-knowledge to Reduce
Configuration Spaces for Automated Machine Learning [11.670797168818773]
主要な研究課題は、パフォーマンスの悪いMLパイプラインのコスト評価を事前に回避できるかどうかである。
AutoWeka4MCPSパッケージによる多くの実験は、オポチュニティ/システムメタ知識がMLの結果を改善することを示唆している。
我々は、データセットの「チャレンジ」に対する強い感度、すなわち、予測子の選択における特異性によってパフォーマンスが著しく向上するかどうかを観察する。
論文 参考訳(メタデータ) (2022-08-08T19:22:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。