論文の概要: A Taxonomy of Information Attributes for Test Case Prioritisation:
Applicability, Machine Learning
- arxiv url: http://arxiv.org/abs/2201.06044v1
- Date: Sun, 16 Jan 2022 13:13:29 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-19 17:07:27.150926
- Title: A Taxonomy of Information Attributes for Test Case Prioritisation:
Applicability, Machine Learning
- Title(参考訳): テストケース優先のための情報属性の分類:適用性、機械学習
- Authors: Aurora Ram\'irez, Robert Feldt, Jos\'e Ra\'ul Romero
- Abstract要約: テストスイートは実行に費用がかかるため、業界はテストケース優先順位付け(TCP)のための方法を必要としている。
近年のTCP方式では、テスト対象システム(SUT)とそのテストケースに関する情報を活用するために機械学習(ML)を採用している。
本稿では,20年間のTCP研究を解析し,これまで使用されてきた91の情報属性の分類について述べる。
- 参考スコア(独自算出の注目度): 12.24664973838839
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Most software companies have extensive test suites and re-run parts of them
continuously to ensure recent changes have no adverse effects. Since test
suites are costly to execute, industry needs methods for test case
prioritisation (TCP). Recently, TCP methods use machine learning (ML) to
exploit the information known about the system under test (SUT) and its test
cases. However, the value added by ML-based TCP methods should be critically
assessed with respect to the cost of collecting the information. This paper
analyses two decades of TCP research, and presents a taxonomy of 91 information
attributes that have been used. The attributes are classified with respect to
their information sources and the characteristics of their extraction process.
Based on this taxonomy, TCP methods validated with industrial data and those
applying ML are analysed in terms of information availability, attribute
combination and definition of data features suitable for ML. Relying on a high
number of information attributes, assuming easy access to SUT code and
simplified testing environments are identified as factors that might hamper
industrial applicability of ML-based TCP. The TePIA taxonomy provides a
reference framework to unify terminology and evaluate alternatives considering
the cost-benefit of the information attributes.
- Abstract(参考訳): ほとんどのソフトウェア企業は広範なテストスイートを持ち、その一部を継続的に再実行することで、最近の変更が悪影響を及ぼさないようにしている。
テストスイートの実行にはコストがかかるため、業界ではテストケース優先順位付け(TCP)の方法が必要である。
近年,テスト対象システム(SUT)とそのテストケースに関する情報を活用するために,機械学習(ML)が使用されている。
しかし、MLベースのTCPメソッドで付加される価値は、情報収集のコストに関して批判的に評価されるべきである。
本稿では,20年間のTCP研究を解析し,これまで使用されてきた91の情報属性の分類について述べる。
属性は、その情報ソースとその抽出プロセスの特徴について分類される。
この分類に基づいて、産業データで検証されたTCP法とMLを適用したTCP法は、MLに適したデータ特徴の可用性、属性の組み合わせ、定義の観点から分析される。
MLベースのTCPの産業的適用性を阻害する可能性のある要因として、SUTコードへの容易にアクセスと簡易なテスト環境を仮定して、多くの情報属性を考慮に入れている。
TePIA分類は、情報属性の費用対効果を考慮して、用語を統一し、代替品を評価するための参照フレームワークを提供する。
関連論文リスト
- Wildest Dreams: Reproducible Research in Privacy-preserving Neural
Network Training [2.853180143237022]
この作業は、ユーザデータのプライバシを維持することが最も重要であるMLモデルのトレーニングフェーズに重点を置いている。
我々は、現在のアプローチの理解を容易にする、しっかりとした理論的背景を提供する。
我々は,いくつかの論文の成果を再現し,その分野における既存の研究がオープンサイエンスを支援するレベルについて検討する。
論文 参考訳(メタデータ) (2024-03-06T10:25:36Z) - Don't Push the Button! Exploring Data Leakage Risks in Machine Learning
and Transfer Learning [0.0]
本稿では、意図しない情報がトレーニングデータを汚染し、モデルの性能評価に影響を与える機械学習(ML)における重要な問題に対処する。
新たなデータに対する評価と実際のパフォーマンスの相違は大きな懸念事項である。
データ漏洩と対処中の特定のタスクとの関係を調査し、Transfer Learningにおけるその発生を調査し、標準的なインダクティブMLとトランスダクティブMLフレームワークを比較します。
論文 参考訳(メタデータ) (2024-01-24T20:30:52Z) - Leveraging Large Language Models to Improve REST API Testing [51.284096009803406]
RESTGPTはAPI仕様を入力として、機械解釈可能なルールを抽出し、仕様内の自然言語記述からサンプルパラメータ値を生成する。
評価の結果、RESTGPTはルール抽出と値生成の両方において既存の技術よりも優れています。
論文 参考訳(メタデータ) (2023-12-01T19:53:23Z) - Adaptive REST API Testing with Reinforcement Learning [54.68542517176757]
現在のテストツールは効率的な探索機構がなく、全ての操作とパラメータを等しく扱う。
現在のツールは、仕様にレスポンススキーマがない場合や、変種を示す場合に苦労している。
我々は、強化学習を取り入れた適応型REST APIテスト手法を提案し、探索中の操作を優先順位付けする。
論文 参考訳(メタデータ) (2023-09-08T20:27:05Z) - Benchmarking Automated Machine Learning Methods for Price Forecasting
Applications [58.720142291102135]
自動機械学習(AutoML)ソリューションで手作業で作成したMLパイプラインを置換する可能性を示す。
CRISP-DMプロセスに基づいて,手動MLパイプラインを機械学習と非機械学習に分割した。
本稿では、価格予測の産業利用事例として、ドメイン知識とAutoMLを組み合わせることで、ML専門家への依存が弱まることを示す。
論文 参考訳(メタデータ) (2023-04-28T10:27:38Z) - ezDPS: An Efficient and Zero-Knowledge Machine Learning Inference
Pipeline [2.0813318162800707]
我々は,新しい効率的かつゼロ知識の機械学習推論スキームであるezDPSを提案する。
ezDPSはzkMLパイプラインで、データを複数のステージで高精度に処理する。
ezDPSは,全測定値における一般的な回路ベース手法よりも1~3桁効率が高いことを示す。
論文 参考訳(メタデータ) (2022-12-11T06:47:28Z) - On Taking Advantage of Opportunistic Meta-knowledge to Reduce
Configuration Spaces for Automated Machine Learning [11.670797168818773]
主要な研究課題は、パフォーマンスの悪いMLパイプラインのコスト評価を事前に回避できるかどうかである。
AutoWeka4MCPSパッケージによる多くの実験は、オポチュニティ/システムメタ知識がMLの結果を改善することを示唆している。
我々は、データセットの「チャレンジ」に対する強い感度、すなわち、予測子の選択における特異性によってパフォーマンスが著しく向上するかどうかを観察する。
論文 参考訳(メタデータ) (2022-08-08T19:22:24Z) - Benchmarking Answer Verification Methods for Question Answering-Based
Summarization Evaluation Metrics [74.28810048824519]
質問応答に基づく要約評価メトリクスは、QAモデルの予測が正しいかどうかを自動的に判断する必要がある。
筆者らは,現在QAベースのメトリクスで使用されている語彙的回答検証手法と,より洗練された2つのテキスト比較手法をベンチマークした。
論文 参考訳(メタデータ) (2022-04-21T15:43:45Z) - Combining Feature and Instance Attribution to Detect Artifacts [62.63504976810927]
トレーニングデータアーティファクトの識別を容易にする手法を提案する。
提案手法は,トレーニングデータのアーティファクトの発見に有効であることを示す。
我々は,これらの手法が実際にNLP研究者にとって有用かどうかを評価するために,小規模なユーザスタディを実施している。
論文 参考訳(メタデータ) (2021-07-01T09:26:13Z) - Automated Machine Learning Techniques for Data Streams [91.3755431537592]
本稿では、最先端のオープンソースAutoMLツールを調査し、ストリームから収集したデータに適用し、時間とともにパフォーマンスがどのように変化するかを測定する。
この結果から,既製のAutoMLツールで十分な結果が得られることが示されたが,概念ドリフトや検出,適応といった手法が適用されれば,予測精度を時間とともに維持することが可能になる。
論文 参考訳(メタデータ) (2021-06-14T11:42:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。