論文の概要: Assessing test artifact quality -- A tertiary study
- arxiv url: http://arxiv.org/abs/2402.09541v1
- Date: Wed, 14 Feb 2024 19:31:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-16 18:05:53.641986
- Title: Assessing test artifact quality -- A tertiary study
- Title(参考訳): テストアーティファクトの品質評価 : 第3次研究
- Authors: Huynh Khanh Vi Tran, Michael Unterkalmsteiner, J\"urgen B\"orstler,
Nauman bin Ali
- Abstract要約: 我々は、ソフトウェアテストアーティファクトの品質面に関する既存の二次研究を特定し、分析するために、系統的な文献レビューを実施してきた。
テストケース/スーツの品質を調査する環境を特徴付けるのに使用できる文脈次元と要因の集約について述べる。
- 参考スコア(独自算出の注目度): 1.7827643249624088
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Context: Modern software development increasingly relies on software testing
for an ever more frequent delivery of high quality software. This puts high
demands on the quality of the central artifacts in software testing, test
suites and test cases. Objective: We aim to develop a comprehensive model for
capturing the dimensions of test case/suite quality, which are relevant for a
variety of perspectives. Method: We have carried out a systematic literature
review to identify and analyze existing secondary studies on quality aspects of
software testing artifacts. Results: We identified 49 relevant secondary
studies. Of these 49 studies, less than half did some form of quality appraisal
of the included primary studies and only 3 took into account the quality of the
primary study when synthesizing the results. We present an aggregation of the
context dimensions and factors that can be used to characterize the environment
in which the test case/suite quality is investigated. We also provide a
comprehensive model of test case/suite quality with definitions for the quality
attributes and measurements based on findings in the literature and ISO/IEC
25010:2011. Conclusion: The test artifact quality model presented in the paper
can be used to support test artifact quality assessment and improvement
initiatives in practice. Furtherm Information and Software Technology 139
(2021): 106620ore, the model can also be used as a framework for documenting
context characteristics to make research results more accessible for research
and practice.
- Abstract(参考訳): コンテキスト: 現代のソフトウェア開発は、高品質なソフトウェアをより頻繁に提供するために、ますますソフトウェアテストに依存しています。
これにより、ソフトウェアテスト、テストスイート、テストケースの中心的なアーティファクトの品質に対する高い要求が生まれます。
目的: さまざまな視点に関係のあるテストケース/適合品質の次元を捉える包括的なモデルを開発することを目的としている。
方法: ソフトウェアテストアーティファクトの品質に関する既存の二次研究を識別・分析するために,体系的な文献レビューを実施した。
結果: 二次研究は49件であった。
これらの49件の研究のうち,本研究の質評価は半数に満たず,結果合成時の一次研究の質を考慮に入れたものは3つに過ぎなかった。
本稿では,テストケース/適合品質が調査される環境を特徴付けるために使用できるコンテキスト次元と要因の集約について述べる。
また,文献およびISO/IEC 25010:2011の知見に基づいて,品質特性と測定値を定義した総合的なテストケース/スーツ品質モデルも提供する。
結論: 本論文で提示されたテストアーティファクトの品質モデルを用いて,テストアーティファクトの品質評価と改善イニシアチブの実践を支援する。
furtherm information and software technology 139 (2021): 106620ore このモデルは、研究結果を研究や実践にもっとアクセスしやすくするために、コンテキスト特性を文書化するためのフレームワークとしても使用できる。
関連論文リスト
- Multi-Facet Counterfactual Learning for Content Quality Evaluation [48.73583736357489]
コンテンツ品質評価の複数の側面を知覚する評価器を効率的に構築する枠組みを提案する。
我々は,コントラスト学習と教師付き学習に基づく共同学習戦略を活用し,評価者が異なる品質面を区別できるようにする。
論文 参考訳(メタデータ) (2024-10-10T08:04:10Z) - Computer Vision Intelligence Test Modeling and Generation: A Case Study on Smart OCR [3.0561992956541606]
まず、AIソフトウェアテストプロセスの重要な側面を網羅した、これまでの研究に関する包括的な文献レビューを紹介する。
次に,画像に基づくテキスト抽出AI関数を体系的に評価する3次元分類モデルを提案する。
提案したAIソフトウェアの品質テストの性能を評価するために,異なる側面をカバーするための4つの評価指標を提案する。
論文 参考訳(メタデータ) (2024-09-14T23:33:28Z) - Mashee at SemEval-2024 Task 8: The Impact of Samples Quality on the Performance of In-Context Learning for Machine Text Classification [0.0]
我々は,高品質試料を同定するために2乗検定を用い,低品質試料を用いて得られた試料と比較した。
これらの結果から, 高品質な試料の利用により, 評価指標のすべてに対して, 性能が向上することが示唆された。
論文 参考訳(メタデータ) (2024-05-28T12:47:43Z) - QuRating: Selecting High-Quality Data for Training Language Models [64.83332850645074]
データ品質に関する人間の直感をキャプチャできる事前学習データを選択するQuRatingを導入する。
本稿では,書体,専門知識,事実とトリビア,教育的価値の4つの特性について検討する。
ペアの判断からスカラー評価を学習するためにQurモデルをトレーニングし、それを4つの基準ごとに品質評価付き260Bのトレーニングコーパスにアノテートするために使用します。
論文 参考訳(メタデータ) (2024-02-15T06:36:07Z) - A manual categorization of new quality issues on automatically-generated
tests [0.8225289576465757]
2,340個の自動生成テストからなる外部データセットの手動解析について報告する。
4つのカテゴリに分類された13の新たな品質課題の分類法を提案する。
自動生成テストの品質と有用性を改善するために,テストジェネレータが考慮すべき8つの勧告を提案する。
論文 参考訳(メタデータ) (2023-12-14T11:19:14Z) - A Novel Metric for Measuring Data Quality in Classification Applications
(extended version) [0.0]
データ品質を測定するための新しい指標を紹介し説明する。
この尺度は、分類性能とデータの劣化の相関した進化に基づいている。
各基準の解釈と評価レベルの例を提供する。
論文 参考訳(メタデータ) (2023-12-13T11:20:09Z) - Test-Case Quality -- Understanding Practitioners' Perspectives [1.7827643249624088]
本稿では,11種類のテストケースの品質特性からなる品質モデルを提案する。
我々は,実践者と学業者の間で,テストケースの品質を定義する上でのミスアライメントを特定した。
論文 参考訳(メタデータ) (2023-09-28T19:10:01Z) - Analyzing Dataset Annotation Quality Management in the Wild [63.07224587146207]
最先端モデルのトレーニングと評価に使用される一般的なデータセットでさえ、誤ったアノテーションやバイアス、アーティファクトの量は無視できない。
データセット作成プロジェクトに関するプラクティスやガイドラインは存在するが、品質管理の実施方法に関する大規模な分析はまだ行われていない。
論文 参考訳(メタデータ) (2023-07-16T21:22:40Z) - From Static Benchmarks to Adaptive Testing: Psychometrics in AI Evaluation [60.14902811624433]
本稿では,静的評価手法から適応テストへのパラダイムシフトについて論じる。
これには、ベンチマークで各テスト項目の特性と価値を推定し、リアルタイムでアイテムを動的に調整することが含まれる。
我々は、AI評価にサイコメトリックを採用する現在のアプローチ、アドバンテージ、そして根底にある理由を分析します。
論文 参考訳(メタデータ) (2023-06-18T09:54:33Z) - Image Quality Assessment in the Modern Age [53.19271326110551]
本チュートリアルは、画像品質評価(IQA)の基礎的理論、方法論、現状の進歩を聴衆に提供する。
まず,視覚刺激を適切に選択する方法に着目し,主観的品質評価手法を再考する。
手書きのエンジニアリングと(深い)学習ベースの手法の両方をカバーします。
論文 参考訳(メタデータ) (2021-10-19T02:38:46Z) - Quality meets Diversity: A Model-Agnostic Framework for Computerized
Adaptive Testing [60.38182654847399]
コンピュータ適応テスト(CAT)は多くのシナリオで有望なテストアプリケーションとして現れています。
CAT ソリューションのための新しいフレームワークである Model-Agnostic Adaptive Testing (MAAT) を提案する。
論文 参考訳(メタデータ) (2021-01-15T06:48:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。