論文の概要: Quality attributes of test cases and test suites -- importance & challenges from practitioners' perspectives

• arxiv url: http://arxiv.org/abs/2507.06343v1
• Date: Tue, 08 Jul 2025 19:09:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-10 17:37:43.365628
• Title: Quality attributes of test cases and test suites -- importance & challenges from practitioners' perspectives
• Title（参考訳）: テストケースとテストスイートの品質特性 -- 実践者の視点による重要性と課題-
• Authors: Huynh Khanh Vi Tran, Nauman bin Ali, Michael Unterkalmsteiner, Jürgen Börstler, Panagiota Chatzipetrou,
• Abstract要約: テストケースとテストスイートの品質特性の相対的重要性に関する実践者の認識について検討する。 重要な属性、すなわち不適切な定義、有用なメトリクスの欠如、確立されたレビュープロセスの欠如、外部サポートの欠如に適用する一般的な課題を特定します。
• 参考スコア（独自算出の注目度）: 3.5128287143338626
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Context: The quality of the test suites and the constituent test cases significantly impacts confidence in software testing. While research has identified several quality attributes of test cases and test suites, there is a need for a better understanding of their relative importance in practice. Objective: We investigate practitioners' perceptions regarding the relative importance of quality attributes of test cases and test suites and the challenges they face in ensuring the perceived important quality attributes. Method: We conducted an industrial survey using a questionnaire based on the quality attributes identified in an extensive literature review. We used a sampling strategy that leverages LinkedIn to draw a large and heterogeneous sample of professionals with experience in software testing. Results: We collected 354 responses from practitioners with a wide range of experience. We found that the majority of practitioners rated Fault Detection, Usability, Maintainability, Reliability, and Coverage to be the most important quality attributes. Resource Efficiency, Reusability, and Simplicity received the most divergent opinions, which, according to our analysis, depend on the software-testing contexts. We identified common challenges that apply to the important attributes, namely inadequate definition, lack of useful metrics, lack of an established review process, and lack of external support. Conclusion: The findings point out where practitioners actually need further support with respect to achieving high-quality test cases and test suites under different software testing contexts. The findings can serve as a guideline for academic researchers when looking for research directions on the topic. The findings can also be used to encourage companies to provide more support to practitioners to achieve high-quality test cases and test suites.
• Abstract（参考訳）: コンテキスト: テストスイートの品質と構成テストケースは、ソフトウェアテストの信頼性に大きな影響を与えます。 研究は、テストケースとテストスイートのいくつかの品質特性を特定してきたが、実践においてそれらの相対的な重要性をよりよく理解する必要がある。 目的: テストケースとテストスイートの品質特性の相対的重要性に対する実践者の認識と,それらが認識する重要な品質特性の確保に直面する課題について検討する。 方法: 広範囲にわたる文献レビューで確認された品質特性に基づいて, 質問紙を用いた産業調査を行った。 私たちは、LinkedInを活用して、ソフトウェアテストの経験のあるプロフェッショナルの大規模で異質なサンプルを描画するサンプリング戦略を使用しました。 結果: 幅広い経験を持つ実践者から354件の回答を得た。 実践者の大多数が、障害検出、ユーザビリティ、保守性、信頼性、カバレッジを最も重要な品質特性と評価しました。 リソース効率、再利用性、シンプルさは最も異なる意見を受け取り、我々の分析によると、ソフトウェアテストのコンテキストに依存します。 私たちは、重要な属性、すなわち不適切な定義、有用なメトリクスの欠如、確立されたレビュープロセスの欠如、外部サポートの欠如に適用する一般的な課題を特定しました。 結論: その結果は、異なるソフトウェアテストコンテキスト下で高品質のテストケースとテストスイートを達成するために、実践者が実際にさらなるサポートを必要としている点を指摘する。 この発見は、研究の方向性を探究する際、学術研究者のガイドラインとして機能する。 この発見はまた、企業に対して、高品質なテストケースとテストスイートを達成するために、実践者により多くのサポートを提供するように促すためにも使われる。

関連論文リスト

• Establishing Best Practices for Building Rigorous Agentic Benchmarks [94.69724201080155]
  多くのエージェントベンチマークがタスク設定や報酬設計に問題があることを示す。 このような問題は、エージェントのパフォーマンスを最大100%相対的に過小評価することにつながる可能性がある。 我々はベンチマーク構築経験から要約したガイドラインの集合であるAgentic Benchmark Checklist (ABC)を紹介した。
  論文  参考訳（メタデータ） (2025-07-03T17:35:31Z)
• CodeContests+: High-Quality Test Case Generation for Competitive Programming [14.602111331209203]
  本稿では,競合プログラミング問題に対する高品質なテストケースを作成するエージェントシステムを提案する。 我々は、このシステムをCodeContestsデータセットに適用し、CodeContests+というテストケースを改善した新しいバージョンを提案する。 その結果、CodeContests+はCodeContestsよりもはるかに高い精度を実現し、特にTPR(True Positive Rate)が顕著であることがわかった。
  論文  参考訳（メタデータ） (2025-06-06T07:29:01Z)
• TestAgent: An Adaptive and Intelligent Expert for Human Assessment [62.060118490577366]
  対話型エンゲージメントによる適応テストを強化するために,大規模言語モデル(LLM)を利用したエージェントであるTestAgentを提案する。 TestAgentは、パーソナライズされた質問の選択をサポートし、テストテイカーの応答と異常をキャプチャし、動的で対話的なインタラクションを通じて正確な結果を提供する。
  論文  参考訳（メタデータ） (2025-06-03T16:07:54Z)
• QG-SMS: Enhancing Test Item Analysis via Student Modeling and Simulation [13.202947148434333]
  テスト項目分析(テスト項目解析)をQG評価に導入する。 トピックカバレッジ、アイテムの難易度、アイテムの識別、イントラクタ効率など、ディメンションによって品質が異なる質問のペアを構築します。 学生のモデリングとシミュレーションに大規模言語モデルを活用する新しいQG評価フレームワークQG-SMSを提案する。
  論文  参考訳（メタデータ） (2025-03-07T19:21:59Z)
• CritiQ: Mining Data Quality Criteria from Human Preferences [70.35346554179036]
  人間の嗜好からデータ品質の基準を自動的にマイニングする新しいデータ選択手法であるCritiQを紹介する。 CritiQ Flowはマネージャエージェントを使用して品質基準を進化させ、ワーカーエージェントはペアで判断する。 コード,数学,論理領域において,本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2025-02-26T16:33:41Z)
• Assessing test artifact quality -- A tertiary study [1.7827643249624088]
  我々は、ソフトウェアテストアーティファクトの品質面に関する既存の二次研究を特定し、分析するために、系統的な文献レビューを実施してきた。 テストケース/スーツの品質を調査する環境を特徴付けるのに使用できる文脈次元と要因の集約について述べる。
  論文  参考訳（メタデータ） (2024-02-14T19:31:57Z)
• Test-Case Quality -- Understanding Practitioners' Perspectives [1.7827643249624088]
  本稿では,11種類のテストケースの品質特性からなる品質モデルを提案する。 我々は,実践者と学業者の間で,テストケースの品質を定義する上でのミスアライメントを特定した。
  論文  参考訳（メタデータ） (2023-09-28T19:10:01Z)
• ExpertQA: Expert-Curated Questions and Attributed Answers [51.68314045809179]
  我々は,様々な属性と事実の軸に沿って,いくつかの代表システムからの応答を人為的に評価する。 我々は32分野にわたる484人の被験者から専門家による質問を収集し、同じ専門家に自身の質問に対する反応を評価する。 分析の結果は,32分野にまたがる2177の質問と,回答の検証とクレームの属性を備えた高品質な長文QAデータセットであるExpertQAである。
  論文  参考訳（メタデータ） (2023-09-14T16:54:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。