論文の概要: Test Adequacy for Metamorphic Testing: Criteria, Measurement, and Implication

• arxiv url: http://arxiv.org/abs/2412.20692v1
• Date: Mon, 30 Dec 2024 04:00:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-31 16:02:41.162246
• Title: Test Adequacy for Metamorphic Testing: Criteria, Measurement, and Implication
• Title（参考訳）: メタモルフィックテストのためのテスト精度:基準、測定、含意
• Authors: An Fu, Chang-ai Sun, Jiaming Zhang, Huai Liu,
• Abstract要約: メタモルフィックテスト(MT)は、ソフトウェアテストにおけるオラクルの問題を軽減する手法である。 MTの試験精度評価問題について検討する研究はほとんどない。
• 参考スコア（独自算出の注目度）: 6.199417860195402
• License:
• Abstract: Metamorphic testing (MT) is a simple yet effective technique to alleviate the oracle problem in software testing. The underlying idea of MT is to test a software system by checking whether metamorphic relations (MRs) hold among multiple test inputs (including source and follow-up inputs) and the actual output of their executions. Since MRs and source inputs are two essential components of MT, considerable efforts have been made to examine the systematic identification of MRs and the effective generation of source inputs, which has greatly enriched the fundamental theory of MT since its invention. However, few studies have investigated the test adequacy assessment issue of MT, which hinders the objective measurement of MT's test quality as well as the effective construction of test suites. Although in the context of traditional software testing, there exist a number of test adequacy criteria that specify testing requirements to constitute an adequate test from various perspectives, they are not in line with MT's focus which is to test the software under testing (SUT) from the perspective of necessary properties. In this paper, we proposed a new set of criteria that specifies testing requirements from the perspective of necessary properties satisfied by the SUT, and designed a test adequacy measurement that evaluates the degree of adequacy based on both MRs and source inputs. The experimental results have shown that the proposed measurement can effectively indicate the fault detection effectiveness of test suites, i.e., test suites with increased test adequacy usually exhibit higher effectiveness in fault detection. Our work made an attempt to assess the test adequacy of MT from a new perspective, and our criteria and measurement provide a new approach to evaluate the test quality of MT and provide guidelines for constructing effective test suites of MT.
• Abstract（参考訳）: メタモルフィックテスト(MT)は、ソフトウェアテストにおけるオラクルの問題を軽減するための、シンプルだが効果的なテクニックである。 MTの基本的な考え方は、メタモルフィック関係(MR)が複数のテストインプット(ソースやフォローアップインプットを含む)と実際の実行出力の間に保持されているかどうかを確認することで、ソフトウェアシステムをテストすることである。 MRとソースインプットはMTの2つの必須成分であるため、MRの系統的同定とソースインプットの効果的な生成を検証し、MTの基本理論をその発明以来大いに強化してきた。 しかし,テストスイートの有効構築だけでなく,MTの試験品質の客観的な測定を妨げているMTの試験精度評価問題について検討する研究はほとんどない。 従来のソフトウェアテストの文脈では、様々な観点から適切なテストを構成するためのテスト要件を規定するテスト適格基準がいくつか存在するが、それらは、テスト対象のソフトウェア(SUT)をテストすることに焦点を当てていない。 本稿では,SUTが満たす必要な特性の観点から,テスト要件を規定する新しい基準セットを提案し,MRとソースの入力の両方に基づいて,妥当性の度合いを評価するテスト精度測定を設計した。 実験結果から,テストスイートの故障検出の有効性,すなわち,試験精度が向上したテストスイートは,異常検出において高い有効性を示すことが示唆された。 本研究は, MTの試験精度を新たな視点から評価する試みであり, 評価基準と測定基準は, MTの試験品質を評価するための新しいアプローチを提供し, MTの効果的な試験スイートを構築するためのガイドラインを提供する。

関連論文リスト

• Adaptive Testing for LLM-Based Applications: A Diversity-based Approach [15.33985438101206]
  本稿では,適応ランダムテスト(ART)のような多様性に基づくテスト手法が,プロンプトテンプレートのテストに効果的に適用可能であることを示す。 いくつかの文字列ベース距離を探索する様々な実装を用いて得られた結果,本手法が試験予算の削減による故障の発見を可能にすることを確認した。
  論文  参考訳（メタデータ） (2025-01-23T08:53:12Z)
• Context-Aware Testing: A New Paradigm for Model Testing with Large Language Models [49.06068319380296]
  我々は,コンテキストを帰納バイアスとして用いて意味のあるモデル障害を探索するコンテキスト認識テスト(CAT)を導入する。 最初のCATシステムSMART Testingをインスタンス化し、大きな言語モデルを用いて、関連性があり、起こりうる失敗を仮説化します。
  論文  参考訳（メタデータ） (2024-10-31T15:06:16Z)
• Active Test-Time Adaptation: Theoretical Analyses and An Algorithm [51.84691955495693]
  テスト時間適応(TTA)は、教師なし設定でストリーミングテストデータの分散シフトに対処する。 完全TTA設定内に能動学習を統合する能動テスト時間適応(ATTA)の新たな問題設定を提案する。
  論文  参考訳（メタデータ） (2024-04-07T22:31:34Z)
• Towards Reliable AI: Adequacy Metrics for Ensuring the Quality of System-level Testing of Autonomous Vehicles [5.634825161148484]
  我々は、"Test suite Instance Space Adequacy"(TISA)メトリクスと呼ばれる一連のブラックボックステストの精度指標を紹介します。 TISAメトリクスは、テストスイートの多様性とカバレッジと、テスト中に検出されたバグの範囲の両方を評価する手段を提供する。 AVのシステムレベルのシミュレーションテストにおいて検出されたバグ数との相関を検証し,TISA測定の有効性を評価する。
  論文  参考訳（メタデータ） (2023-11-14T10:16:05Z)
• Towards General Error Diagnosis via Behavioral Testing in Machine Translation [48.108393938462974]
  本稿では,機械翻訳(MT)システムの動作試験を行うための新しい枠組みを提案する。 BTPGBTの中核となる考え方は、新しいバイリンガル翻訳ペア生成アプローチを採用することである。 様々なMTシステムの実験結果から,BTPGBTは包括的かつ正確な行動検査結果を提供できることが示された。
  論文  参考訳（メタデータ） (2023-10-20T09:06:41Z)
• Towards a Complete Metamorphic Testing Pipeline [56.75969180129005]
  システムアンダーテスト(SUT)の連続実行における入出力ペア間の関係を調べてテストオラクル問題に対処するメタモルフィックテスト(MT) これらの関係は、メタモルフィック関係 (MRs) と呼ばれ、特定の入力変化に起因する期待される出力変化を規定する。 本研究の目的は,MR の生成,制約の定義,MR 結果の説明可能性の提供を支援する手法とツールの開発である。
  論文  参考訳（メタデータ） (2023-09-30T10:49:22Z)
• Automating Behavioral Testing in Machine Translation [9.151054827967933]
  本稿では,機械翻訳モデルの振る舞いをテストするために,大規模言語モデルを用いてソース文を生成することを提案する。 MTモデルが一致した候補集合を通して期待される振る舞いを示すかどうかを検証することができる。 本研究の目的は,人的労力を最小限に抑えながら,MTシステムの動作試験を実践することである。
  論文  参考訳（メタデータ） (2023-09-05T19:40:45Z)
• From Static Benchmarks to Adaptive Testing: Psychometrics in AI Evaluation [60.14902811624433]
  本稿では,静的評価手法から適応テストへのパラダイムシフトについて論じる。 これには、ベンチマークで各テスト項目の特性と価値を推定し、リアルタイムでアイテムを動的に調整することが含まれる。 我々は、AI評価にサイコメトリックを採用する現在のアプローチ、アドバンテージ、そして根底にある理由を分析します。
  論文  参考訳（メタデータ） (2023-06-18T09:54:33Z)
• A Comprehensive Survey on Test-Time Adaptation under Distribution Shifts [117.72709110877939]
  テスト時間適応(TTA)は、事前訓練されたモデルをテスト中に、予測する前にラベルのないデータに適応する可能性がある。 TTAはテスト時間領域適応、テスト時間バッチ適応、オンラインテスト時間適応といったテストデータの形態に基づいて、いくつかの異なるグループに分類される。
  論文  参考訳（メタデータ） (2023-03-27T16:32:21Z)
• A Probabilistic Framework for Mutation Testing in Deep Neural Networks [12.033944769247958]
  不整合を緩和する確率変異テスト(PMT)手法を提案する。 PMTは、評価を通じてより一貫性のある、より情報のある突然変異の決定を可能にする。
  論文  参考訳（メタデータ） (2022-08-11T19:45:14Z)
• Hybrid Intelligent Testing in Simulation-Based Verification [0.0]
  数百万のテストは、カバレッジの目標を達成するために必要かもしれない。 カバレッジ指向のテスト選択は、カバレッジフィードバックからバイアステストまで、最も効果的なテストへと学習する。 ノベルティ駆動検証は、以前の刺激とは異なる刺激を識別し、シミュレートすることを学ぶ。
  論文  参考訳（メタデータ） (2022-05-19T13:22:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。