論文の概要: Towards a Complete Metamorphic Testing Pipeline
- arxiv url: http://arxiv.org/abs/2310.00338v1
- Date: Sat, 30 Sep 2023 10:49:22 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-23 05:26:13.118257
- Title: Towards a Complete Metamorphic Testing Pipeline
- Title（参考訳）: 完全なメタモルフィックテストパイプラインに向けて
- Authors: Alejandra Duque-Torres, Dietmar Pfahl
- Abstract要約: システムアンダーテスト(SUT)の連続実行における入出力ペア間の関係を調べてテストオラクル問題に対処するメタモルフィックテスト(MT)
これらの関係は、メタモルフィック関係 (MRs) と呼ばれ、特定の入力変化に起因する期待される出力変化を規定する。
本研究の目的は,MR の生成,制約の定義,MR 結果の説明可能性の提供を支援する手法とツールの開発である。
- 参考スコア（独自算出の注目度）: 56.75969180129005
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Metamorphic Testing (MT) addresses the test oracle problem by examining the
relationships between input-output pairs in consecutive executions of the
System Under Test (SUT). These relations, known as Metamorphic Relations (MRs),
specify the expected output changes resulting from specific input changes.
However, achieving full automation in generating, selecting, and understanding
MR violations poses challenges. Our research aims to develop methods and tools
that assist testers in generating MRs, defining constraints, and providing
explainability for MR outcomes. In the MR generation phase, we explore
automated techniques that utilise a domain-specific language to generate and
describe MRs. The MR constraint definition focuses on capturing the nuances of
MR applicability by defining constraints. These constraints help identify the
specific conditions under which MRs are expected to hold. The evaluation and
validation involve conducting empirical studies to assess the effectiveness of
the developed methods and validate their applicability in real-world regression
testing scenarios. Through this research, we aim to advance the automation of
MR generation, enhance the understanding of MR violations, and facilitate their
effective application in regression testing.
- Abstract（参考訳）: メタモルフィックテスト(MT)は、システムアンダーテスト(SUT)の連続実行における入出力ペア間の関係を調べることで、テストオラクルの問題に対処する。
これらの関係は、メタモルフィック関係 (MRs) と呼ばれ、特定の入力変化に起因する期待される出力変化を規定する。
しかし、MR違反の生成、選択、理解において完全な自動化を達成することが課題となる。
本研究の目的は,MR の生成,制約の定義,MR 結果の説明可能性の提供を支援する手法とツールの開発である。
MR生成フェーズでは,MRの生成と記述にドメイン固有言語を利用する自動手法を検討する。MR制約の定義は,制約を定義することでMR適用のニュアンスを捉えることに焦点を当てている。
これらの制約はMRが保持される特定の条件を特定するのに役立つ。
評価と検証は、開発手法の有効性を評価し、実世界の回帰テストシナリオにおける適用性を検証するための実証的研究を含む。
本研究は, MR生成の自動化を推進し, MR違反の理解を深め, 回帰テストにおける有効適用を促進することを目的とする。
関連論文リスト
- AutoPT: How Far Are We from the End2End Automated Web Penetration Testing? [54.65079443902714]
LLMによって駆動されるPSMの原理に基づく自動浸透試験エージェントであるAutoPTを紹介する。
以上の結果から, AutoPT は GPT-4o ミニモデル上でのベースラインフレームワーク ReAct よりも優れていた。
論文 参考訳（メタデータ） (2024-11-02T13:24:30Z) - Evaluating ChatGPT on Nuclear Domain-Specific Data [0.0]
本稿では,大規模言語モデル(LLM)であるChatGPTの,高度に専門化された核データ分野におけるQ&Aタスクへの適用について検討する。
主な焦点は、キュレートされたテストデータセット上でのChatGPTのパフォーマンスの評価である。
LLMにRAGパイプラインを組み込むことにより, 性能の向上が図られた。
論文 参考訳（メタデータ） (2024-08-26T08:17:42Z) - MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。
本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。
メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
論文 参考訳（メタデータ） (2024-06-20T03:50:23Z) - Towards Generating Executable Metamorphic Relations Using Large Language Models [46.26208489175692]
大規模言語モデル(LLM)を用いた要件から実行可能なMRを自動的に抽出する手法を提案する。
提案手法の有効性を評価するため,シーメンス・インダストリー・ソフトウェアと共同で質問紙調査を行った。
論文 参考訳（メタデータ） (2024-01-30T13:52:47Z) - Self-RAG: Learning to Retrieve, Generate, and Critique through
Self-Reflection [74.51523859064802]
我々は、自己回帰検索拡張生成(Self-RAG)と呼ばれる新しいフレームワークを導入する。
自己RAGは、検索と自己回帰によってLMの品質と事実性を高める。
様々なタスクセットにおいて、最先端のLCMや検索強化モデルよりも大幅に優れています。
論文 参考訳（メタデータ） (2023-10-17T18:18:32Z) - Exploring a Test Data-Driven Method for Selecting and Constraining
Metamorphic Relations [46.889513596156185]
本稿では,メタトリマーの予備評価について述べる。メタトリマーは,テストデータに基づくメタモルフィック関係の選択と制約を行う手法である。
MetaTrimmerの新規性は、MRの適用性に関してラベル付きデータセットを必要とする複雑な予測モデルを避けることである。
予備評価では、MetaTrimmerが既存の制限を克服し、MRの有効性を高める可能性を示している。
論文 参考訳（メタデータ） (2023-07-28T12:27:34Z) - MR-Scout: Automated Synthesis of Metamorphic Relations from Existing Test Cases [9.00297842984345]
オープンソースソフトウェアプロジェクトのテストケースからMRを自動的に合成するMR-Scoutを提案する。
符号化されたMRの97%以上は、自動テストケース生成に高品質である。
我々の質的研究は、コード化されたMRの55.76%から76.92%が開発者にとって容易に理解可能であることを示している。
論文 参考訳（メタデータ） (2023-04-15T12:53:32Z) - Effective Mutation Rate Adaptation through Group Elite Selection [50.88204196504888]
本稿では,GESMR(Group Elite Selection of Mutation Rates)アルゴリズムを提案する。
GESMRは解の集団とMRの集団を共進化させ、各MRは解群に割り当てられる。
同じ数の関数評価とオーバーヘッドのほとんどないGESMRは、以前のアプローチよりも早く、より良いソリューションに収束する。
論文 参考訳（メタデータ） (2022-04-11T01:08:26Z) - Metamorphic Relation Prioritization for Effective Regression Testing [11.033596835816422]
本稿では, 回帰テストの効率と有効性を改善するために, メタモルフィック関係(MR)を優先する手法を提案する。
本稿では,(1)障害ベースと(2)カバレッジベースという2つのMR優先順位付け手法を提案する。
以上の結果から,フォールトベースMR優先化は,実行すべきソースおよびフォローアップテストケースの数を減少させる可能性が示唆された。
論文 参考訳（メタデータ） (2021-09-20T19:06:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。