論文の概要: MR-Scout: Automated Synthesis of Metamorphic Relations from Existing Test Cases

• arxiv url: http://arxiv.org/abs/2304.07548v3
• Date: Mon, 8 Apr 2024 05:12:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-10 05:36:49.792814
• Title: MR-Scout: Automated Synthesis of Metamorphic Relations from Existing Test Cases
• Title（参考訳）: MR-Scout:既存のテストケースからの変成関係の自動合成
• Authors: Congying Xu, Valerio Terragni, Hengcheng Zhu, Jiarong Wu, Shing-Chi Cheung,
• Abstract要約: オープンソースソフトウェアプロジェクトのテストケースからMRを自動的に合成するMR-Scoutを提案する。 符号化されたMRの97%以上は、自動テストケース生成に高品質である。 我々の質的研究は、コード化されたMRの55.76%から76.92%が開発者にとって容易に理解可能であることを示している。
• 参考スコア（独自算出の注目度）: 9.00297842984345
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Metamorphic Testing (MT) alleviates the oracle problem by defining oracles based on metamorphic relations (MRs), that govern multiple related inputs and their outputs. However, designing MRs is challenging, as it requires domain-specific knowledge. This hinders the widespread adoption of MT. We observe that developer-written test cases can embed domain knowledge that encodes MRs. Such encoded MRs could be synthesized for testing not only their original programs but also other programs that share similar functionalities. In this paper, we propose MR-Scout to automatically synthesize MRs from test cases in open-source software (OSS) projects. MR-Scout first discovers MR-encoded test cases (MTCs), and then synthesizes the encoded MRs into parameterized methods (called codified MRs), and filters out MRs that demonstrate poor quality for new test case generation. MR-Scout discovered over 11,000 MTCs from 701 OSS projects. Experimental results show that over 97% of codified MRs are of high quality for automated test case generation, demonstrating the practical applicability of MR-Scout. Furthermore, codified-MRs-based tests effectively enhance the test adequacy of programs with developer-written tests, leading to 13.52% and 9.42% increases in line coverage and mutation score, respectively. Our qualitative study shows that 55.76% to 76.92% of codified MRs are easily comprehensible for developers.
• Abstract（参考訳）: メタモルフィックテスト(MT)は、複数の関連する入力とその出力を管理するメタモルフィック関係(MR)に基づいてオラクルを定義することで、オラクル問題を緩和する。 しかし、MRの設計はドメイン固有の知識を必要とするため、難しい。 開発者が記述したテストケースは、MRを符号化するドメイン知識を埋め込むことができる。このような符号化されたMRは、元のプログラムだけでなく、同様の機能を持つプログラムもテストするために合成することができる。 本稿では,オープンソースソフトウェア(OSS)プロジェクトのテストケースからMRを自動的に合成するMR-Scoutを提案する。 MR-ScoutはまずMR符号化テストケース(MTC)を発見し、次に符号化されたMRをパラメータ化されたメソッド(コーデレートされたMRと呼ばれる)に合成し、新しいテストケース生成における品質の低下を示すMRをフィルタリングする。 MR-Scout は 701 OSS プロジェクトから 11,000 MTC 以上を発見した。 その結果, MR-Scout の実用性を示すため, 97%以上が自動テストケース生成に高品質であることがわかった。 さらに、コード化されたMRベースのテストは、開発者によるテストによるプログラムのテスト精度を効果的に向上させ、それぞれ13.52%と9.42%のラインカバレッジと突然変異スコアが増加した。 我々の質的研究は、コード化されたMRの55.76%から76.92%が開発者にとって容易に理解可能であることを示している。

関連論文リスト

• Towards Realistic Evaluation of Commit Message Generation by Matching Online and Offline Settings [77.20838441870151]
  コミットメッセージ生成は、ソフトウェアエンジニアリングにおいて重要なタスクであり、正しく評価することが難しい。 オンラインメトリック - VCSに生成されたメッセージをコミットする前にユーザが導入する編集回数 - を使用して、オフライン実験用のメトリクスを選択します。 その結果,編集距離が最も高い相関を示すのに対し,BLEUやMETEORなどの類似度は低い相関を示すことがわかった。
  論文  参考訳（メタデータ） (2024-10-15T20:32:07Z)
• MR-Adopt: Automatic Deduction of Input Transformation Function for Metamorphic Testing [9.50422798204681]
  本稿では,ハードコードされたソースから入力変換と追従入力を自動的に推定するMR-Adoptを提案する。 MR-Adopt生成の入力変換を組み込むことで、符号化されたMRベースのテストケースは、テスト精度を効果的に向上させることができる。
  論文  参考訳（メタデータ） (2024-08-28T14:24:48Z)
• GenMorph: Automatically Generating Metamorphic Relations via Genetic Programming [14.417892080404544]
  GenMorphはJavaメソッドのメタモーフィックリレーション(MR)を自動的に生成するテクニックである。 進化的アルゴリズムを使って、有効なオーラクルを探索し、誤報を起こさず、テスト中のメソッドにソフトウェア欠陥を暴露する。 以上の結果から,GenMorphは23手法中18手法に対して有効MRを生成できる(突然変異スコアは20%)。
  論文  参考訳（メタデータ） (2023-12-23T17:20:45Z)
• Towards a Complete Metamorphic Testing Pipeline [56.75969180129005]
  システムアンダーテスト(SUT)の連続実行における入出力ペア間の関係を調べてテストオラクル問題に対処するメタモルフィックテスト(MT) これらの関係は、メタモルフィック関係 (MRs) と呼ばれ、特定の入力変化に起因する期待される出力変化を規定する。 本研究の目的は,MR の生成,制約の定義,MR 結果の説明可能性の提供を支援する手法とツールの開発である。
  論文  参考訳（メタデータ） (2023-09-30T10:49:22Z)
• Bug or not Bug? Analysing the Reasons Behind Metamorphic Relation Violations [46.889513596156185]
  メタモルフィックテスト(MT)は、オラクルの問題を効果的に緩和できるテスト手法である。 MTは、テストケースが通過するか失敗するかを判断するために、メタモルフィックリレーショナル(MR)を使用する。 本研究では, 特定の試験データに一致しないバグやMRの欠陥が生じたかどうかをヒントとして, MRを精製する手法を開発した。
  論文  参考訳（メタデータ） (2023-05-16T17:42:37Z)
• Error Analysis Prompting Enables Human-Like Translation Evaluation in Large Language Models [57.80514758695275]
  機械翻訳(MT)の品質を評価するために,大規模言語モデル(LLM)を用いることで,システムレベルでの最先端のパフォーマンスを実現する。 我々はtextbftexttError Analysis Prompting (EAPrompt) と呼ばれる新しいプロンプト手法を提案する。 本手法は,多次元品質指標 (MQM) とtextitproduces を用いて,システムレベルとセグメントレベルの両方で説明可能かつ信頼性の高いMT評価を行う。
  論文  参考訳（メタデータ） (2023-03-24T05:05:03Z)
• Advancing Radiograph Representation Learning with Masked Record Modeling [52.04899592688968]
  我々は2つの相補的な目的として自己と報告の補完を定式化し、マスク付きレコードモデリング(MRM)に基づく統一的な枠組みを提案する。 MRMは、知識強化されたセマンティック表現を学ぶためのマルチタスクスキームに従って、マスクされた画像パッチとマスクされたレポートトークンを再構築する。 具体的には、MRMはラベル効率の良い微調整において優れた性能を提供する。
  論文  参考訳（メタデータ） (2023-01-30T18:33:32Z)
• Effective Mutation Rate Adaptation through Group Elite Selection [50.88204196504888]
  本稿では,GESMR(Group Elite Selection of Mutation Rates)アルゴリズムを提案する。 GESMRは解の集団とMRの集団を共進化させ、各MRは解群に割り当てられる。 同じ数の関数評価とオーバーヘッドのほとんどないGESMRは、以前のアプローチよりも早く、より良いソリューションに収束する。
  論文  参考訳（メタデータ） (2022-04-11T01:08:26Z)
• Metamorphic Relation Prioritization for Effective Regression Testing [11.033596835816422]
  本稿では, 回帰テストの効率と有効性を改善するために, メタモルフィック関係(MR)を優先する手法を提案する。 本稿では,(1)障害ベースと(2)カバレッジベースという2つのMR優先順位付け手法を提案する。 以上の結果から,フォールトベースMR優先化は,実行すべきソースおよびフォローアップテストケースの数を減少させる可能性が示唆された。
  論文  参考訳（メタデータ） (2021-09-20T19:06:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。