論文の概要: MR-Adopt: Automatic Deduction of Input Transformation Function for Metamorphic Testing
- arxiv url: http://arxiv.org/abs/2408.15815v1
- Date: Wed, 28 Aug 2024 14:24:48 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-29 15:40:56.169218
- Title: MR-Adopt: Automatic Deduction of Input Transformation Function for Metamorphic Testing
- Title（参考訳）: MR-Adopt:メタモルフィックテストのための入力変換関数の自動推論
- Authors: Congying Xu, Songqiang Chen, Jiarong Wu, Shing-Chi Cheung, Valerio Terragni, Hengcheng Zhu, Jialun Cao,
- Abstract要約: 本稿では,ハードコードされたソースから入力変換と追従入力を自動的に推定するMR-Adoptを提案する。
MR-Adopt生成の入力変換を組み込むことで、符号化されたMRベースのテストケースは、テスト精度を効果的に向上させることができる。
- 参考スコア（独自算出の注目度）: 9.50422798204681
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While a recent study reveals that many developer-written test cases can encode a reusable Metamorphic Relation (MR), over 70% of them directly hard-code the source input and follow-up input in the encoded relation. Such encoded MRs, which do not contain an explicit input transformation to transform the source inputs to corresponding follow-up inputs, cannot be reused with new source inputs to enhance test adequacy. In this paper, we propose MR-Adopt (Automatic Deduction Of inPut Transformation) to automatically deduce the input transformation from the hard-coded source and follow-up inputs, aiming to enable the encoded MRs to be reused with new source inputs. With typically only one pair of source and follow-up inputs available in an MR-encoded test case as the example, we leveraged LLMs to understand the intention of the test case and generate additional examples of source-followup input pairs. This helps to guide the generation of input transformations generalizable to multiple source inputs. Besides, to mitigate the issue that LLMs generate erroneous code, we refine LLM-generated transformations by removing MR- irrelevant code elements with data-flow analysis. Finally, we assess candidate transformations based on encoded output relations and select the best transformation as the result. Evaluation results show that MR-Adopt can generate input transformations applicable to all experimental source inputs for 72.00% of encoded MRs, which is 33.33% more than using vanilla GPT-3.5. By incorporating MR- Adopt-generated input transformations, encoded MR-based test cases can effectively enhance the test adequacy, increasing the line coverage and mutation score by 10.62% and 18.91%, respectively.
- Abstract（参考訳）: 最近の研究によると、多くの開発者が書いたテストケースが再利用可能なメタモルフィック関係(MR)をエンコードできるが、70%以上が直接エンコードされた関係でソース入力とフォローアップ入力をハードコードしている。
このような符号化されたMRは、ソース入力を対応するフォローアップ入力に変換する明示的な入力変換を含まないが、新しいソース入力で再利用することができず、テスト精度が向上する。
本稿では、ハードコードされたソースとフォローアップ入力から入力変換を自動生成するMR-Adoptを提案する。
通常、MR符号化テストケースで利用可能な1組のソースとフォローアップインプットのみを例として、私たちはLLMを活用してテストケースの意図を理解し、ソースとフォローアップインプットペアの追加例を生成しました。
これは、複数のソース入力に一般化可能な入力変換の生成を導くのに役立つ。
また,LLMが誤コードを生成する問題を緩和するために,データフロー解析によりMR非関連コード要素を除去し,LLM生成変換を改良する。
最後に、符号化された出力関係に基づいて候補変換を評価し、その結果として最適な変換を選択する。
評価の結果, MR-Adopt はバニラ GPT-3.5 よりも33.33%高い 72.00% の符号化された MR に対して, 実験ソース入力に適用可能な入力変換を生成可能であることが示された。
MR-Adoptが生成する入力変換を組み込むことで、符号化されたMRベースのテストケースは、テスト精度を効果的に向上し、それぞれ10.62%と18.91%のラインカバレッジと突然変異スコアを増大させることができる。
関連論文リスト
- Provenance: A Light-weight Fact-checker for Retrieval Augmented LLM Generation Output [49.893971654861424]
検索強化生成(RAG)から非実効出力を検出する軽量な手法を提案する。
私たちは、二項決定を下すためにしきい値にできる事実性スコアを計算します。
実験の結果, ROC曲線 (AUC) の下では, 関連するオープンソースデータセットの広範囲にわたって高い面積を示すことができた。
論文 参考訳（メタデータ） (2024-11-01T20:44:59Z) - Are Transformers in Pre-trained LM A Good ASR Encoder? An Empirical Study [52.91899050612153]
自動音声認識(ASR)のためのエンコーダとして再利用された事前訓練言語モデル(PLM)内のトランスフォーマー
本研究は,事前学習したLMのトランスフォーマーを組み込んだASRタスクにおいて,文字誤り率 (CER) とワード誤り率 (WER) の顕著な改善が認められた。
このことは、事前訓練されたトランスフォーマーに埋め込まれたセマンティックな技術を活用して、ASRシステムの能力を向上させる可能性を浮き彫りにしている。
論文 参考訳（メタデータ） (2024-09-26T11:31:18Z) - DARG: Dynamic Evaluation of Large Language Models via Adaptive Reasoning Graph [70.79413606968814]
本稿では,適応推論グラフ展開(DARG)によるLCMの動的評価を導入し,複雑性と多様性を制御した現在のベンチマークを動的に拡張する。
具体的には、まず現在のベンチマークでデータポイントの推論グラフを抽出し、それから推論グラフを摂動させて新しいテストデータを生成する。
このような新しく生成されたテストサンプルは、元のベンチマークと同様の言語的多様性を維持しながら、複雑さのレベルが異なる可能性がある。
論文 参考訳（メタデータ） (2024-06-25T04:27:53Z) - MeTMaP: Metamorphic Testing for Detecting False Vector Matching Problems
in LLM Augmented Generation [15.382745718541063]
本稿では,LLM拡張生成システムにおいて,偽ベクトルマッチングを識別するフレームワークであるMeTMaPを提案する。
MeTMaPは意味論的に類似したテキストは一致すべきであり、異種テキストは一致すべきではないという考えに基づいている。
我々は,29の埋め込みモデルと7つの距離メトリクスを含む203個のベクトルマッチング構成に対するMeTMaPの評価を行った。
論文 参考訳（メタデータ） (2024-02-22T12:13:35Z) - Unprecedented Code Change Automation: The Fusion of LLMs and Transformation by Example [10.635856134931702]
大規模言語モデル(LLM)は、膨大なコードデータセットに基づいてトレーニングされる。
LLMを使用して、正確性、有用性、適用性の基準を満たすコード変種を生成するベストプラクティスを特定します。
PyCraftでそれらを実装し、正しい変種を識別し、入力を平均58倍に拡張し、ターゲットコードを増やすための変更を最大39倍まで自動化するF尺度を96.6%達成しました。
論文 参考訳（メタデータ） (2024-02-11T09:45:00Z) - It's Never Too Late: Fusing Acoustic Information into Large Language
Models for Automatic Speech Recognition [70.77292069313154]
大規模言語モデル(LLM)は、自動音声認識(ASR)出力の上の生成誤り訂正(GER)に成功することができる。
本研究では,不確実性認識ダイナミックフュージョン (UADF) と呼ばれる新しい遅延融合解によって予測された転写を生成する前に,音響情報を注入することにより,そのような制限を克服することを目的とする。
論文 参考訳（メタデータ） (2024-02-08T07:21:45Z) - Prompt Optimization via Adversarial In-Context Learning [51.18075178593142]
adv-ICLは、ジェネレータとディスクリミネータの間の2プレイヤーゲームとして実装される。
ジェネレータは、判別器を騙すのに十分な出力を生成する。
本稿では,Adv-ICLが最先端のプロンプト最適化技術を大幅に改善することを示す。
論文 参考訳（メタデータ） (2023-12-05T09:44:45Z) - MR-Scout: Automated Synthesis of Metamorphic Relations from Existing Test Cases [9.00297842984345]
オープンソースソフトウェアプロジェクトのテストケースからMRを自動的に合成するMR-Scoutを提案する。
符号化されたMRの97%以上は、自動テストケース生成に高品質である。
我々の質的研究は、コード化されたMRの55.76%から76.92%が開発者にとって容易に理解可能であることを示している。
論文 参考訳（メタデータ） (2023-04-15T12:53:32Z) - On-the-fly Text Retrieval for End-to-End ASR Adaptation [9.304386210911822]
本稿では,部分的ASR仮説に対して,外部テキストコーパスから可算完了を抽出する検索言語モデルを用いてトランスデューサベースのASRモデルを強化することを提案する。
実験の結果,提案モデルにより,一対の質問応答データセット上でのトランスデューサベースラインの性能が大幅に向上することがわかった。
論文 参考訳（メタデータ） (2023-03-20T08:54:40Z) - Bayesian Transformer Language Models for Speech Recognition [59.235405107295655]
トランスフォーマーで表現される最先端のニューラルネットワークモデル(LM)は非常に複雑である。
本稿では,トランスフォーマーLM推定のためのベイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2021-02-09T10:55:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。