論文の概要: A Catalog of Transformations to Remove Smells From Natural Language Tests
- arxiv url: http://arxiv.org/abs/2404.16992v1
- Date: Thu, 25 Apr 2024 19:23:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-29 14:43:43.634001
- Title: A Catalog of Transformations to Remove Smells From Natural Language Tests
- Title(参考訳): 自然言語検査からスメルを除去する変換のカタログ
- Authors: Manoel Aranda, Naelson Oliveira, Elvys Soares, Márcio Ribeiro, Davi Romão, Ullyanne Patriota, Rohit Gheyi, Emerson Souza, Ivan Machado,
- Abstract要約: テストの臭いは、保守性の低さ、非決定的な振る舞い、不完全な検証など、テスト活動中に困難を引き起こす可能性がある。
本稿では,自然言語テストの臭いを7つ除去するために設計された変換のカタログと,自然言語処理(NLP)技術を用いて実装された補助ツールを紹介する。
- 参考スコア(独自算出の注目度): 1.260984934917191
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Test smells can pose difficulties during testing activities, such as poor maintainability, non-deterministic behavior, and incomplete verification. Existing research has extensively addressed test smells in automated software tests but little attention has been given to smells in natural language tests. While some research has identified and catalogued such smells, there is a lack of systematic approaches for their removal. Consequently, there is also a lack of tools to automatically identify and remove natural language test smells. This paper introduces a catalog of transformations designed to remove seven natural language test smells and a companion tool implemented using Natural Language Processing (NLP) techniques. Our work aims to enhance the quality and reliability of natural language tests during software development. The research employs a two-fold empirical strategy to evaluate its contributions. First, a survey involving 15 software testing professionals assesses the acceptance and usefulness of the catalog's transformations. Second, an empirical study evaluates our tool to remove natural language test smells by analyzing a sample of real-practice tests from the Ubuntu OS. The results indicate that software testing professionals find the transformations valuable. Additionally, the automated tool demonstrates a good level of precision, as evidenced by a F-Measure rate of 83.70%
- Abstract(参考訳): テストの臭いは、保守性の低さ、非決定的な振る舞い、不完全な検証など、テスト活動中に困難を引き起こす可能性がある。
既存の研究は、自動化されたソフトウェアテストにおけるテストの臭いに広範囲に対処してきたが、自然言語テストにおける臭いにはほとんど注意が払われていない。
このような臭いを識別し、カタログ化した研究もあるが、その除去には体系的なアプローチが欠如している。
結果として、自然言語テストの臭いを自動的に識別し除去するツールも不足している。
本稿では,自然言語テストの臭いを7つ除去するために設計された変換のカタログと,自然言語処理(NLP)技術を用いて実装された補助ツールを紹介する。
私たちの研究は、ソフトウェア開発における自然言語テストの品質と信頼性を高めることを目的としています。
この研究は、その貢献を評価するために2倍の実証的戦略を採用している。
まず、15人のソフトウェアテスト専門家による調査で、カタログの変換の受け入れと有用性を評価します。
第2に、Ubuntu OSの実際のテストのサンプルを分析して、自然言語テストの臭いを除去するツールを実証的研究で評価する。
その結果、ソフトウェアテスティングの専門家は、トランスフォーメーションの価値を見出すことができた。
さらに、この自動化ツールは、F-Measureレート83.70%で証明されているように、良好な精度を示す。
関連論文リスト
- xNose: A Test Smell Detector for C# [0.0]
テストの臭いは、コードの臭いに似ているが、テストコードとテスト中のプロダクションコードの両方に悪影響を及ぼす可能性がある。
Java、Scala、Pythonなどの言語でテストの臭いに関する広範な研究にもかかわらず、C#でテストの臭いを検出する自動ツールが不足している。
論文 参考訳(メタデータ) (2024-05-07T07:10:42Z) - Natural Language Requirements Testability Measurement Based on Requirement Smells [1.1663475941322277]
テスト可能な要件は、障害の防止、メンテナンスコストの削減、受け入れテストの実行を容易にする。
要求の匂いに基づいて、要求の検証可能性を測定するための自動的なアプローチは提案されていない。
本稿では,9つの要求の匂いの広範囲なセットに基づいて,自然言語の検証可能性の評価とランク付けを行う数学的モデルを提案する。
論文 参考訳(メタデータ) (2024-03-26T08:19:29Z) - Effective Test Generation Using Pre-trained Large Language Models and
Mutation Testing [13.743062498008555]
大規模言語モデル(LLM)が生成するテストケースの有効性を,バグの発見の観点から改善するための MuTAP を導入する。
MuTAPは、プログラム・アンダー・テスト(PUT)の自然言語記述がない場合に有効なテストケースを生成することができる
提案手法は, 最大28%の人書きコードスニペットを検出できることを示す。
論文 参考訳(メタデータ) (2023-08-31T08:48:31Z) - Manual Tests Do Smell! Cataloging and Identifying Natural Language Test
Smells [1.43994708364763]
テストの臭いは、自動化されたソフトウェアテストの設計と実装における潜在的な問題を示しています。
本研究は,手動テストの匂いのカタログ化に寄与することを目的としている。
論文 参考訳(メタデータ) (2023-08-02T19:05:36Z) - Teaching Large Language Models to Self-Debug [62.424077000154945]
大規模言語モデル(LLM)は、コード生成において素晴らしいパフォーマンスを達成した。
本稿では,大規模言語モデルで予測プログラムを数発のデモでデバッグする自己デバッグを提案する。
論文 参考訳(メタデータ) (2023-04-11T10:43:43Z) - Machine Learning-Based Test Smell Detection [17.957877801382413]
テストの匂いは、テストケースを開発する際に採用される最適な設計選択の症状である。
そこで本研究では,機械学習による新しいテスト臭検出手法の設計と実験を行い,4つのテスト臭検出手法を提案する。
論文 参考訳(メタデータ) (2022-08-16T07:33:15Z) - Empowering Language Understanding with Counterfactual Reasoning [141.48592718583245]
本稿では,反現実的思考を模倣した反現実的推論モデルを提案する。
特に,各実例に対して代表的対実サンプルを生成する生成モジュールを考案し,その対実サンプルと実例サンプルを比較してモデル予測を振り返るレトロスペクティブモジュールを考案した。
論文 参考訳(メタデータ) (2021-06-06T06:36:52Z) - TextFlint: Unified Multilingual Robustness Evaluation Toolkit for
Natural Language Processing [73.16475763422446]
NLPタスク(TextFlint)のための多言語ロバスト性評価プラットフォームを提案する。
普遍的なテキスト変換、タスク固有の変換、敵攻撃、サブポピュレーション、およびそれらの組み合わせを取り入れ、包括的な堅牢性分析を提供する。
TextFlintは、モデルの堅牢性の欠点に対処するために、完全な分析レポートとターゲットとした拡張データを生成します。
論文 参考訳(メタデータ) (2021-03-21T17:20:38Z) - Curious Case of Language Generation Evaluation Metrics: A Cautionary
Tale [52.663117551150954]
イメージキャプションや機械翻訳などのタスクを評価するデファクトメトリクスとして、いくつかの一般的な指標が残っている。
これは、使いやすさが原因でもあり、また、研究者がそれらを見て解釈する方法を知りたがっているためでもある。
本稿では,モデルの自動評価方法について,コミュニティにより慎重に検討するよう促す。
論文 参考訳(メタデータ) (2020-10-26T13:57:20Z) - Exploring Software Naturalness through Neural Language Models [56.1315223210742]
ソフトウェア自然性仮説(Software Naturalness hypothesis)は、自然言語処理で使用されるのと同じ手法でプログラミング言語を理解することができると主張している。
この仮説は,事前学習されたトランスフォーマーベース言語モデルを用いて,コード解析タスクを実行することによって検討する。
論文 参考訳(メタデータ) (2020-06-22T21:56:14Z) - Information-Theoretic Probing for Linguistic Structure [74.04862204427944]
本稿では,相互情報を推定するための情報理論による探索運用手法を提案する。
我々は,NLP研究でしばしば不足している10の型的多様言語について評価した。
論文 参考訳(メタデータ) (2020-04-07T01:06:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。