論文の概要: Less is More: On the Importance of Data Quality for Unit Test Generation

• arxiv url: http://arxiv.org/abs/2502.14212v1
• Date: Thu, 20 Feb 2025 02:47:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-21 14:29:55.942091
• Title: Less is More: On the Importance of Data Quality for Unit Test Generation
• Title（参考訳）: 単体テスト生成におけるデータ品質の重要性について
• Authors: Junwei Zhang, Xing Hu, Shan Gao, Xin Xia, David Lo, Shanping Li,
• Abstract要約: 単体テストはソフトウェア開発とメンテナンスに不可欠である。効果的な単体テストはソフトウェアの品質を保証し改善するが、単体テストを書くのは時間と労力がかかる。 近年、単体テスト生成を自動化するためのディープラーニング(DL)技術や大規模言語モデル(LLM)が提案されている。 これらのモデルは、通常、大規模なデータセットで訓練または微調整される。 データ品質の重要性を認識しているにもかかわらず、テスト生成に使用されるデータセットの品質について限定的な研究がなされている。
• 参考スコア（独自算出の注目度）: 15.396524026122972
• License:
• Abstract: Unit testing is crucial for software development and maintenance. Effective unit testing ensures and improves software quality, but writing unit tests is time-consuming and labor-intensive. Recent studies have proposed deep learning (DL) techniques or large language models (LLMs) to automate unit test generation. These models are usually trained or fine-tuned on large-scale datasets. Despite growing awareness of the importance of data quality, there has been limited research on the quality of datasets used for test generation. To bridge this gap, we systematically examine the impact of noise on the performance of learning-based test generation models. We first apply the open card sorting method to analyze the most popular and largest test generation dataset, Methods2Test, to categorize eight distinct types of noise. Further, we conduct detailed interviews with 17 domain experts to validate and assess the importance, reasonableness, and correctness of the noise taxonomy. Then, we propose CleanTest, an automated noise-cleaning framework designed to improve the quality of test generation datasets. CleanTest comprises three filters: a rule-based syntax filter, a rule-based relevance filter, and a model-based coverage filter. To evaluate its effectiveness, we apply CleanTest on two widely-used test generation datasets, i.e., Methods2Test and Atlas. Our findings indicate that 43.52% and 29.65% of datasets contain noise, highlighting its prevalence. Finally, we conduct comparative experiments using four LLMs (i.e., CodeBERT, AthenaTest, StarCoder, and CodeLlama7B) to assess the impact of noise on test generation performance. The results show that filtering noise positively influences the test generation ability of the models.
• Abstract（参考訳）: 単体テストはソフトウェア開発とメンテナンスに不可欠です。 効果的な単体テストは、ソフトウェアの品質を保証し改善しますが、単体テストを書くのには時間と労力がかかります。 近年、単体テスト生成を自動化するためのディープラーニング(DL)技術や大規模言語モデル(LLM)が提案されている。 これらのモデルは、通常、大規模なデータセットで訓練または微調整される。 データ品質の重要性を認識しているにもかかわらず、テスト生成に使用されるデータセットの品質について限定的な研究がなされている。 このギャップを埋めるために,学習ベーステスト生成モデルの性能に及ぼすノイズの影響を系統的に検討する。 まず、オープンカードソート手法を用いて、最も人気があり最大のテスト生成データセットであるMethods2Testを分析し、8種類のノイズを分類する。 さらに, 騒音分類の重要性, 妥当性, 正当性を検証し, 評価するために, ドメインの専門家17人との詳細なインタビューを行った。 そこで我々は,テスト生成データセットの品質向上を目的とした,自動ノイズクリーニングフレームワークであるCleanTestを提案する。 CleanTestはルールベースの構文フィルタ、ルールベースの関連フィルタ、モデルベースのカバレッジフィルタの3つのフィルタで構成されている。 その有効性を評価するために、広く使われている2つのテスト生成データセット、すなわちMethods2TestとAtlasにCleanTestを適用する。 この結果、データセットの43.52%と29.65%がノイズを含んでおり、その頻度が強調されている。 最後に、4つのLCM(CodeBERT、AthenaTest、StarCoder、CodeLlama7B)を用いて、ノイズがテスト生成性能に与える影響を評価する。 その結果, フィルタノイズはモデルの試験生成能力に肯定的な影響を及ぼすことがわかった。

関連論文リスト

• Context-Aware Testing: A New Paradigm for Model Testing with Large Language Models [49.06068319380296]
  我々は,コンテキストを帰納バイアスとして用いて意味のあるモデル障害を探索するコンテキスト認識テスト(CAT)を導入する。 最初のCATシステムSMART Testingをインスタンス化し、大きな言語モデルを用いて、関連性があり、起こりうる失敗を仮説化します。
  論文  参考訳（メタデータ） (2024-10-31T15:06:16Z)
• Test smells in LLM-Generated Unit Tests [11.517293765116307]
  本研究では,大規模言語モデルの生成した単体テストスイートにおけるテストの匂いの拡散について検討する。 5つのプロンプトエンジニアリング技術で4つのモデルで生成された20,500 LLM生成テストスイートのベンチマークを解析した。 我々は,LLM生成テストスイートと筆記テストスイートの両方において,種々のテスト匂いの出現頻度と発生頻度を同定し,解析する。
  論文  参考訳（メタデータ） (2024-10-14T15:35:44Z)
• Training on the Benchmark Is Not All You Need [52.01920740114261]
  本稿では,複数選択肢の内容に基づいた簡易かつ効果的なデータ漏洩検出手法を提案する。 本手法は,モデルトレーニングデータや重みを使用せずに,ブラックボックス条件下で動作することができる。 我々は,4つのベンチマークデータセットを用いて,31個の主要なオープンソースLCMのデータ漏洩の程度を評価する。
  論文  参考訳（メタデータ） (2024-09-03T11:09:44Z)
• A System for Automated Unit Test Generation Using Large Language Models and Assessment of Generated Test Suites [1.4563527353943984]
  大規模言語モデル(LLM)はソフトウェア開発の様々な側面に適用されている。 Javaプロジェクトのテストスイートを生成する自動化システムであるAgoneTestを紹介します。
  論文  参考訳（メタデータ） (2024-08-14T23:02:16Z)
• From Static Benchmarks to Adaptive Testing: Psychometrics in AI Evaluation [60.14902811624433]
  本稿では,静的評価手法から適応テストへのパラダイムシフトについて論じる。 これには、ベンチマークで各テスト項目の特性と価値を推定し、リアルタイムでアイテムを動的に調整することが含まれる。 我々は、AI評価にサイコメトリックを採用する現在のアプローチ、アドバンテージ、そして根底にある理由を分析します。
  論文  参考訳（メタデータ） (2023-06-18T09:54:33Z)
• Listen, Adapt, Better WER: Source-free Single-utterance Test-time Adaptation for Automatic Speech Recognition [65.84978547406753]
  Test-time Adaptationは、ソースドメインでトレーニングされたモデルに適応して、テストサンプルの予測を改善することを目的としている。 単一発話テスト時間適応 (SUTA) は音声領域における最初のTTA研究である。
  論文  参考訳（メタデータ） (2022-03-27T06:38:39Z)
• TestRank: Bringing Order into Unlabeled Test Instances for Deep Learning Tasks [14.547623982073475]
  ディープラーニングシステムはテストやデバッグが難しいことで有名です。 テストコスト削減のために、テスト選択を行い、選択した“高品質”バグ修正テストインプットのみをラベル付けすることが不可欠である。 本稿では,未ラベルのテストインスタンスに,バグ検出機能,すなわちTestRankに従って順序を付ける新しいテスト優先順位付け手法を提案する。
  論文  参考訳（メタデータ） (2021-05-21T03:41:10Z)
• ALT-MAS: A Data-Efficient Framework for Active Testing of Machine Learning Algorithms [58.684954492439424]
  少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。 ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
  論文  参考訳（メタデータ） (2021-04-11T12:14:04Z)
• Active Testing: Sample-Efficient Model Evaluation [39.200332879659456]
  サンプル効率のよいモデル評価のための新しいフレームワークであるactive testingを紹介する。 アクティブテストは、ラベルにテストポイントを慎重に選択することでこれに対処する。 我々は,推定器のばらつきを低減しつつ,バイアスの除去方法を示す。
  論文  参考訳（メタデータ） (2021-03-09T10:20:49Z)
• The INTERSPEECH 2020 Deep Noise Suppression Challenge: Datasets, Subjective Testing Framework, and Challenge Results [27.074806625047646]
  DNS Challengeは、リアルタイム単一チャンネル音声強調における協調研究を促進することを目的としている。 我々は,ノイズ抑圧モデルの学習のための大規模クリーン音声コーパスとノイズコーパスをオープンソース化した。 また、ITU-T P.808をベースとしたオンライン主観的テストフレームワークをオープンソースとして公開し、研究者が開発を確実に行えるようにした。
  論文  参考訳（メタデータ） (2020-05-16T23:48:37Z)
• Noisy Adaptive Group Testing using Bayesian Sequential Experimental Design [63.48989885374238]
  病気の感染頻度が低い場合、Dorfman氏は80年前に、人のテストグループは個人でテストするよりも効率が良いことを示した。 本研究の目的は,ノイズの多い環境で動作可能な新しいグループテストアルゴリズムを提案することである。
  論文  参考訳（メタデータ） (2020-04-26T23:41:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。