論文の概要: Automated Test Case Repair Using Language Models

• arxiv url: http://arxiv.org/abs/2401.06765v2
• Date: Wed, 16 Oct 2024 16:36:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-17 13:39:25.654196
• Title: Automated Test Case Repair Using Language Models
• Title（参考訳）: 言語モデルを用いた自動テストケース修復
• Authors: Ahmadreza Saboor Yaraghi, Darren Holden, Nafiseh Kahani, Lionel Briand,
• Abstract要約: 欠陥のないテストケースは、テストスイートの品質を低下させ、ソフトウェア開発プロセスを破壊します。 テストケースの自動修復に事前訓練されたコード言語モデルを活用する新しいアプローチであるTaRGetを提案する。 TaRGetは、テスト修復を言語翻訳タスクとして扱い、言語モデルを微調整するために2段階のプロセスを使用する。
• 参考スコア（独自算出の注目度）: 0.5708902722746041
• License:
• Abstract: Ensuring the quality of software systems through testing is essential, yet maintaining test cases poses significant challenges and costs. The need for frequent updates to align with the evolving system under test often entails high complexity and cost for maintaining these test cases. Further, unrepaired broken test cases can degrade test suite quality and disrupt the software development process, wasting developers' time. To address this challenge, we present TaRGet (Test Repair GEneraTor), a novel approach leveraging pre-trained code language models for automated test case repair. TaRGet treats test repair as a language translation task, employing a two-step process to fine-tune a language model based on essential context data characterizing the test breakage. To evaluate our approach, we introduce TaRBench, a comprehensive benchmark we developed covering 45,373 broken test repairs across 59 open-source projects. Our results demonstrate TaRGet's effectiveness, achieving a 66.1% exact match accuracy. Furthermore, our study examines the effectiveness of TaRGet across different test repair scenarios. We provide a practical guide to predict situations where the generated test repairs might be less reliable. We also explore whether project-specific data is always necessary for fine-tuning and if our approach can be effective on new projects.
• Abstract（参考訳）: テストを通じてソフトウェアシステムの品質を確保することは不可欠だが、テストケースを維持することは重大な課題とコストをもたらす。 テスト中のシステムの進化に合わせて頻繁な更新が必要になると、これらのテストケースを維持するための複雑さとコストが高くなります。 さらに、失敗したテストケースはテストスイートの品質を低下させ、ソフトウェア開発プロセスを破壊し、開発者の時間を浪費します。 この課題に対処するために、テストケースの自動修復に事前訓練されたコード言語モデルを活用する新しいアプローチであるTaRGet(Test repair GEneraTor)を提案する。 TaRGetは、テストの修復を言語翻訳タスクとして扱い、2段階のプロセスを使用して、テストの中断を特徴付ける必須コンテキストデータに基づいて言語モデルを微調整する。 このアプローチを評価するために、59のオープンソースプロジェクトで45,373件の壊れたテスト修正をカバーした総合ベンチマークであるTaRBenchを紹介した。 その結果,TaRGetの有効性が示され,66.1%の精度で一致した。 さらに, 各種テスト修復シナリオにおけるTaRGetの有効性について検討した。 生成したテスト修復が信頼性の低い状況を予測するための実用的なガイドを提供する。 また、細調整にプロジェクト固有のデータが常に必要であるかどうか、そして我々のアプローチが新しいプロジェクトに有効であるかどうかについても検討する。

関連論文リスト

• Leveraging Large Language Models for Enhancing the Understandability of Generated Unit Tests [4.574205608859157]
  我々は,検索ベースのソフトウェアテストと大規模言語モデルを組み合わせたUTGenを導入し,自動生成テストケースの理解性を向上する。 UTGenテストケースで課題に取り組む参加者は、最大33%のバグを修正し、ベースラインテストケースと比較して最大20%の時間を使用できます。
  論文  参考訳（メタデータ） (2024-08-21T15:35:34Z)
• Improving LLM-based Unit test generation via Template-based Repair [8.22619177301814]
  単体テストは個々のプログラムユニットのバグを検出するのに不可欠だが、時間と労力を消費する。 大規模言語モデル(LLM)は、顕著な推論と生成能力を示している。 本稿では,新しい単体テスト生成法であるTestARTを提案する。
  論文  参考訳（メタデータ） (2024-08-06T10:52:41Z)
• Leveraging Large Language Models for Efficient Failure Analysis in Game Development [47.618236610219554]
  本稿では,テストの失敗の原因となるコードの変更を自動的に識別する手法を提案する。 このメソッドは、LLM(Large Language Models)を利用して、エラーメッセージと対応するコード変更を関連付ける。 当社のアプローチは新たに作成したデータセットで71%の精度に達しています。
  論文  参考訳（メタデータ） (2024-06-11T09:21:50Z)
• Towards General Error Diagnosis via Behavioral Testing in Machine Translation [48.108393938462974]
  本稿では,機械翻訳(MT)システムの動作試験を行うための新しい枠組みを提案する。 BTPGBTの中核となる考え方は、新しいバイリンガル翻訳ペア生成アプローチを採用することである。 様々なMTシステムの実験結果から,BTPGBTは包括的かつ正確な行動検査結果を提供できることが示された。
  論文  参考訳（メタデータ） (2023-10-20T09:06:41Z)
• Automatic Generation of Test Cases based on Bug Reports: a Feasibility Study with Large Language Models [4.318319522015101]
  既存のアプローチは、単純なテスト(例えば単体テスト)や正確な仕様を必要とするテストケースを生成する。 ほとんどのテスト手順は、テストスイートを形成するために人間が書いたテストケースに依存しています。 大規模言語モデル(LLM)を活用し,バグレポートを入力として利用することにより,この生成の実現可能性を検討する。
  論文  参考訳（メタデータ） (2023-10-10T05:30:12Z)
• Effective Test Generation Using Pre-trained Large Language Models and Mutation Testing [13.743062498008555]
  大規模言語モデル(LLM)が生成するテストケースの有効性を,バグの発見の観点から改善するための MuTAP を導入する。 MuTAPは、プログラム・アンダー・テスト(PUT)の自然言語記述がない場合に有効なテストケースを生成することができる 提案手法は, 最大28%の人書きコードスニペットを検出できることを示す。
  論文  参考訳（メタデータ） (2023-08-31T08:48:31Z)
• A Comprehensive Survey on Test-Time Adaptation under Distribution Shifts [143.14128737978342]
  新たなパラダイムであるテスト時適応は、事前トレーニングされたモデルをテスト中にラベルのないデータに適用し、予測を行う可能性がある。 このパラダイムの最近の進歩は、推論に先立って自己適応モデルのトレーニングにラベルのないデータを活用するという大きな利点を浮き彫りにしている。
  論文  参考訳（メタデータ） (2023-03-27T16:32:21Z)
• DELTA: degradation-free fully test-time adaptation [59.74287982885375]
  テスト時間バッチ正規化(BN)や自己学習といった,一般的な適応手法では,2つの好ましくない欠陥が隠されていることがわかった。 まず、テスト時間BNにおける正規化統計は、現在受信されているテストサンプルに完全に影響され、その結果、不正確な推定結果が得られることを明らかにする。 第二に、テスト時間適応中にパラメータ更新が支配的なクラスに偏っていることを示す。
  論文  参考訳（メタデータ） (2023-01-30T15:54:00Z)
• Efficient Test-Time Model Adaptation without Forgetting [60.36499845014649]
  テストタイム適応は、トレーニングとテストデータの間の潜在的な分散シフトに取り組むことを目指している。 信頼性および非冗長なサンプルを同定するためのアクティブなサンプル選択基準を提案する。 また、重要なモデルパラメータを劇的な変化から制約するFisher regularizerを導入します。
  論文  参考訳（メタデータ） (2022-04-06T06:39:40Z)
• SUPERNOVA: Automating Test Selection and Defect Prevention in AAA Video Games Using Risk Based Testing and Machine Learning [62.997667081978825]
  従来の手法では、成長するソフトウェアシステムではスケールできないため、ビデオゲームのテストはますます難しいタスクになります。 自動化ハブとして機能しながら,テスト選択と欠陥防止を行うシステム SUPERNOVA を提案する。 この直接的な影響は、未公表のスポーツゲームタイトルの55%以上のテスト時間を減らすことが観察されている。
  論文  参考訳（メタデータ） (2022-03-10T00:47:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。