論文の概要: Enhancing Large Language Models for Text-to-Testcase Generation
- arxiv url: http://arxiv.org/abs/2402.11910v1
- Date: Mon, 19 Feb 2024 07:50:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-20 17:37:39.055571
- Title: Enhancing Large Language Models for Text-to-Testcase Generation
- Title(参考訳): テキストからテストケース生成のための大規模言語モデルの強化
- Authors: Saranya Alagarsamy, Chakkrit Tantithamthavorn, Chetan Arora, Aldeida
Aleti
- Abstract要約: 大規模言語モデル(GPT-3.5)に基づくテキスト・ツー・テストケース生成手法を提案する。
提案手法の有効性を,5つの大規模オープンソースプロジェクトを用いて評価した。
- 参考スコア(独自算出の注目度): 12.864685900686158
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Context: Test-driven development (TDD) is a widely employed software
development practice that involves developing test cases based on requirements
prior to writing the code. Although various methods for automated test case
generation have been proposed, they are not specifically tailored for TDD,
where requirements instead of code serve as input. Objective: In this paper, we
introduce a text-to-testcase generation approach based on a large language
model (GPT-3.5) that is fine-tuned on our curated dataset with an effective
prompt design. Method: Our approach involves enhancing the capabilities of
basic GPT-3.5 for text-to-testcase generation task that is fine-tuned on our
curated dataset with an effective prompting design. We evaluated the
effectiveness of our approach using a span of five large-scale open-source
software projects. Results: Our approach generated 7k test cases for open
source projects, achieving 78.5% syntactic correctness, 67.09% requirement
alignment, and 61.7% code coverage, which substantially outperforms all other
LLMs (basic GPT-3.5, Bloom, and CodeT5). In addition, our ablation study
demonstrates the substantial performance improvement of the fine-tuning and
prompting components of the GPT-3.5 model. Conclusions: These findings lead us
to conclude that fine-tuning and prompting should be considered in the future
when building a language model for the text-to-testcase generation task
- Abstract(参考訳): コンテキスト: テスト駆動開発(TDD)は、コードを記述する前に要件に基づいてテストケースを開発することを含む、広く使われているソフトウェア開発プラクティスです。
自動テストケース生成のための様々なメソッドが提案されているが、コードではなく要求が入力として機能するTDDには特に適していない。
目的:本論文では,大規模言語モデル(GPT-3.5)に基づくテキスト・ツー・テストケース生成手法を提案する。
方法:本手法では,テキスト対テストケース生成タスクのための基本gpt-3.5の機能を拡張し,効果的なプロンプト設計を行う。
提案手法の有効性を,5つの大規模オープンソースプロジェクトを用いて評価した。
結果:我々のアプローチでは,オープンソースプロジェクトの7kのテストケースを生成し,78.5%の構文的正しさ,67.09%の要件整合性,61.7%のコードカバレッジを実現しました。
さらに,我々はGPT-3.5モデルの微調整および促進性能の大幅な向上を実証した。
結論: これらの知見は、テキストからテストケース生成タスクのための言語モデルを構築する際に、将来、微調整とプロンプトを検討するべきであると結論づける。
関連論文リスト
- Advancing LLM Reasoning Generalists with Preference Trees [119.57169648859707]
推論に最適化された大規模言語モデル(LLM)のスイートであるEulusを紹介する。
Eurusモデルは、様々なベンチマークでオープンソースのモデルの間で最先端の結果を得る。
論文 参考訳(メタデータ) (2024-04-02T16:25:30Z) - Retrieval is Accurate Generation [99.24267226311157]
本稿では,支援文書の集合からコンテキスト認識句を選択する新しい手法を提案する。
本モデルでは,検索対象のベースラインの中で,最高の性能と低レイテンシを実現する。
論文 参考訳(メタデータ) (2024-02-27T14:16:19Z) - TDD Without Tears: Towards Test Case Generation from Requirements
through Deep Reinforcement Learning [22.331330777536046]
テスト駆動開発(TDD)は、実際のコードを書く前に要件に基づいてテストケースを書くことを義務付ける。
テストケースを書くことはTDDの中心ですが、時間がかかり、コストがかかり、開発者が悩まされることも少なくありません。
PyTesterは、テキストからテストケースを生成するアプローチで、正しい、実行可能な、完全な、効果的なテストケースを自動的に生成します。
論文 参考訳(メタデータ) (2024-01-15T10:21:58Z) - LLM4TDD: Best Practices for Test Driven Development Using Large Language
Models [0.76146285961466]
本稿では,LLM4TDDの概念を考察し,テスト駆動開発手法を用いて大規模言語モデルを用いてコードを反復的に生成する手法を提案する。
本稿では,ChatGPTとLeetCodeのコーディング問題を用いて実験的な評価を行い,LLM4TDDの有効性に対するテスト,プロンプト,問題属性の影響について検討する。
論文 参考訳(メタデータ) (2023-12-07T20:37:54Z) - Establishing Performance Baselines in Fine-Tuning, Retrieval-Augmented Generation and Soft-Prompting for Non-Specialist LLM Users [0.0]
本稿では,ベクトル化RAGデータベースへのアクセスが許された場合,GPT 3.5の修正されていないバージョン,微調整されたバージョン,および修正されていないモデルをテストする。
それぞれのケースで、主に2021年9月以降に発生したイベントに関連する100の質問に、モデルが答える能力を試しました。
GPT 3.5 Turboでは,商用プラットフォームを使用,デフォルト設定をイテレーションなしで適用してアウトプットのベースラインセットを確立すると,微調整モデルの性能が向上することがわかった。
論文 参考訳(メタデータ) (2023-11-10T07:13:06Z) - Large Language Model-Aware In-Context Learning for Code Generation [75.68709482932903]
大規模言語モデル(LLM)は、コード生成において印象的なコンテキスト内学習(ICL)能力を示している。
コード生成のためのLAIL (LLM-Aware In-context Learning) という新しい学習ベース選択手法を提案する。
論文 参考訳(メタデータ) (2023-10-15T06:12:58Z) - Domain Adaptation for Deep Unit Test Case Generation [7.80803046080817]
私たちはTransformerベースのコードモデルを利用して、プロジェクトレベルでドメイン適応(DA)の助けを借りて単体テストを生成します。
私たちは、(a)テスト生成タスクをDAなしで微調整したCodeT5、(b)A3Testツール、(c)Defects4jデータセットから5つのプロジェクトでGPT-4と比較します。
その結果、DAを用いることで、平均18.62%、19.88%、および18.02%で、生成されたテストのラインカバレッジを増大させることができることがわかった。
論文 参考訳(メタデータ) (2023-08-15T20:48:50Z) - Large Language Models in the Workplace: A Case Study on Prompt
Engineering for Job Type Classification [58.720142291102135]
本研究では,実環境における職種分類の課題について検討する。
目標は、英語の求職が卒業生やエントリーレベルの地位に適切かどうかを判断することである。
論文 参考訳(メタデータ) (2023-03-13T14:09:53Z) - Learning Deep Semantics for Test Completion [46.842174440120196]
テスト完了の新たなタスクを形式化し、テスト対象の文のコンテキストとコードに基づいて、テストメソッドで次のステートメントを自動的に完了する。
テスト補完にコードセマンティクスを用いたディープラーニングモデルであるTeCoを開発した。
論文 参考訳(メタデータ) (2023-02-20T18:53:56Z) - Scaling Instruction-Finetuned Language Models [126.4789306516927]
命令として表現されたデータセットの集合上での言語モデルの微調整は、モデル性能を改善することが示されている。
命令の微調整により,様々なモデルクラスの性能が劇的に向上することがわかった。
論文 参考訳(メタデータ) (2022-10-20T16:58:32Z) - Unit Test Case Generation with Transformers and Focal Context [10.220204860586582]
AthenaTestは、現実世界の焦点メソッドと開発者が記述したテストケースから学習することで、単体テストケースを生成することを目的としている。
我々は,Javaにおける単体テストケースメソッドとそれに対応する焦点メソッドの並列コーパスとして最大規模で公開されているMethods2Testを紹介する。
AthenaTestを5つの欠陥4jプロジェクトで評価し、30回の試行で焦点メソッドの43.7%をカバーする25Kパステストケースを生成した。
論文 参考訳(メタデータ) (2020-09-11T18:57:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。