論文の概要: ChatUniTest: A Framework for LLM-Based Test Generation

• arxiv url: http://arxiv.org/abs/2305.04764v2
• Date: Tue, 7 May 2024 09:08:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-08 20:33:08.051745
• Title: ChatUniTest: A Framework for LLM-Based Test Generation
• Title（参考訳）: ChatUniTest: LLMベースのテスト生成フレームワーク
• Authors: Yinghao Chen, Zehao Hu, Chen Zhi, Junxiao Han, Shuiguang Deng, Jianwei Yin,
• Abstract要約: 本稿では,自動ユニットテスト生成フレームワークChatUniTestを提案する。 ChatUniTestには、アダプティブな焦点コンテキスト機構が組み込まれている。 評価の結果,ChatUniTest は TestSpark と EvoSuite よりも高い性能を示した。
• 参考スコア（独自算出の注目度）: 17.296369651892228
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Unit testing is an essential yet frequently arduous task. Various automated unit test generation tools have been introduced to mitigate this challenge. Notably, methods based on large language models (LLMs) have garnered considerable attention and exhibited promising results in recent years. Nevertheless, LLM-based tools encounter limitations in generating accurate unit tests. This paper presents ChatUniTest, an LLM-based automated unit test generation framework. ChatUniTest incorporates an adaptive focal context mechanism to encompass valuable context in prompts and adheres to a generation-validation-repair mechanism to rectify errors in generated unit tests. Subsequently, we have developed ChatUniTest Core, a common library that implements core workflow, complemented by the ChatUniTest Toolchain, a suite of seamlessly integrated tools enhancing the capabilities of ChatUniTest. Our effectiveness evaluation reveals that ChatUniTest outperforms TestSpark and EvoSuite in half of the evaluated projects, achieving the highest overall line coverage. Furthermore, insights from our user study affirm that ChatUniTest delivers substantial value to various stakeholders in the software testing domain. ChatUniTest is available at https://github.com/ZJU-ACES-ISE/ChatUniTest, and the demo video is available at https://www.youtube.com/watch?v=GmfxQUqm2ZQ.
• Abstract（参考訳）: 単体テストは必須だが、しばしば困難な作業である。 この課題を軽減するために、さまざまな自動ユニットテスト生成ツールが導入されている。 特に,大規模言語モデル(LLM)に基づく手法が注目され,近年は有望な成果を上げている。 それでもLLMベースのツールは、正確な単体テストを生成する際の限界に遭遇する。 本稿では,LLMベースの自動単体テスト生成フレームワークChatUniTestを提案する。 ChatUniTestには、アダプティブなフォーカスコンテキストメカニズムが組み込まれており、プロンプトに価値あるコンテキストを包含し、生成単位テストのエラーを修正するための生成バリデーション-リペアメカニズムに準拠している。 その後、コアワークフローを実装する共通ライブラリであるChatUniTest Coreを開発し、ChatUniTestの機能を強化するシームレスに統合されたツールスイートであるChatUniTest Toolchainを補完しました。 評価の結果,ChatUniTest はテストSpark と EvoSuite を半分のプロジェクトで上回り,全ラインカバレッジが最高であることがわかった。 さらに、私たちのユーザ調査から得た洞察は、ChatUniTestがソフトウェアのテスト領域における様々な利害関係者にかなりの価値を提供します。 ChatUniTestはhttps://github.com/ZJU-ACES-ISE/ChatUniTestで、デモビデオはhttps://www.youtube.com/watch? v=GmfxQUqm2ZQ。

関連論文リスト

• Context-Aware Testing: A New Paradigm for Model Testing with Large Language Models [49.06068319380296]
  我々は,コンテキストを帰納バイアスとして用いて意味のあるモデル障害を探索するコンテキスト認識テスト(CAT)を導入する。 最初のCATシステムSMART Testingをインスタンス化し、大きな言語モデルを用いて、関連性があり、起こりうる失敗を仮説化します。
  論文  参考訳（メタデータ） (2024-10-31T15:06:16Z)
• Multi-language Unit Test Generation using LLMs [6.259245181881262]
  静的解析を組み込んだジェネリックパイプラインを記述し,コンパイル可能な高カバレッジテストケースの生成においてLCMをガイドする。 パイプラインをさまざまなプログラミング言語、特にJavaとPython、そして環境モックを必要とする複雑なソフトウェアに適用する方法を示します。 以上の結果から,静的解析によって導かれるLCMベースのテスト生成は,最新のテスト生成技術と競合し,さらに性能も向上することが示された。
  論文  参考訳（メタデータ） (2024-09-04T21:46:18Z)
• A System for Automated Unit Test Generation Using Large Language Models and Assessment of Generated Test Suites [1.4563527353943984]
  大規模言語モデル(LLM)はソフトウェア開発の様々な側面に適用されている。 Javaプロジェクトのテストスイートを生成する自動化システムであるAgoneTestを紹介します。
  論文  参考訳（メタデータ） (2024-08-14T23:02:16Z)
• Harnessing the Power of LLMs: Automating Unit Test Generation for High-Performance Computing [7.3166218350585135]
  ユニットテストは、品質を保証するために、ソフトウェア工学において不可欠です。 並列処理や高性能計算ソフトウェア、特に科学応用では広く使われていない。 本稿では,このようなソフトウェアを対象としたユニットテストの自動生成手法を提案する。
  論文  参考訳（メタデータ） (2024-07-06T22:45:55Z)
• Test Oracle Automation in the era of LLMs [52.69509240442899]
  大規模言語モデル(LLM)は、多様なソフトウェアテストタスクに取り組むのに顕著な能力を示した。 本研究の目的は, 各種のオラクル生成時に生じる課題とともに, LLMs によるオラクルの自動化の可能性について検討することである。
  論文  参考訳（メタデータ） (2024-05-21T13:19:10Z)
• Observation-based unit test generation at Meta [52.4716552057909]
  TestGenは、アプリケーション実行中に観察された複雑なオブジェクトのシリアライズされた観察から作られたユニットテストを自動的に生成する。 TestGenは518のテストを本番環境に投入し、継続的統合で9,617,349回実行され、5,702の障害が見つかった。 評価の結果,信頼性の高い4,361のエンドツーエンドテストから,少なくとも86%のクラスでテストを生成することができた。
  論文  参考訳（メタデータ） (2024-02-09T00:34:39Z)
• Towards Automatic Generation of Amplified Regression Test Oracles [44.45138073080198]
  回帰テストオラクルを増幅するためのテストオラクル導出手法を提案する。 このアプローチはテスト実行中にオブジェクトの状態を監視し、以前のバージョンと比較して、SUTの意図した振る舞いに関連する変更を検出する。
  論文  参考訳（メタデータ） (2023-07-28T12:38:44Z)
• No More Manual Tests? Evaluating and Improving ChatGPT for Unit Test Generation [11.009117714870527]
  単体テストは、機能的に分離されたプログラムユニットのバグを検出するのに不可欠である。 最近の研究は、ユニットテスト生成における大きな言語モデル(LLM)の可能性を示している。 ChatGPTがユニット・テスト・ジェネレーションでどの程度有効かは不明だ。
  論文  参考訳（メタデータ） (2023-05-07T07:17:08Z)
• BiasTestGPT: Using ChatGPT for Social Bias Testing of Language Models [73.29106813131818]
  テスト文は限られた手動テンプレートから生成されるか、高価なクラウドソーシングを必要とするため、現時点ではバイアステストは煩雑である。 ソーシャルグループと属性の任意のユーザ指定の組み合わせを考慮し、テスト文の制御可能な生成にChatGPTを使うことを提案する。 本稿では,HuggingFace上にホストされているオープンソースの総合的バイアステストフレームワーク(BiasTestGPT)について紹介する。
  論文  参考訳（メタデータ） (2023-02-14T22:07:57Z)
• UniTE: Unified Translation Evaluation [63.58868113074476]
  UniTEは3つの評価タスクをすべて処理する能力に携わる最初の統合フレームワークである。 We testify our framework on WMT 2019 Metrics and WMT 2020 Quality Estimation benchmarks。
  論文  参考訳（メタデータ） (2022-04-28T08:35:26Z)
• Automated Support for Unit Test Generation: A Tutorial Book Chapter [21.716667622896193]
  単体テストは、システムの他の部分と独立してテストできる最小のコードセグメントをテストする段階である。 単体テストは通常実行可能なコードとして書かれ、Pythonのpytestのような単体テストフレームワークが提供する形式で書かれる。 本章では,検索に基づく単体テスト生成の概念を紹介する。
  論文  参考訳（メタデータ） (2021-10-26T11:13:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。