論文の概要: A Study on the Improvement of Code Generation Quality Using Large Language Models Leveraging Product Documentation

• arxiv url: http://arxiv.org/abs/2503.17837v1
• Date: Sat, 22 Mar 2025 18:42:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-25 14:39:42.797798
• Title: A Study on the Improvement of Code Generation Quality Using Large Language Models Leveraging Product Documentation
• Title（参考訳）: 製品ドキュメンテーションを活用した大規模言語モデルによるコード生成品質向上に関する研究
• Authors: Takuro Morimoto, Harumi Haraguchi,
• Abstract要約: 本研究では,製品ドキュメントからE2Eテストコードを自動的に生成する手法を提案する。 製品ドキュメントから生成されたテストは、高いコンパイル成功と機能カバレッジを持ち、要求仕様とユーザストーリに基づいたテストよりも優れています。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Research on using Large Language Models (LLMs) in system development is expanding, especially in automated code and test generation. While E2E testing is vital for ensuring application quality, most test generation research has focused on unit tests, with limited work on E2E test code. This study proposes a method for automatically generating E2E test code from product documentation such as manuals, FAQs, and tutorials using LLMs with tailored prompts. The two step process interprets documentation intent and produces executable test code. Experiments on a web app with six key features (e.g., authentication, profile, discussion) showed that tests generated from product documentation had high compilation success and functional coverage, outperforming those based on requirement specs and user stories. These findings highlight the potential of product documentation to improve E2E test quality and, by extension, software quality.
• Abstract（参考訳）: システム開発におけるLarge Language Models (LLM) の利用に関する研究は、特に自動コードとテスト生成において拡大している。 E2Eテストはアプリケーション品質を保証するために不可欠だが、ほとんどのテスト生成研究はユニットテストに重点を置いており、E2Eテストコードに制限がある。 本研究では,マニュアルやFAQ,チュートリアルなどの製品ドキュメントから,適切なプロンプト付きLLMを用いてE2Eテストコードを自動的に生成する手法を提案する。 2段階のプロセスはドキュメントの意図を解釈し、実行可能なテストコードを生成する。 6つの重要な機能(例えば、認証、プロファイル、議論)を持つWebアプリの実験では、製品ドキュメントから生成されたテストは、高いコンパイル成功と機能カバレッジを持ち、要求仕様とユーザストーリに基づいたテストよりも優れていた。 これらの調査結果は、E2Eテストの品質を改善し、拡張によってソフトウェアの品質を向上させる製品ドキュメンテーションの可能性を強調している。

関連論文リスト

• LlamaRestTest: Effective REST API Testing with Small Language Models [50.058600784556816]
  LlamaRestTestは、2つのカスタムLCMを使って現実的なテストインプットを生成する新しいアプローチである。 LlamaRestTestは、RESTGPTで強化された仕様でさえ、コードカバレッジとエラー検出において最先端のツールを上回っている。
  論文  参考訳（メタデータ） (2025-01-15T05:51:20Z)
• Commit0: Library Generation from Scratch [77.38414688148006]
  Commit0は、AIエージェントにスクラッチからライブラリを書くよう促すベンチマークである。 エージェントには、ライブラリのAPIを概説する仕様文書と、インタラクティブなユニットテストスイートが提供されている。 Commit0はまた、モデルが生成したコードに対して静的解析と実行フィードバックを受け取る、インタラクティブな環境も提供する。
  論文  参考訳（メタデータ） (2024-12-02T18:11:30Z)
• ASTER: Natural and Multi-language Unit Test Generation with LLMs [6.259245181881262]
  静的解析を組み込んだジェネリックパイプラインを記述し,コンパイル可能な高カバレッジテストケースの生成においてLCMをガイドする。 コードカバレッジとテスト自然性の観点から,生成したテストの品質を評価するための実証的研究を行った。
  論文  参考訳（メタデータ） (2024-09-04T21:46:18Z)
• A System for Automated Unit Test Generation Using Large Language Models and Assessment of Generated Test Suites [1.4563527353943984]
  大規模言語モデル(LLM)はソフトウェア開発の様々な側面に適用されている。 Javaプロジェクトのテストスイートを生成する自動化システムであるAgoneTestを紹介します。
  論文  参考訳（メタデータ） (2024-08-14T23:02:16Z)
• Feature-Driven End-To-End Test Generation [5.7340627516257525]
  AutoE2Eは、セマンティックに意味のある機能駆動型E2EテストケースをWebアプリケーション向けに自動生成する新しいアプローチである。 E2EBenchは、E2Eテストスイートの機能カバレッジを自動的に評価する新しいベンチマークである。
  論文  参考訳（メタデータ） (2024-08-04T01:16:04Z)
• CodeRAG-Bench: Can Retrieval Augment Code Generation? [78.37076502395699]
  検索拡張生成を用いたコード生成の系統的,大規模な解析を行う。 まず、コード生成タスクの3つのカテゴリを含む総合的な評価ベンチマークであるCodeRAG-Benchをキュレートする。 CodeRAG-Bench上のトップパフォーマンスモデルについて、1つまたは複数のソースから検索したコンテキストを提供することにより検討する。
  論文  参考訳（メタデータ） (2024-06-20T16:59:52Z)
• Large Language Models to Generate System-Level Test Programs Targeting Non-functional Properties [3.3305233186101226]
  本稿では,テストプログラムを生成するためのLarge Language Models (LLM)を提案する。 我々は、DUTの非機能特性を最適化するために、事前訓練されたLLMがテストプログラム生成でどのように機能するかを、一目で見てみる。
  論文  参考訳（メタデータ） (2024-03-15T08:01:02Z)
• Test-Driven Development for Code Generation [0.850206009406913]
  大きな言語モデル(LLM)は、問題ステートメントから直接コードスニペットを生成する重要な機能を示している。 本稿では,テスト駆動開発(TDD)をAI支援コード生成プロセスに組み込む方法について検討する。
  論文  参考訳（メタデータ） (2024-02-21T04:10:12Z)
• FacTool: Factuality Detection in Generative AI -- A Tool Augmented Framework for Multi-Task and Multi-Domain Scenarios [87.12753459582116]
  より広い範囲のタスクは、生成モデルによって処理されると、事実エラーを含むリスクが増大する。 大規模言語モデルにより生成されたテキストの事実誤りを検出するためのタスクおよびドメインに依存しないフレームワークであるFacToolを提案する。
  論文  参考訳（メタデータ） (2023-07-25T14:20:51Z)
• CodeExp: Explanatory Code Document Generation [94.43677536210465]
  既存のコード・トゥ・テキスト生成モデルは、コードの高レベルな要約のみを生成する。 我々は、コードのための高品質な説明記述の基準を特定するために、人間の研究を行う。 タスクのための多段階微調整戦略とベースラインモデルを提案する。
  論文  参考訳（メタデータ） (2022-11-25T18:05:44Z)
• Generate rather than Retrieve: Large Language Models are Strong Context Generators [74.87021992611672]
  本稿では,文書検索を大規模言語モデル生成器に置き換えることで,知識集約型タスクを解く新しい視点を提案する。 我々は,提案手法をgenRead (genRead) と呼び,まず大きな言語モデルに対して,与えられた質問に基づいて文脈文書を生成し,次に生成された文書を読み出して最終回答を生成する。
  論文  参考訳（メタデータ） (2022-09-21T01:30:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。