論文の概要: LLM-Based Test Generation: Information Sources, Generation Strategies, and Quality Evidence
- arxiv url: http://arxiv.org/abs/2610.05001v1
- Date: Sun, 04 Oct 2026 06:44:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-11 07:09:46.934849
- Title: LLM-Based Test Generation: Information Sources, Generation Strategies, and Quality Evidence
- Title（参考訳）: LLMに基づくテスト生成:情報源, 生成方略, 品質証拠
- Abstract要約: 本稿では,生成過程とテスト品質の正当性を示す証拠とを結びつける,構造化された物語調査を提案する。
目的とアーティファクトのテスト、トレーニングと生成で利用可能な情報、生成と学習のメカニズム、評価証拠の4つの側面に沿ってフィールドを編成する。
- 参考スコア（独自算出の注目度）: 14.44743150931186
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models are increasingly used to generate test scenarios, executable test suites, assertions, interaction sequences, and fuzzing infrastructure. These artifacts serve different purposes and rely on different sources of information about correct behavior. A test that increases implementation coverage, a test that agrees with a reference program, and a test that detects a requirements violation therefore provide distinct kinds of evidence. We present a structured narrative survey that connects the generation process to the evidence used to justify test quality. Drawing on 95 curated source records through 29 September 2026, we organize the field along four dimensions: testing objectives and artifacts, information available during training and generation, generation and learning mechanisms, and evaluation evidence. We synthesize work on unit and requirements-based testing, test oracles, API and GUI testing, fuzzing, and learned test generators. The resulting framework explains how execution feedback can improve executability while also affecting the independence of an oracle, why specification provenance and training-time reference supervision matter for comparisons, and how downstream code-selection gains differ from test correctness. We use these distinctions to organize benchmarks and derive a research agenda for independent oracle assessment, budget-aware generation, repository-scale evaluation, and test maintenance.
- Abstract（参考訳）: 大規模な言語モデルは、テストシナリオ、実行可能なテストスイート、アサーション、インタラクションシーケンス、ファジィインフラストラクチャを生成するために、ますます使われています。
これらのアーティファクトは異なる目的を提供し、正しい振る舞いに関する異なる情報源に依存している。
実装カバレッジを増加させるテスト、参照プログラムに適合するテスト、要求違反を検出するテストは、異なる種類のエビデンスを提供する。
本稿では,生成過程とテスト品質の正当性を示す証拠とを結びつける,構造化された物語調査を提案する。
2026年9月29日までに95件の資料を収集し、対象物と人工物の試験、訓練・生成時に利用可能な情報、生成・学習機構、評価証拠の4つの側面に沿って分野を整理した。
単体/要求ベースのテスト、オーラクルのテスト、APIとGUIのテスト、ファジング、および学習されたテストジェネレータに関する作業を合成する。
結果として得られたフレームワークは、実行時のフィードバックが実行可能性を改善すると同時に、オラクルの独立性にも影響を及ぼすか、なぜ仕様の立証とトレーニング時の基準監督が比較にとって重要なのか、ダウンストリームのコード選択がテストの正しさとどのように違うのかを説明している。
我々はこれらの区別を用いて、ベンチマークを整理し、独立したオラクル評価、予算対応生成、リポジトリスケール評価、テスト保守のための研究課題を導出する。
関連論文リスト
- Test-Driven Approaches to Software Engineering with Large Language Models: A Survey of Phases, Tasks, and Agent Skills [14.44743150931186]
テストは、大規模言語モデルとソフトウェアエンジニアリングエージェントによる決定にますます参加します。
意図された振る舞い、プログラムの構築と修復のガイド、候補の選択、制約変換、ソフトウェア分析の実行証拠を提供する。
これらは、テスト駆動開発における描画を使用するが、テスト順序、オラクル可用性、編集可能なアーティファクト、実行の役割は大きく異なる。
論文 参考訳（メタデータ） (2026-09-10T06:20:22Z) - TestMap: Evidence Infrastructure for Foundation-Model-Assisted Test Generation [1.1546538067103256]
本稿では,C#/.NETリポジトリの基盤モデル支援テスト生成を自動化するオープンソースプロトタイプであるTestMapを提案する。
TestMapは、リポジトリ分析、ソース-テストマッピング、ベースライン実行、コードメトリクス収集、テスト臭いの検出、カバレッジ測定、突然変異テスト、モデル誘導テスト生成、バリデーション、修復、リポジトリ固有の実験追跡をサポートする。
論文 参考訳（メタデータ） (2026-06-08T22:04:51Z) - From Feelings to Metrics: Understanding and Formalizing How Users Vibe-Test LLMs [48.36707944399574]
バイブテストが実際にどのように機能するかを研究し、その後、体系的な分析を支援するために形式化する。
コーディングベンチマークの実験では、パーソナライズされたプロンプトとユーザ認識評価を組み合わせることで、どのモデルが好まれるかを変更できることがわかった。
論文 参考訳（メタデータ） (2026-04-15T17:57:08Z) - KTester: Leveraging Domain and Testing Knowledge for More Effective LLM-based Test Generation [36.93577367023509]
本稿では、プロジェクト固有の知識を統合し、ドメイン知識をテストする新しいフレームワークであるKTesterについて述べる。
我々は、KTesterを複数のオープンソースプロジェクトで評価し、最先端のLCMベースラインと比較した。
結果は、KTesterが6つの主要なメトリクスで既存のメソッドを大幅に上回っていることを示している。
論文 参考訳（メタデータ） (2025-11-18T07:57:58Z) - Hamster: A Large-Scale Study and Characterization of Developer-Written Tests [44.65515600399573]
我々はJavaアプリケーションの開発者によるテストについて調査し、オープンソースリポジトリから170万のテストケースをカバーした。
この結果から,開発者によるテストの大部分は,現在のATGツールの能力以上の特性を示すことがわかった。
私たちは、現在のツール機能と開発者のテストプラクティスに対するより効果的なツールサポートのギャップを埋めるのに役立つ有望な研究方向を特定します。
論文 参考訳（メタデータ） (2025-09-30T13:08:23Z) - Intention-Driven Generation of Project-Specific Test Cases [45.2380093475221]
検証意図の記述からプロジェクト固有のテストを生成するIntentionTestを提案する。
13のオープンソースプロジェクトから4,146件のテストケースで,最先端のベースライン(DA, ChatTester, EvoSuite)に対してIntentionTestを広範囲に評価した。
論文 参考訳（メタデータ） (2025-07-28T08:35:04Z) - Rethinking Cognitive Complexity for Unit Tests: Toward a Readability-Aware Metric Grounded in Developer Perception [15.677544288705883]
単体テストに適したテスト意識認知複雑度尺度であるCCTRを紹介する。
EvoSuite, GPT-4o, Mistral Large-1024が生成した15,750のテストスイートをDefects4JおよびSF110から350クラスにわたって評価した。
論文 参考訳（メタデータ） (2025-06-07T11:16:13Z) - CLOVER: A Test Case Generation Benchmark with Coverage, Long-Context, and Verification [71.34070740261072]
本稿では,テストケースの生成と完成におけるモデルの能力を評価するためのベンチマークCLOVERを提案する。
ベンチマークはタスク間でのコード実行のためにコンテナ化されています。
論文 参考訳（メタデータ） (2025-02-12T21:42:56Z) - Commit0: Library Generation from Scratch [77.38414688148006]
Commit0は、AIエージェントにスクラッチからライブラリを書くよう促すベンチマークである。
エージェントには、ライブラリのAPIを概説する仕様文書と、インタラクティブなユニットテストスイートが提供されている。
Commit0はまた、モデルが生成したコードに対して静的解析と実行フィードバックを受け取る、インタラクティブな環境も提供する。
論文 参考訳（メタデータ） (2024-12-02T18:11:30Z) - ASTER: Natural and Multi-language Unit Test Generation with LLMs [6.259245181881262]
静的解析を組み込んだジェネリックパイプラインを記述し,コンパイル可能な高カバレッジテストケースの生成においてLCMをガイドする。
コードカバレッジとテスト自然性の観点から,生成したテストの品質を評価するための実証的研究を行った。
論文 参考訳（メタデータ） (2024-09-04T21:46:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。