論文の概要: Enhancing Automated Unit Test Generation for NLP Libraries Using Large Language Models
- arxiv url: http://arxiv.org/abs/2609.14784v1
- Date: Sun, 13 Sep 2026 20:53:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:05.971759
- Title: Enhancing Automated Unit Test Generation for NLP Libraries Using Large Language Models
- Title（参考訳）: 大規模言語モデルを用いたNLPライブラリの自動単体テスト生成の高速化
- Abstract要約: 大規模言語モデルはドメイン関連テストコードを生成することができるが、LLMで生成されたテストはコンパイルに失敗し、十分なカバレッジを達成できないことが多い。
LLMSuite は,クラスレベルの LLM 推論により自己補充を促進させるハイブリッドテスト生成フレームワークである。
- 参考スコア（独自算出の注目度）: 15.717183301606061
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Automated unit test generation tools like EvoSuite perform well on general-purpose software but often struggle with domain-specific software such as Natural Language Processing (NLP) libraries, where inputs must follow semantic, syntactic, and structural constraints. Large Language Models (LLMs) can generate domain-relevant test code, but tests produced by LLMs alone often fail to compile or achieve sufficient coverage. We propose LLMSuite, a hybrid test generation framework that integrates self-refinement prompting with class-level LLM reasoning into the search-based testing process. In this mechanism, the LLM iteratively improves its test snippets based on feedback from previous generations. This enables the model to produce increasingly precise, domain-consistent code fragments that steer the evolutionary search toward exercising complex and otherwise hard-to-reach behaviors. When no objective improves over multiple generations in the underlying evolutionary algorithm, these refined snippets are parsed and injected into EvoSuite's population to expand the search space. To support our evaluation, we constructed a new dataset comprising 100 classes drawn from five widely used Java NLP projects. We also re-implemented CodaMOSA, a recent hybrid SBST-LLM technique, in Java to enable a direct comparison. Across this dataset, LLMSuite improves branch and line coverage by approximately 10% and 8%, respectively, and achieves an 11% higher mutation score than CodaMOSA-J. Compared to EvoSuite, LLMSuite yields roughly 15% higher branch and line coverage and 5% higher mutation score. Against an LLM-only baseline, it improves structural coverage by 36% and mutation score by about 24.7 percentage points. Finally, LLMSuite complements manually written test suites by exercising domain-specific behaviors that are often left untested.
- Abstract（参考訳）: EvoSuiteのような自動単体テスト生成ツールは汎用ソフトウェアではうまく機能するが、自然言語処理(NLP)ライブラリのようなドメイン固有のソフトウェアではしばしば苦労する。
大規模言語モデル(LLM)はドメイン関連テストコードを生成することができるが、LLMが生成するテストはコンパイルに失敗したり、十分なカバレッジを達成できなかったりすることが多い。
LLMSuite は,クラスレベルの LLM 推論を検索ベーステストプロセスに統合し,自己補充を促進させるハイブリッドテスト生成フレームワークである。
このメカニズムでは、LLMは以前の世代からのフィードバックに基づいて、テストスニペットを反復的に改善する。
これにより、モデルはますます正確で、ドメインに一貫性のあるコードフラグメントを生成し、複雑で扱いにくい振る舞いを追求する進化的探索を推し進めることができます。
進化的アルゴリズムでは、目的が複数世代にわたって改善されない場合、これらの洗練されたスニペットは解析され、EvoSuiteの集団に注入され、探索空間が拡張される。
評価を支援するため,広く利用されている5つのJava NLPプロジェクトから抽出された100のクラスからなる新しいデータセットを構築した。
また,最近のハイブリッドSBST-LLM技術であるCodaMOSAをJavaで実装し,直接比較した。
このデータセット全体で、LLMSuiteは分岐率とラインカバレッジをそれぞれ約10%と8%改善し、CodaMOSA-Jよりも11%高い突然変異スコアを得る。
EvoSuiteと比較すると、LLMSuiteは分岐率と線被覆率を約15%、突然変異率を5%向上させる。
LLMのみのベースラインに対して、構造的カバレッジは36%向上し、突然変異率は24.7%向上した。
最後に、LLMSuiteは、しばしばテストされていないドメイン固有の振る舞いを実行することで、手書きのテストスイートを補完する。
関連論文リスト
- Humanizing Automatically Generated Unit Test Suites with LLM-Based Refactoring [18.727291516223115]
EvoSuiteのような検索ベースのテスト生成ツールは、コンパイル可能で高カバレッジのユニットテストを大規模に生成するが、それらのスイートは読み書きが難しいことが多い。
コンパイル可能なSBSTスイート上でLLMを制御層として使用するハイブリッドSBST+LLMアプローチであるTestHumanizerを導入し、命名、構造、開発者指向の明確性を改善する。
TestHumanizerのコンパイル率は88～98%に達し、EvoSuiteの100%ベースラインに近い。
論文 参考訳（メタデータ） (2026-06-26T16:18:56Z) - TestDecision: Sequential Test Suite Generation via Greedy Optimization and Reinforcement Learning [17.157244731153554]
MDPとしてテストスイートの生成を形式化し,その目的が単調な部分モジュラリティを示すことを示す。
本研究では,LSMを神経グリージーの専門家に変換するTestDecisionを提案する。
TestDecisionは既存の高度なメソッドよりも大幅に優れています。
論文 参考訳（メタデータ） (2026-04-02T09:13:52Z) - DiffuRank: Effective Document Reranking with Diffusion Language Models [71.16830004674513]
拡散言語モデル(dLLM)に基づいて構築されたフレームワークであるDiffuRankを提案する。
dLLMは、左から右への順序に制約されないより柔軟なデコーディングと生成プロセスをサポートする。
モデルサイズが類似した自己回帰LDMに匹敵する性能を示す。
論文 参考訳（メタデータ） (2026-02-13T02:18:14Z) - Alignment with Fill-In-the-Middle for Enhancing Code Generation [56.791415642365415]
コードスニペットを小さな粒度のブロックに分割し,同じテストケースからより多様なDPOペアを生成する手法を提案する。
提案手法は,HumanEval (+), MBPP (+), APPS, LiveCodeBench, BigCodeBenchといったベンチマークデータセットの実験によって検証された,コード生成タスクの大幅な改善を示す。
論文 参考訳（メタデータ） (2025-08-27T03:15:53Z) - Hallucination to Consensus: Multi-Agent LLMs for End-to-End Test Generation [2.794277194464204]
ユニットテストは、ソフトウェアの正しさを保証する上で重要な役割を担います。
従来の手法は、高いコードカバレッジを達成するために、検索ベースまたはランダム化アルゴリズムに依存していた。
CANDORはJavaにおける自動単体テスト生成のための新しいプロンプトエンジニアリングベースのLLMフレームワークである。
論文 参考訳（メタデータ） (2025-06-03T14:43:05Z) - EvoGPT: Enhancing Test Suite Robustness via LLM-Based Generation and Genetic Optimization [11.050047263054985]
大規模言語モデル(LLM)は、最近、自動ユニットテスト生成のための有望なツールとして登場した。
我々は,LLMベースのテスト生成と進化的検索技術を統合したEvoGPTというハイブリッドフレームワークを導入し,多種多様な欠陥検出ユニットテストを作成する。
論文 参考訳（メタデータ） (2025-05-18T13:48:53Z) - OpenCodeInstruct: A Large-scale Instruction Tuning Dataset for Code LLMs [62.68905180014956]
我々は,500万の多様なサンプルからなる最大オープンアクセス命令チューニングデータセットであるOpenCodeInstructを紹介した。
各サンプルには、プログラミング質問、ソリューション、テストケース、実行フィードバック、LLM生成の品質評価が含まれている。
LLaMAやQwenなど,さまざまなベースモデルを,データセットを使用して複数のスケール(1B+,3B+,7B+)にわたって微調整します。
論文 参考訳（メタデータ） (2025-04-05T02:52:16Z) - Test smells in LLM-Generated Unit Tests [16.061139428298986]
本稿では, LLM 生成単体試験におけるテスト臭拡散の大規模解析法として, マルチベンチマークを初めて提案する。
本研究では,4つのLCM(GPT-3.5,GPT-4,Mistral 7B,Mixtral 8x7B)から20,505のクラスレベルスイート,TestBenchから972のメソッドレベルケース,14,469のEvoSuiteテスト,34,635のオープンソースJavaプロジェクトから779,585の人書きテストについて検討した。
論文 参考訳（メタデータ） (2024-10-14T15:35:44Z) - AIME: AI System Optimization via Multiple LLM Evaluators [79.03422337674664]
AIME は複数の LLM を利用した評価プロトコルであり、それぞれが独立した基準で評価を生成し、結合を通してそれらを結合する。
コード生成タスクにおける AIME のベースラインメソッドのパフォーマンスは,LeetCodeHard と HumanEval データセットの単一 LLM 評価プロトコルよりも最大 62% 高いエラー検出率,最大 16% 高い成功率で向上している。
論文 参考訳（メタデータ） (2024-10-04T04:03:24Z) - DARG: Dynamic Evaluation of Large Language Models via Adaptive Reasoning Graph [70.79413606968814]
本稿では,適応推論グラフ展開(DARG)によるLCMの動的評価を導入し,複雑性と多様性を制御した現在のベンチマークを動的に拡張する。
具体的には、まず現在のベンチマークでデータポイントの推論グラフを抽出し、それから推論グラフを摂動させて新しいテストデータを生成する。
このような新しく生成されたテストサンプルは、元のベンチマークと同様の言語的多様性を維持しながら、複雑さのレベルが異なる可能性がある。
論文 参考訳（メタデータ） (2024-06-25T04:27:53Z) - Self-Exploring Language Models: Active Preference Elicitation for Online Alignment [88.56809269990625]
本研究では, 分布域外領域を積極的に探索するために, 潜在的に高次応答に対して楽観的に偏りを呈する2段階的客観性を提案する。
実験の結果,Zephyr-7B-SFTとLlama-3-8B-Instructモデルで微調整した場合,SELM(Self-Exploring Language Models)は命令追従ベンチマークの性能を大幅に向上させることがわかった。
論文 参考訳（メタデータ） (2024-05-29T17:59:07Z) - MLLM-DataEngine: An Iterative Refinement Approach for MLLM [62.30753425449056]
本稿では,データ生成,モデルトレーニング,評価を橋渡しする新しいクローズドループシステムを提案する。
各ループ内で、MLLM-DataEngineはまず評価結果に基づいてモデルの弱点を分析する。
ターゲットとして,異なる種類のデータの比率を調整する適応型バッドケースサンプリングモジュールを提案する。
品質については、GPT-4を用いて、各データタイプで高品質なデータを生成する。
論文 参考訳（メタデータ） (2023-08-25T01:41:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。