論文の概要: Synthesizing File-Level Data for Unit Test Generation with Chain-of-Thoughts via Self-Debugging
- arxiv url: http://arxiv.org/abs/2602.03181v1
- Date: Tue, 03 Feb 2026 06:52:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-04 18:37:15.293848
- Title: Synthesizing File-Level Data for Unit Test Generation with Chain-of-Thoughts via Self-Debugging
- Title(参考訳): 自己デバッグによるChain-of-Thoughtsを用いた単体テスト生成のためのファイルレベルデータの合成
- Authors: Ziyue Hua, Tianyu Chen, Yeyun Gong, Shuai Lu, Peng Cheng, Qinglin Zhu, Yibo He, Yingjie Fu, Wenpin Jiao, Wei Yang, Tao Xie,
- Abstract要約: 本稿では,高品質なUTトレーニングを実現するための新しいデータ蒸留手法を提案する。
このパイプラインをオープンソースプロジェクトの大規模なコーパスに適用します。
実験により, 微調整モデルにより, UT生成効率が高いことを示す。
- 参考スコア(独自算出の注目度): 40.29934051200609
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Automatic unit test (UT) generation is essential for software quality assurance, but existing approaches--including symbolic execution, search-based approaches, and recent LLM-based generators--struggle to produce human-quality tests with correct, meaningful assertions and reliable chain-of-thought (CoT) explanations. We identify a gap in UT training data: repository-mined tests lack developer CoTs, while LLM-distilled CoTs are often incorrect or incomplete. To address this issue, we propose a novel data-distillation approach that uses self-debugging to produce high-quality UT training examples paired with faithful CoTs. Our approach combines (1) guided test repair, a heuristic loop (error-, failure-, and coverage-focused steps) that asks the used model to diagnose and iteratively fix generated tests, and (2) CoT compression, which compacts original and debugging CoTs into concise explanations that directly justify correct tests. We apply this pipeline to a large corpus of open-source projects to construct a dataset of 74,518 high-quality <focal method, test, CoT> examples, and then use it for supervised fine-tuning of a base model. An empirical evaluation shows that the fine-tuned model achieves high UT generation effectiveness: it attains a pass rate of 36.17% on test assertions, a branch coverage of 43.90%, and a mutation score of 88.66%, substantially higher than state-of-the-art commercial models like o4-mini.
- Abstract(参考訳): ソフトウェアの品質保証には自動単体テスト(UT)生成が不可欠だが、シンボリックな実行、サーチベースアプローチ、最近のLCMベースのジェネレータを含む既存のアプローチは、正確で有意義なアサーションと信頼性の高いチェーン・オブ・プリート(CoT)の説明で品質テストを生成するのに苦労している。
リポジトリマイニングされたテストは開発者CoTを欠いているのに対して、LLM蒸留されたCoTは間違っているか不完全であることが多いのです。
この問題に対処するため、我々は自己デバッグを用いて、忠実なCoTと組み合わせた高品質なUTトレーニング例を作成する新しいデータ蒸留手法を提案する。
提案手法は,(1) テスト修復のガイド,(2) 生成したテストの診断と反復的な修正を使用済みモデルに依頼するヒューリスティックループ(エラー,障害,カバレッジ),および(2) CoT 圧縮により,CoT のオリジナルおよびデバッギングをコンパクト化し,正確なテストを直接正当化する簡潔な説明を行う。
このパイプラインをオープンソースプロジェクトの大規模なコーパスに適用し,74,518の高品質な<cuscus method, test, CoT>のデータセットを構築し,ベースモデルの教師付き微調整に使用する。
テストアサーションで36.17%の合格率、43.90%の分岐カバレッジ、88.66%の突然変異スコアを達成し、O4-miniのような最先端の商用モデルよりもかなり高い精度を達成している。
関連論文リスト
- Self-Improving LLM Agents at Test-Time [49.9396634315896]
言語モデル(LM)の1つのパラダイムは、大規模なトレーニングデータセットの作成に依存している。
実際には、大量のデータを集めることは非効率であり、それらのトレーニングは違法に高価である。
テスト時間自己改善(TT-SI)とテスト時間蒸留(TT-D)の2つのバリエーションについて検討する。
論文 参考訳(メタデータ) (2025-10-09T06:37:35Z) - PALM: Synergizing Program Analysis and LLMs to Enhance Rust Unit Test Coverage [14.702182387149547]
本稿では,大規模言語モデル(LLM)を活用して高カバレッジ単体テストを生成する手法であるPALMを提案する。
PALMはプログラム解析を行い、関数内の分岐条件を特定し、それを経路制約に結合する。
このアプローチを実装し、それを15のオープンソースのRustクラッドで評価します。
論文 参考訳(メタデータ) (2025-06-10T17:21:21Z) - Accelerated Test-Time Scaling with Model-Free Speculative Sampling [58.69141724095398]
STAND(Stochastic Adaptive N-gram Drafting)は,新しいモデルフリーな投機的デコード手法である。
従来の自己回帰復号法と比較して,STANDは推論遅延を60~65%削減することを示した。
モデルフリーのアプローチとして、STANDは追加のトレーニングなしで既存の言語モデルに適用できる。
論文 参考訳(メタデータ) (2025-06-05T07:31:18Z) - Improving Deep Assertion Generation via Fine-Tuning Retrieval-Augmented Pre-trained Language Models [20.71745514142851]
RetriGenは検索強化されたディープアサーション生成アプローチである。
我々はRetriGenを6つの最先端アプローチに対して評価する実験を行っている。
論文 参考訳(メタデータ) (2025-02-22T04:17:04Z) - Learning to Solve and Verify: A Self-Play Framework for Code and Test Generation [69.62857948698436]
大規模言語モデル(LLM)の最近の進歩は、コーディングベンチマークのパフォーマンスを改善している。
しかし、手軽に利用できる高品質なデータの枯渇により、改善は停滞している。
本稿では,単一モデルのコードとテスト生成能力を共同で改善するセルフプレイ・ソルバ検証フレームワークであるSol-Verを提案する。
論文 参考訳(メタデータ) (2025-02-20T18:32:19Z) - Enriching Automatic Test Case Generation by Extracting Relevant Test Inputs from Bug Reports [10.587260348588064]
BRMinerは,バグレポートから関連するインプットを抽出する従来の手法と組み合わせて,LLM(Large Language Models)を利用した新しいアプローチである。
本研究では,Defects4JベンチマークとEvoSuiteやRandoopといったテスト生成ツールを用いたBRMinerの評価を行った。
その結果、BRMinerは60.03%の関連入力レート(RIR)と31.71%の関連入力抽出精度(RIEAR)を達成した。
論文 参考訳(メタデータ) (2023-12-22T18:19:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。