論文の概要: VibeCheck: Assessing the Quality of LLM-Generated Unit Tests: A Multi-agent Empirical Study across Heterogeneous Repositories
- arxiv url: http://arxiv.org/abs/2609.05978v1
- Date: Sat, 05 Sep 2026 08:46:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-12 12:07:50.909875
- Title: VibeCheck: Assessing the Quality of LLM-Generated Unit Tests: A Multi-agent Empirical Study across Heterogeneous Repositories
- Title（参考訳）: VibeCheck: LLM生成ユニットテストの品質を評価する:異種リポジトリにおけるマルチエージェント実証研究
- Abstract要約: 本稿では,15人の学生が開発したPythonとJavaScript/TypeScriptリポジトリを対象に,単体テスト生成に関する実証的研究を行った。
我々は,リポジトリのみのゼロショット条件下で,Kiro,Antigravity,CursorをClaude Sonnet 4.5で評価した。
生成されたテストは実行可能であることが多いが、強力なアサーションと意味のある振る舞いカバレッジを欠いていることが多い。
- 参考スコア（独自算出の注目度）: 2.2624162186186836
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: LLM-based IDE agents are increasingly used to generate repository-grounded unit tests, yet common evaluations often rely on execution success or coverage. These metrics can miss deeper quality issues such as weak assertions, missing edge cases, poor isolation, and limited maintainability. This paper presents VibeCheck, an empirical study of unit test generation across 15 student-developed Python and JavaScript/TypeScript repositories. We evaluate Kiro, Antigravity, and Cursor with Claude Sonnet 4.5 as the underlying agent, under repository-only, zero-shot conditions using a five-dimensional rubric covering runnability, assertion strength, logic and edge-case coverage, isolation/determinism, and maintainability. We also apply leave-one-out cross-agent peer evaluation to compare tools and identify failure patterns. Results show a clear execution-adequacy gap: generated tests are often runnable but frequently lack strong assertions and meaningful behavioral coverage. Weak assertions and missing edge cases occur more often than blocking failures, showing that runnable tests can still be shallow. VibeCheck provides a reliability-oriented framework for evaluating LLM-generated tests beyond pass/fail outcomes.
- Abstract（参考訳）: LLMベースのIDEエージェントは、リポジトリ基底のユニットテストを生成するのにますます使われていますが、一般的な評価は実行の成功やカバレッジに依存します。
これらのメトリクスは、アサーションの弱い、エッジケースの欠如、アイソレーションの低い、保守性に制限のあるといった、より深い品質上の問題を見逃す可能性がある。
本稿では,15人の学生が開発したPythonとJavaScript/TypeScriptリポジトリを対象とした,ユニットテスト生成に関する実証的研究であるVibeCheckについて述べる。
我々は,Kirro,Antigravity,Cursorを,リポジトリのみのゼロショット条件下で,ランナビリティ,アサーション強度,論理とエッジケースカバレッジ,アイソレーション/決定性,保守性といった条件下で,基礎となるエージェントとしてClaude Sonnet 4.5を評価した。
また、ツールの比較や障害パターンの識別に、試行錯誤によるピア評価を適用します。
生成されたテストは実行可能であることが多いが、強力なアサーションと意味のある振る舞いカバレッジを欠いていることが多い。
弱いアサーションと不足するエッジケースは、障害をブロックするよりも頻繁に発生します。
VibeCheckは、パス/フェイル結果を超えたLCM生成テストを評価するための信頼性指向のフレームワークを提供する。
関連論文リスト
- SWE-Gate: Passing Functional Tests Is Not Enough for Software Engineering Agents [63.65682461568621]
ソフトウェアエンジニアリングエージェントのためのリポジトリレベルのベンチマークであるSWE-Gateを導入し、機能的正当性とともにレビュー制約コンプライアンスを明示的に評価する。
SWE-Gateは、実際のプルリクエストレビューコメントからレビュー制約を導き、これらの制約に関するリポジトリレベルの修復インスタンスを合成する。
各インスタンスは、非準拠およびゴールドパッチとともに、機能テストと制約テストの分離を提供し、イシュー解決能力とレビュー制約コンプライアンスの明確な分離を可能にする。
論文 参考訳（メタデータ） (2026-09-03T17:53:34Z) - Do Coverage and Mutation Scores of LLM-Generated Test Suites Correlate with Their Effectiveness? (Replicability Study) [6.228248513679207]
研究によると、テストスイートのサイズが制御されると、カバレッジ、突然変異、および実際のバグ検出の相関がほとんどなくなる。
対象と変異の有用性は,文脈依存的であることが示唆された。
また、テストスイートのサイズがカバレッジ、突然変異、実際のバグ検出の相関関係において、主要な共同創設者であるという証拠もほとんどありません。
論文 参考訳（メタデータ） (2026-07-24T19:46:30Z) - What to Test Next: Interpretable Coverage Gap Discovery in Driving VLMs [52.50210189669399]
視覚言語モデル(VLM)を駆動するには,操作設計領域(ODD)が定義する様々な条件のシーンを正確に理解する必要がある
SliceScorerは、欠落したスライス推薦のための決定論的スコアリングルールである。
SliceNavは, 従来のスライス発見法よりも, 高リスクカバレッジギャップを効果的に表面化することを示す。
論文 参考訳（メタデータ） (2026-06-01T03:18:01Z) - MuMuTestUp: Mutation-based Multi-Agent Test Case Update [8.951495370176216]
変異誘導型マルチエージェントフレームワークである MuMuTestUp を提案する。
MuMuTestUpは、未発見行/ブランチの修復命令を生成し、セマンティック・シミュラリティ検索を通じて幻覚を処理する。
PRBENCHは、オープンソースJavaプロジェクト10の571サンプルのプルリクエストレベルのデータセットです。
論文 参考訳（メタデータ） (2026-05-19T02:25:25Z) - Code-A1: Adversarial Evolving of Code LLM and Test LLM via Reinforcement Learning [54.95476453942411]
コード生成のための強化学習は、単体テストのパスレートから検証可能な報酬に依存する。
最近のセルフプレイ手法は、1つのモデルでコードとテスト生成を統合する。
Code-A1は、人間のアノテーションによるテストでトレーニングされたコード生成のパフォーマンスマッチングまたはモデルを超えることを実現する。
論文 参考訳（メタデータ） (2026-03-16T17:58:13Z) - The Unlearning Mirage: A Dynamic Framework for Evaluating LLM Unlearning [54.67958855362658]
複雑な構造化クエリを用いたアンラーニングテストを強調する動的フレームワークを提案する。
提案手法はまず,対象モデル(事前学習)から知識を抽出し,単純なクエリからマルチホップチェーンまで,対象プローブを構築する。
本フレームワークは,テストセットを手作業で構築することなく,非学習手法の実用的でスケーラブルな評価を可能にする。
論文 参考訳（メタデータ） (2026-03-11T19:51:33Z) - ImpossibleBench: Measuring LLMs' Propensity of Exploiting Test Cases [58.411135609139855]
タスク完了のための「ショートカット」は、大規模言語モデルの信頼性評価と展開に重大なリスクをもたらす。
我々は,LLMエージェントがテストケースを利用するための正当性を測定するベンチマークフレームワークであるImpossibleBenchを紹介する。
実践的なフレームワークとして、ImpossibleBenchは単なる評価ではなく、汎用的なツールである。
論文 参考訳（メタデータ） (2025-10-23T06:58:32Z) - PALM: Synergizing Program Analysis and LLMs to Enhance Rust Unit Test Coverage [14.702182387149547]
本稿では,大規模言語モデル(LLM)を活用して高カバレッジ単体テストを生成する手法であるPALMを提案する。
PALMはプログラム解析を行い、関数内の分岐条件を特定し、それを経路制約に結合する。
このアプローチを実装し、それを15のオープンソースのRustクラッドで評価します。
論文 参考訳（メタデータ） (2025-06-10T17:21:21Z) - Long-Form Information Alignment Evaluation Beyond Atomic Facts [60.25969380388974]
明示的な幻覚を導入することなく、真理のステートメントを"モンテージ"することで、偽りの物語を構築するベンチマークであるMontageLieを紹介します。
本稿では,事実の正確性とイベント順序の整合性を共同で検証する新しいフレームワークであるDoveScoreを提案する。
論文 参考訳（メタデータ） (2025-05-21T17:46:38Z) - Large-scale, Independent and Comprehensive study of the power of LLMs for test case generation [11.517293765116307]
ユニットテストはソフトウェアの信頼性に不可欠だが、手動のテスト作成には時間がかかり、しばしば無視される。
本研究は,LLM生成単体テストの大規模評価をクラスレベルで行った最初の大規模評価である。
論文 参考訳（メタデータ） (2024-06-28T20:38:41Z) - Effective Test Generation Using Pre-trained Large Language Models and
Mutation Testing [13.743062498008555]
大規模言語モデル(LLM)が生成するテストケースの有効性を,バグの発見の観点から改善するための MuTAP を導入する。
MuTAPは、プログラム・アンダー・テスト(PUT)の自然言語記述がない場合に有効なテストケースを生成することができる
提案手法は, 最大28%の人書きコードスニペットを検出できることを示す。
論文 参考訳（メタデータ） (2023-08-31T08:48:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。