論文の概要: How Many Code and Test Cases Are Enough? Evaluating Test Cases Generation from a Binary-Matrix Perspective

• arxiv url: http://arxiv.org/abs/2510.08720v1
• Date: Thu, 09 Oct 2025 18:29:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 00:38:47.488504
• Title: How Many Code and Test Cases Are Enough? Evaluating Test Cases Generation from a Binary-Matrix Perspective
• Title（参考訳）: コードケースとテストケースはいくつあるか? バイナリマトリックスから見たテストケースの評価
• Authors: Xianzhen Luo, Jinyang Huang, Wenzhen Zheng, Qingfu Zhu, Mingzheng Xu, Yiheng Xu, Yuantao Fan, Libo Qin, Wanxiang Che,
• Abstract要約: LLM(Large Language Models)が自動生成するテストケースの評価は、非常に難しい作業です。 既存のベンチマークは高い計算コスト、インフレーションのスコア、稀でクリティカルな欠陥に対する自明なバグに対するバイアスに悩まされている。 本稿では,ベンチマーク構築をバイナリコードテスト行列の最適な診断基準として定式化するフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 51.30005925128432
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Evaluating test cases automatically generated by Large Language Models (LLMs) is a critical yet challenging task. Existing benchmarks suffer from high computational costs, score inflation, and a bias towards trivial bugs over rare, critical faults. In this work, we ask two fundamental questions: (1) What is the minimal set of wrong codes sufficient to represent the entire error space? and (2) What is the minimal set of test cases needed to distinguish them? We introduce a framework that formalizes benchmark construction as finding an optimal diagnostic basis in a binary code-test matrix. The rank of this matrix specifies the minimal number of independent error patterns (wrong codes) and provides a tight upper bound on the number of test cases required for complete fault coverage. Our objective is to identify a basis of size equal to the matrix rank that maximizes internal diversity. To tackle this NP-hard problem, we propose WrongSelect, an efficient approximation algorithm to select maximally diverse wrong codes. Applying this framework to millions of competitive programming submissions, we construct TC-Bench, a compact, diverse, and inflation-resistant benchmark. Extensive experiments show that even the most advanced test case generation methods achieve only ~60% exclusion rates on TC-Bench, exposing a significant gap in their diagnostic power. Our dataset is available at: https://huggingface.co/datasets/Luoberta/TC-Bench and our code is at: https://github.com/Luowaterbi/TC-Bench.
• Abstract（参考訳）: LLM(Large Language Models)が自動生成するテストケースの評価は、非常に重要な作業である。 既存のベンチマークは高い計算コスト、インフレーションのスコア、稀でクリティカルな欠陥に対する自明なバグに対するバイアスに悩まされている。 1) エラー空間全体を表現するのに十分な誤りコードの最小セットは何か? そして (2) それらを区別するのに必要となるテストケースの最小セットは何か? 本稿では,ベンチマーク構築をバイナリコードテスト行列の最適な診断基準として定式化するフレームワークを提案する。 この行列のランクは、独立したエラーパターン(短い符号)の最小数を特定し、完全なフォールトカバレッジに必要なテストケースの数に厳密な上限を与える。 我々の目的は、内部の多様性を最大化する行列ランクと等しい大きさの基底を特定することである。 このNPハード問題に対処するため,最大多様な誤りコードを選択するための効率的な近似アルゴリズムであるWrongSelectを提案する。 このフレームワークを何百万もの競合するプログラムに応用し、コンパクトで多様性があり、インフレーションに耐性のあるベンチマークであるTC-Benchを構築します。 大規模な実験では、最も先進的なテストケース生成手法でさえTC-Benchの排他率を60%程度しか達成せず、診断能力に重大なギャップがあることが示されている。 私たちのデータセットは、https://huggingface.co/datasets/Luoberta/TC-Benchで、コードは、https://github.com/Luowaterbi/TC-Benchで利用可能です。

関連論文リスト

• SciML Agents: Write the Solver, Not the Solution [69.5021018644143]
  敵の"ミスリーディング"問題の診断データセットと,1,000種類のODEタスクの大規模ベンチマークという,2つの新しいデータセットを紹介した。 オープンおよびクローズドソース LLM モデルについて, (i) 誘導型とガイド型, (ii) オフ・ザ・シェルフ対微調整型という2つの軸に沿って評価した。 予備的な結果は、慎重なプロンプトと微調整により、単純なODE問題を確実に解決できる特殊なLLMエージェントが得られることを示唆している。
  論文  参考訳（メタデータ） (2025-09-12T02:53:57Z)
• KodCode: A Diverse, Challenging, and Verifiable Synthetic Dataset for Coding [49.56049319037421]
  KodCodeは、高品質で検証可能なトレーニングデータを取得するという永続的な課題に対処する、合成データセットである。 自己検証手順によって体系的に検証される質問解決テスト三つ子を含む。 このパイプラインは大規模で堅牢で多様なコーディングデータセットを生成する。
  論文  参考訳（メタデータ） (2025-03-04T19:17:36Z)
• Simple and Provable Scaling Laws for the Test-Time Compute of Large Language Models [70.07661254213181]
  本研究では,大規模言語モデルのテスト時間計算において,証明可能なスケーリング法則を享受する2つのアルゴリズムを提案する。 1つは2段階ノックアウト方式のアルゴリズムで、各候補は複数の相手に対して平均勝利率で評価される。 もう1つは2段階のリーグ方式のアルゴリズムで、各候補は複数の相手に対して平均勝利率で評価される。
  論文  参考訳（メタデータ） (2024-11-29T05:29:47Z)
• B4: Towards Optimal Assessment of Plausible Code Solutions with Plausible Tests [16.19318541132026]
  ベイズフレームワーク内では、解と試験の間の観測された通過状態の後続確率に基づいて最適な選択戦略が定義されることを示す。 本稿では,この最適(計算不可能な)戦略を近似するための効率的な手法を提案する。
  論文  参考訳（メタデータ） (2024-09-13T10:22:08Z)
• NaturalCodeBench: Examining Coding Performance Mismatch on HumanEval and Natural User Prompts [31.783388267874738]
  NaturalCodeBench (NCB) は、実際のコーディングタスクにおける複雑さと様々なシナリオを反映した、挑戦的なコードベンチマークである。 NCBは、PythonとJavaの402の高品質な問題で構成されており、オンラインコーディングサービスからの自然なユーザクエリから慎重に選択されている。 39 LLMの系統的実験により,NCBにおけるHumanEvalスコアが近いモデル間の性能ギャップが依然として大きいことが判明した。
  論文  参考訳（メタデータ） (2024-05-07T17:52:51Z)
• Test2Vec: An Execution Trace Embedding for Test Case Prioritization [12.624724734296342]
  テストケースの実行トレースは、自動テストタスクの振る舞いを抽象化するよい代替手段になり得る。 本稿では,テスト実行トレースを潜在空間にマッピングする新しい埋め込み手法Test2Vecを提案する。 結果より,提案したTPは,第1検体の平均正規化ランクを41.80%向上させることがわかった。
  論文  参考訳（メタデータ） (2022-06-28T20:38:36Z)
• Measuring Coding Challenge Competence With APPS [54.22600767666257]
  コード生成のベンチマークであるAPPSを紹介する。 私たちのベンチマークには1万の問題が含まれています。 GPT-Neoのような最近のモデルでは、導入問題のテストケースの約15%をパスできる。
  論文  参考訳（メタデータ） (2021-05-20T17:58:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。