論文の概要: TestPrism: Rethinking Test Evaluation Beyond a Single Reference

• arxiv url: http://arxiv.org/abs/2610.12289v1
• Date: Thu, 08 Oct 2026 16:44:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:54.190302
• Title: TestPrism: Rethinking Test Evaluation Beyond a Single Reference
• Title（参考訳）: TestPrism: 単一の参照を越えてテスト評価を再考する
• Abstract要約: 大規模言語モデル(LLM)コーディングエージェントは、様々なプログラミングタスクにまたがる高度なテスト生成を持つ。 我々は17のソースから300のテストタスクと3000の候補実装からなるTestPrismを紹介し、有効と無効のソリューションを均等に分割する。 分析の結果,動作の欠如,アサーションの欠如,テスト構築の不良が判明した。
• 参考スコア（独自算出の注目度）: 31.934559142745
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language model (LLM) coding agents have advanced test generation across diverse programming tasks. However, the common practice of evaluating tests against a single reference solution overlooks alternative valid implementations and can overstate test quality. We introduce TestPrism, comprising 300 test tasks from 17 sources and 3000 candidate implementations, evenly split between valid and invalid solutions. Its primary metric, Joint Success Function, requires the generated tests to fail on the initial program state, accept every valid candidate, and reject every invalid candidate. Across fourteen baseline coding agent configurations, Joint Success Function reaches only 28.00%, whereas single reference success reaches 59.67%. Our analysis reveals missed behaviors, unsupported assertions, and faulty test construction. To address these weaknesses, we introduce TestHelix, which combines heterogeneous synthesis of test and repair pairs with peer cross validation and recursive self improvement (RSI). Across two models, TestHelix improves Joint Success Function by 8.67 to 9.00 percentage points over the native harness comparators in the TestHelix evaluation
• Abstract（参考訳）: 大規模言語モデル(LLM)コーディングエージェントは、様々なプログラミングタスクにまたがる高度なテスト生成を持つ。 しかし、単一の参照ソリューションに対するテストを評価する一般的なプラクティスは、代替の有効な実装を見落とし、テスト品質を誇張することができる。 我々は17のソースから300のテストタスクと3000の候補実装からなるTestPrismを紹介し、有効と無効のソリューションを均等に分割する。 その主要なメトリックであるJoint Success Functionは、生成されたテストが初期プログラム状態にフェールし、有効な候補をすべて受け入れ、無効な候補をすべて拒否する必要がある。 14のベースラインコーディングエージェント構成で、ジョイント継承関数は28.00%、単一の参照成功は59.67%である。 分析の結果,動作の欠如,アサーションの欠如,テスト構築の不良が判明した。 これらの弱点に対処するために、テストと修復ペアの異種合成とピアクロス検証と再帰的自己改善(RSI)を組み合わせたTestHelixを導入する。 TestHelixは2つのモデルで、TestHelix評価においてネイティブハーネスコンパレータよりも8.67から9.00ポイント向上した。

関連論文リスト

• TestJack: Should you trust the results in coding benchmarks? Agentic Coding Benchmarks Auditing via Evaluator Evolution [56.4111102268819]
  大規模言語モデル(LLM)エージェントは、ソフトウェア工学を急速に再構築している。 しかし、既存のベンチマークのほとんどすべてが、同じ数十年前の基準に依存している。 固定テストを超えてパッチを評価するスケーラブルなフレームワークであるTestJackを紹介します。
  論文  参考訳（メタデータ） (2026-10-07T07:58:04Z)
• ExecCritic: Learn to Test, Test to Improve for Coding Agents [68.42713285082912]
  実行時のフィードバックは、コーディングエージェントを正しいリポジトリの修復に導くことができますが、テストが問題によって要求された振る舞いをキャプチャした場合のみです。 ExecCriticを導入し、テスト-検証-修正足場と、その中のトレーニングエージェントのためのロール固有の強化学習レシピを組み合わせる。 テストエージェントが独立してリポジトリネイティブなテストを生成し、フェイルクローズされたハーネスがそれらを調整して凍結し、リカバリエージェントがテストを変更することなく、ソースコードを実行フィードバックから修正する。
  論文  参考訳（メタデータ） (2026-09-08T17:53:37Z)
• Security Tests as Executable Specifications for LLM Code Generation: Benefits, Trade-offs, and Coverage Limits [14.44743150931186]
  テストが事前に表示されるか、失敗した実行がリビジョンを引き起こすか、失敗が選択され、どのように表現されるかの3つの要素を分離する、制御されたテストフィードバックの足場を開発する。 2,705の軌道、31のタスクインスタンス、3つのセキュアコードベンチマーク、16のCWEカテゴリ、2つのモデルファミリがあり、すべての目に見えるテストが前もって隠れた機能とセキュリティのジョイントの成功を平均19.3%増加させている。 共有候補比較では、構造化されたフィードバック修復は、当初、共同回帰のない80の候補が失敗し、固定された生フィードバック修復83は3つの回帰を引き起こす。
  論文  参考訳（メタデータ） (2026-08-10T15:37:09Z)
• Are Benchmark Tests Strong Enough? Mutation-Guided Diagnosis and Augmentation of Regression Suites [49.16055123488827]
  十分に強力なテストスイートは、報告された成功率を膨らませながら、妥当だが意味的に正しくないパッチを認めることができる。 STINGは、意味的に変化するプログラムの変種を診断ストレス要因として利用する、ターゲットテスト拡張のためのフレームワークである。 STINGは211インスタンスにまたがる1014の検証テストを生成し、パッチリージョンラインとブランチカバレッジを10.8%、9.5%向上させた。
  論文  参考訳（メタデータ） (2026-04-02T01:13:40Z)
• Code-A1: Adversarial Evolving of Code LLM and Test LLM via Reinforcement Learning [54.95476453942411]
  コード生成のための強化学習は、単体テストのパスレートから検証可能な報酬に依存する。 最近のセルフプレイ手法は、1つのモデルでコードとテスト生成を統合する。 Code-A1は、人間のアノテーションによるテストでトレーニングされたコード生成のパフォーマンスマッチングまたはモデルを超えることを実現する。
  論文  参考訳（メタデータ） (2026-03-16T17:58:13Z)
• Consistency Meets Verification: Enhancing Test Generation Quality in Large Language Models Without Ground-Truth Solutions [1.9196411948992402]
  ConVerTestは、既存のコード実装を必要とせず、信頼性の高いテストを合成するための、新しい2段階のパイプラインである。 BIGCODEBENCHとLESS BASIC PYTHON PROBLEMSベンチマークの実験では、ConVerTestはテストの妥当性、ラインカバレッジ、突然変異スコアを最大39%、28%、18%改善している。
  論文  参考訳（メタデータ） (2026-02-11T04:40:38Z)
• AutoCode: LLMs as Problem Setters for Competitive Programming [94.71566758494787]
  競合グレードの問題ステートメントやテストケースを生成するために,複数の検証ラウンドを使用するAutoCodeを紹介します。 ホールドアウト問題では、AutoCodeテストスイートが99%の一貫性と公式判断にアプローチしている。
  論文  参考訳（メタデータ） (2025-09-29T17:59:03Z)
• TestGenEval: A Real World Unit Test Generation and Test Completion Benchmark [24.14654309612826]
  TestGenEvalは、1,210のコードから68,647のテストと、11の保守されたPythonリポジトリにまたがるテストファイルペアで構成されている。 初期テストのオーサリング、テストスイートの補完、コードカバレッジの改善をカバーしている。 パラメータは7Bから405Bまで様々である。
  論文  参考訳（メタデータ） (2024-10-01T14:47:05Z)
• CodeT: Code Generation with Generated Tests [49.622590050797236]
  テストケースを自動的に生成するための事前学習言語モデルについて検討する。 CodeTは生成されたテストケースを使ってコードソリューションを実行し、次に最良のソリューションを選択します。 我々は,HumanEvalとMBPPのベンチマークを用いて,5種類の事前学習モデル上でCodeTを評価する。
  論文  参考訳（メタデータ） (2022-07-21T10:18:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。