論文の概要: Correct Tests Are Not Enough: Measuring and Training Oracle Conversion in Specification-Based Test Generation

• arxiv url: http://arxiv.org/abs/2609.05879v1
• Date: Sat, 05 Sep 2026 04:56:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-12 12:25:31.81768
• Title: Correct Tests Are Not Enough: Measuring and Training Oracle Conversion in Specification-Based Test Generation
• Title（参考訳）: 正しいテストは十分ではない: 仕様ベースのテスト生成におけるOracleの変換の測定と訓練
• Abstract要約: 自然言語仕様からテストを生成するには、異常な振る舞いを公開する入力と、正しい期待出力の両方が必要である。 我々は,この相互作用を,実行可能報酬分解とスイートレベルのオラクル変換測定を通じて研究する。 生成器は1つの応答で5つの入出力試験を共同で出力する。
• 参考スコア（独自算出の注目度）: 14.44743150931186
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generating tests from a natural-language specification requires both an input that exposes faulty behavior and a correct expected output. These requirements need not improve together: a model can increase test correctness by choosing easier inputs, or discover useful inputs whose expected outputs it cannot predict. We study this interaction through executable reward decomposition and suite-level oracle-conversion measurement. Our generator jointly emits five input--output tests in one response. During training, audited reference programs provide correctness feedback, while a fixed bank of faulty programs provides two utility signals: potential input kill and effective kill after checking the generated output. An additive GRPO objective preserves both signals without requiring execution at inference time. On an audited TC-Bench split with 506 training and 142 evaluation tasks, three independently trained Qwen3.5-9B runs at step 75 increase full-test correctness from 28.59\% to 42.54\%, input kill from 24.06\% to 25.27\%, and effective full kill from 12.23\% to 14.15\%. Matched 50-step ablations reveal a trade-off: removing kill rewards yields higher correctness and slightly higher full kill, but lowers input kill to 21.60\%. A fixed-input source--oracle crossover on 64 training-pool tasks attributes the principal NoKill-to-FullKill difference to harder input selection rather than worse output prediction on identical inputs. These results identify oracle conversion as a measurable bottleneck and show the benefits and limits of preserving input-utility feedback in joint test generation.
• Abstract（参考訳）: 自然言語仕様からテストを生成するには、異常な振る舞いを公開する入力と、正しい期待出力の両方が必要である。 モデルは、簡単な入力を選択することでテストの正確性を高めたり、予測できないアウトプットを予測できる有用なインプットを見つけ出すことができる。 我々は,この相互作用を,実行可能報酬分解とスイートレベルのオラクル変換測定を通じて研究する。 生成器は1つの応答で5つの入出力試験を共同で出力する。 トレーニング中、監査された参照プログラムは正当性フィードバックを提供するが、固定された欠陥プログラムのバンクは2つのユーティリティ信号を提供する:電位入力キラーと、生成された出力をチェックした後の効果的なキラーである。 加法GRPOの目的は、推論時に実行を必要とせずに両方の信号を保存する。 506のトレーニングと142の評価タスクを含む監査済みのTC-Benchでは、3つの独立したトレーニングされたQwen3.5-9Bがステップ75で実行され、完全テストの正確性は28.59\%から42.54\%に向上し、入力キラーは24.06\%から25.27\%に、有効フルキラーは12.23\%から14.15\%に向上した。 キル報酬の除去は高い正しさとわずかに高いフルキルを生じるが、入力キルを21.60\%に下げる。 64のトレーニングプールタスクにおける固定インプットのソース-オークルのクロスオーバーは、NoKill-to-FullKillのプリンシパルは、同一入力での出力予測を悪くするのではなく、入力選択を難しくする。 これらの結果は、オラクル変換を測定可能なボトルネックとして認識し、共同テスト生成における入力ユーティリティフィードバックの利点と限界を示す。

関連論文リスト

• ExecCritic: Learn to Test, Test to Improve for Coding Agents [68.42713285082912]
  実行時のフィードバックは、コーディングエージェントを正しいリポジトリの修復に導くことができますが、テストが問題によって要求された振る舞いをキャプチャした場合のみです。 ExecCriticを導入し、テスト-検証-修正足場と、その中のトレーニングエージェントのためのロール固有の強化学習レシピを組み合わせる。 テストエージェントが独立してリポジトリネイティブなテストを生成し、フェイルクローズされたハーネスがそれらを調整して凍結し、リカバリエージェントがテストを変更することなく、ソースコードを実行フィードバックから修正する。
  論文  参考訳（メタデータ） (2026-09-08T17:53:37Z)
• Auditing and Decomposing Feedback-Driven Evolution in LLM Test Generation under the Oracle Problem [14.44743150931186]
  無効または不特定な入力は、急激な障害検出と明らかな進化的利益を生み出す。 我々は、142の開発タスク、114のロックされた外部タスク、128のホールドアウトタスクを使用して、フィードバック駆動のテスト生成において、この障害モードを監査する。 自己進化型テストジェネレータの評価において,検証対象のアーティファクト,インタラクションの足場,グラウンドドフィードバックを分離するオーディエンス・アンド・プレースボプロトコルを提案する。
  論文  参考訳（メタデータ） (2026-08-20T04:29:35Z)
• Accuracy Hides How Language Models Fail: Measuring Failure States Under Matched Output Budgets [0.0]
  言語モデルベンチマークは、2つの異なる測定質問を1つの精度スコアに分解する。 スコアラーに依存しない実行証拠を分離する2層評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-07-27T11:04:17Z)
• Specification Grounding Drives Test Effectiveness for LLM Code [1.8620637029128544]
  仕様でテストのグラウンディングを行うと、このベースラインよりも38パーセントの割合で正しいコードを生成します。 誤検出率は33%(Pythonの標準ライブラリーオラクルに対して68%)から0%に削減されている。
  論文  参考訳（メタデータ） (2026-07-07T14:11:00Z)
• Automated Proving of Shannon-Type Entropy Inequalities via Fine-Tuned Language Models and Guided Tree Search [50.16356451328644]
  シャノン型エントロピーの不等式を証明することは情報理論の基本的な課題である。 我々は,原子実証のステップを微調整した小規模大規模言語モデルがこのプロセスを自動化することができるか検討する。 GPT-5.5は0ショットプロンプトで1.7%のサンプルを解き、Psitipは33.3%のサンプルを解いた。
  論文  参考訳（メタデータ） (2026-06-04T05:43:12Z)
• Scaling Agentic Verifier for Competitive Coding [66.11758166379092]
  大規模言語モデル(LLM)は強力なコーディング能力を示しているが、1回の試行で競合するプログラミング問題を正しく解くのに苦戦している。 実行ベースの再ランク付けは、有望なテスト時間スケーリング戦略を提供するが、既存のメソッドは、難しいテストケースの生成または非効率的なランダム入力サンプリングによって制約される。 本稿では,プログラムの動作を積極的に推論し,高い差別性のあるテスト入力を検索するエージェント検証手法を提案する。
  論文  参考訳（メタデータ） (2026-02-04T06:30:40Z)
• Nexus: Execution-Grounded Multi-Agent Test Oracle Synthesis [57.40527331817245]
  非回帰テストにおけるテストオラクル生成は、ソフトウェア工学における長年の課題である。 この課題に対処するための新しいマルチエージェントフレームワークであるNexusを紹介します。
  論文  参考訳（メタデータ） (2025-10-30T12:20:25Z)
• Directed Grammar-Based Test Generation [2.0948216657769616]
  この研究は自動テスト生成アプローチ(FdLoopと呼ばれる)を提案する。 FdLoopは、既存の入力から関連する入力特性を反復的に学習し、ゴール固有の入力を生成する。 FdLoopは3つのよく知られた入力形式(JSON、CSS、JavaScript)と20のオープンソースソフトウェアを用いて評価する。
  論文  参考訳（メタデータ） (2025-08-02T19:43:15Z)
• Learning to Generate Unit Tests for Automated Debugging [52.63217175637201]
  ユニットテスト(UT)は、コードの正確性を評価するだけでなく、大きな言語モデル(LLM)にフィードバックを提供する上でも重要な役割を果たします。 提案するUTGenは,LLMに対して,予測出力とともにエラーを示す単体テスト入力を生成することを教える。 UTGen は他の LLM ベースラインを7.59% 上回っていることを示す。
  論文  参考訳（メタデータ） (2025-02-03T18:51:43Z)
• Enhancing Self-Consistency and Performance of Pre-Trained Language Models through Natural Language Inference [72.61732440246954]
  大規模な事前訓練された言語モデルは、テスト入力間の論理的一貫性を欠いていることが多い。 本研究では,事前学習したNLPモデルの一貫性と精度を高めるためのフレームワークであるConCoRDを提案する。 ConCoRDは、市販のクローズドブックQAおよびVQAモデルの精度と一貫性を一貫して向上することを示す。
  論文  参考訳（メタデータ） (2022-11-21T21:58:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。