論文の概要: From Business Requirements to Test Assertions: Evaluating LLM-Generated Oracles on Real Bugs

• arxiv url: http://arxiv.org/abs/2607.10277v1
• Date: Sat, 11 Jul 2026 12:17:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-14 15:40:48.370754
• Title: From Business Requirements to Test Assertions: Evaluating LLM-Generated Oracles on Real Bugs
• Title（参考訳）: ビジネス要件からテスト要件へ - LLMで生成されたOracleを本当のバグで評価する
• Abstract要約: 大規模言語モデル(LLM)は、自然言語ビジネス要求から直接一般化可能なテストオラクルを生成することができる。 LLMは非自明な一般化を実現するが、バグレベルとモデルレベルのばらつきは大きい。 概念実証のパイロットとして、これらの発見は予備的であり、実現可能性を確立し、より大規模な経験的調査を動機付けることを意図している。
• 参考スコア（独自算出の注目度）: 0.5156484100374058
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The oracle problem (determining the correct expected outcome for a test) remains a major bottleneck in automated testing, and is increasingly relevant as non-experts rely on AI-generated code they cannot reliably validate. We study whether large language models (LLMs) can generate generalizable test oracles directly from natural-language business requirements, without access to source code or example input-output pairs. We propose a reproducible, requirement-driven pipeline grounded in Defects4J. For each of 10 real bugs from Defects4J Lang (Bugs 1 and 3-11), we (i) extract behavioral changes via buggy/fixed diffs, (ii) manually translate the change into a business requirement, (iii) construct a requirement-derived oracle (REQ) as a gold standard, and (iv) prompt five LLMs (DeepSeek-V3, Gemma-3n, Llama-3, Mistral-7B, and Qwen-3) to generate Java oracle code. We evaluate oracle correctness and generalization under two targets: agreement with REQ and agreement with the system under test (SUT), reporting macro-averaged accuracy, precision, recall, and F1. LLMs achieve non-trivial generalization but with substantial bug- and model-level variance. Generated oracles align more closely with REQ than with SUT, and correlations between requirement technicality/ambiguity ratings and oracle accuracy are weak with wide confidence intervals. No detectable linear relationship exists between requirement properties and oracle accuracy in this dataset, suggesting that pretraining coverage and the semantic specificity of the required behavior dominate oracle correctness. As a pilot proof of concept, these findings are preliminary and are intended to establish feasibility and motivate larger-scale empirical investigation.
• Abstract（参考訳）: オラクルの問題(テストの正しい期待結果を決定する)は、自動テストにおいて依然として大きなボトルネックであり、非専門家が確実に検証できないAI生成コードに依存しているため、ますます関連性が高まっている。 本研究では,大規模言語モデル(LLM)が,ソースコードや入出力ペアへのアクセスなしに,自然言語ビジネス要求から直接,一般化可能なオーラクルを生成できるかどうかを検討する。 そこで本研究では,Defects4Jをベースとした再現可能な要求駆動パイプラインを提案する。 Defects4J Lang (Bugs 1 と 3-11)の実際の10のバグに対して、私たちは 一 バグギー・固定差分により行動変化を抽出すること。 二 変更を業務上の要件に手動で翻訳すること。 三 金本位金本位金本位金本位金本位金本位金本位金本位金本位金本位金本位金本位金本位金本位金本位金本位金本位金本位金本位金本位金本位金本位金本位金本位 (iv) 5つのLLM(DeepSeek-V3、Gemma-3n、Llama-3、Mistral-7B、Qwen-3)にJavaのオラクルコードを生成する。 我々は,REQとの合意とテスト中のシステムとの合意(SUT),マクロ平均精度,精度,リコール,F1の2つの目標の下で,オラクルの正しさと一般化を評価する。 LLMは非自明な一般化を実現するが、バグレベルとモデルレベルのばらつきは大きい。 生成したオラクルは、SUTよりもREQとより密接に一致し、要求技術的・曖昧性評価とオラクル精度の相関は、幅広い信頼区間で弱い。 このデータセットでは、要求特性とオラクルの精度の間に線形関係は存在せず、必要な振る舞いの事前学習と意味的特異性がオラクルの正しさを支配していることを示唆している。 概念実証のパイロットとして、これらの発見は予備的であり、実現可能性を確立し、より大規模な経験的調査を動機付けることを意図している。

関連論文リスト

• PluginEval: A Diagnostic Benchmark for Fine-Grained Error Attribution in Function Calling [11.1017602726296]
  大規模言語モデルは、ますます自律的なエージェントとして機能している。 現在のベンチマークには3つの制限がある。 Evalは、2段階のフレームワークで構築されたベンチマークである。
  論文  参考訳（メタデータ） (2026-08-09T13:25:54Z)
• Documentation vs. Code Patterns: What Drives LLM-Based Exception Oracle Generation? [18.50929593758973]
  LLMを用いたテストオラクル生成(TOG)法では,例外オラクル生成の精度が高い。 モデルは、Javadoc @throws節のような明示的な例外的な振る舞いのドキュメントを使用しますか? 我々は、予測が依存する信号を特定するために帰属誘導代行法を適用した。
  論文  参考訳（メタデータ） (2026-08-01T22:18:58Z)
• LogicHunter: Testing LLM Agent Frameworks with an Agentic Oracle [6.653693552089508]
  LangChain、LlamaIndex、CrewAIといった大規模言語モデル(LLM)エージェントフレームワークは、実運用AIシステムを支える重要なインフラストラクチャになっています。 これらの純粋なPythonフレームワークの欠陥は、通常の例外やサイレントなセマンティックな失敗として現れ、深いオラクルの曖昧さを生み出します。 我々は、アクティブな仕様認識テストを通じて世代とオラクルの課題に対処するファジングフレームワークであるLogicHunterを紹介する。
  論文  参考訳（メタデータ） (2026-07-07T12:21:42Z)
• LiveFMBench: Unveiling the Power and Limits of Agentic Workflows in Specification Generation [75.05397479715576]
  大規模言語モデル(LLM)とエージェントは有望な進歩を示しているが、その真の能力と失敗モードは未だ不明である。 CプログラムのためのLCMおよびエージェントベースの形式仕様生成に関する、最初の体系的および汚染に配慮した研究を提案する。
  論文  参考訳（メタデータ） (2026-05-02T11:31:33Z)
• RefineBench: Evaluating Refinement Capability of Language Models via Checklists [71.02281792867531]
  本研究は,2つの改良モード(ガイドリファインメントと自己リファインメント)を評価する。 ガイド付き改良では、プロプライエタリなLMと大きなオープンウェイトLMの両方が目標フィードバックを利用して、5ターン以内のほぼ完全なレベルへの応答を洗練できる。 これらの結果は、フロンティアLMは誤った反応を自己調整するためにブレークスルーを必要とすることを示唆している。
  論文  参考訳（メタデータ） (2025-11-27T07:20:52Z)
• You only need 4 extra tokens: Synergistic Test-time Adaptation for LLMs [50.54173262572369]
  大規模言語モデル (LLM) は、金融、医療、農業などの専門分野にますます導入されている。 本稿では,言語モデルに対するラベルフリーテスト時適応について検討し,追加の監督なしにモデルをオンザフライで適応する推論時フレームワークであるSyTTAについて述べる。
  論文  参考訳（メタデータ） (2025-10-11T14:00:39Z)
• CompassVerifier: A Unified and Robust Verifier for LLMs Evaluation and Outcome Reward [50.97588334916863]
  評価と結果報酬のための正確で堅牢な軽量検証モデルであるCompassVerifierを開発した。 数学、知識、多種多様な推論タスクにまたがる多分野の能力を示し、様々な答えの型を処理する能力を示す。 我々は,複数のデータソースから収集したモデル出力からなるVerifierBenchベンチマークを導入し,メタエラーパターンを手動で解析してCompassVerifierを強化する。
  論文  参考訳（メタデータ） (2025-08-05T17:55:24Z)
• Hallucination to Consensus: Multi-Agent LLMs for End-to-End Test Generation [2.794277194464204]
  ユニットテストは、ソフトウェアの正しさを保証する上で重要な役割を担います。 従来の手法は、高いコードカバレッジを達成するために、検索ベースまたはランダム化アルゴリズムに依存していた。 CANDORはJavaにおける自動単体テスト生成のための新しいプロンプトエンジニアリングベースのLLMフレームワークである。
  論文  参考訳（メタデータ） (2025-06-03T14:43:05Z)
• Automated Repair of Ambiguous Problem Descriptions for LLM-Based Code Generation [9.943472604121425]
  自然言語(NL)の曖昧さは、ソフトウェアの品質を損なう可能性がある。 あいまいなNL記述の自動修復を導入する。 このアプローチをSpecFixというツールで実装しています。
  論文  参考訳（メタデータ） (2025-05-12T06:47:53Z)
• Fact-Consistency Evaluation of Text-to-SQL Generation for Business Intelligence Using Exaone 3.5 [0.0]
  大規模言語モデル(LLM)は、テキスト・ツー・ジェネレーションによる構造化データクエリーのための自然言語インタフェースの実現を約束している。 本稿では,Exaone 3.5 を用いて LLM 生成したsql 出力の意味的精度を評価するためのFact-Consistency Evaluation Framework を提案する。 本稿では,LG Electronicsの内部BigQuery環境における実際の販売データから抽出した219の自然言語ビジネス質問からなるドメイン固有ベンチマークを構築した。 我々は,応答精度,実行成功率,意味的誤り率,非応答率を用いてモデル性能を評価する。
  論文  参考訳（メタデータ） (2025-04-30T14:42:18Z)
• ALGO: Synthesizing Algorithmic Programs with LLM-Generated Oracle Verifiers [60.6418431624873]
  大きな言語モデル(LLM)は、機能記述からコードを実装するのに優れているが、アルゴリズムの問題に悩まされている。 我々は,アルゴリズムプログラムを LLM 生成 Oracle で合成するフレームワーク ALGO を提案し,その生成をガイドし,その正確性を検証する。 実験の結果,ALGOを装着すると,Codexモデルよりも8倍,CodeTよりも2.6倍の1サブミッションパス率が得られることがわかった。
  論文  参考訳（メタデータ） (2023-05-24T00:10:15Z)
• TACRED Revisited: A Thorough Evaluation of the TACRED Relation Extraction Task [80.38130122127882]
  TACREDはリレーショナル抽出(RE)において最も大きく、最も広く使われているクラウドソースデータセットの1つである パフォーマンスの天井に到達したのか、改善の余地はあるのか? ラベルエラーは絶対F1テストエラーの8%を占めており、例の50%以上を可逆化する必要がある。
  論文  参考訳（メタデータ） (2020-04-30T15:07:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。