論文の概要: Auditing and Decomposing Feedback-Driven Evolution in LLM Test Generation under the Oracle Problem

• arxiv url: http://arxiv.org/abs/2608.19626v1
• Date: Thu, 20 Aug 2026 04:29:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-21 20:28:51.451411
• Title: Auditing and Decomposing Feedback-Driven Evolution in LLM Test Generation under the Oracle Problem
• Title（参考訳）: Oracle 問題下における LLM テスト生成におけるフィードバック駆動的進化の監査と分解
• Abstract要約: 無効または不特定な入力は、急激な障害検出と明らかな進化的利益を生み出す。 我々は、142の開発タスク、114のロックされた外部タスク、128のホールドアウトタスクを使用して、フィードバック駆動のテスト生成において、この障害モードを監査する。 自己進化型テストジェネレータの評価において,検証対象のアーティファクト,インタラクションの足場,グラウンドドフィードバックを分離するオーディエンス・アンド・プレースボプロトコルを提案する。
• 参考スコア（独自算出の注目度）: 14.44743150931186
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Execution feedback is often treated as a self-verifying signal for improving LLM-generated tests. However, when generated inputs are executed on a single accepted program and its outputs are used as ground truth, invalid or underspecified inputs can create spurious fault detections and apparent evolutionary gains. We audit this failure mode in feedback-driven test generation using 142 development tasks, 114 locked external tasks, and 138 held-out tasks, with two code models, three seeds, and fault-cross-fitted real submissions. On external inputs for which three accepted implementations agree, generated outputs match the panel on only 27.79% and 50.12% of cases. A single-reference oracle inflates the measured gain from evolution by 9.46-14.85 percentage points; after auditing, equal-budget independent resampling outperforms mutation-based evolution by 6.01-18.83 points. We further compare a genuine three-round feedback loop with a density-matched placebo. External Real-Placebo differences are +0.13 and -0.50 points, while held-out differences are +1.99 and +0.28 points and do not provide robust evidence of fine-grained feedback benefit. A blinded semantic audit by two software engineering doctoral students classifies 94.41% of panel-disconfirmed inputs as invalid but 3.60% as valid, showing that panel disagreement is informative but not semantic proof. We propose an audit-and-placebo protocol that separates verifier artifacts, interaction scaffolding, and grounded feedback credit in evaluations of self-evolving test generators.
• Abstract（参考訳）: 実行フィードバックはしばしば、LCM生成テストを改善するための自己検証信号として扱われる。 しかし、生成された入力が単一の受理プログラム上で実行され、その出力が基底真理として使用される場合、無効または不特定な入力は急激な故障検出と明らかな進化的利得を生み出す。 我々は、この障害モードを、142の開発タスク、114のロックされた外部タスク、128のホールトアウトタスクを使用して、フィードバック駆動テスト生成で監査する。 3つの実装が一致した外部入力では、生成された出力は27.79%と50.12%のケースでパネルと一致している。 単一参照オラクルは、進化から測定された利益を9.46-14.85ポイントに膨らませ、監査後、等予算で独立した再サンプリングは突然変異ベースの進化を6.01-18.83ポイント上回る。 さらに,真の3ラウンドフィードバックループと密度整合プラセボを比較した。 外部のReal-Placeboの差は +0.13 と -0.50 であり、ホールドアウトの差は +1.99 と +0.28 であり、きめ細かいフィードバックの利点の堅牢な証拠を提供していない。 2人のソフトウェア工学博士の学生による盲目のセマンティック監査では、パネル不確認入力の94.41%が無効であるが3.60%が有効であると分類されており、パネルの不一致は有益であるが意味証明ではないことを示している。 自己進化型テストジェネレータの評価において,検証対象のアーティファクト,インタラクションの足場,グラウンドドフィードバックを分離するオーディエンス・アンド・プレースボプロトコルを提案する。

関連論文リスト

• Correct Tests Are Not Enough: Measuring and Training Oracle Conversion in Specification-Based Test Generation [14.44743150931186]
  自然言語仕様からテストを生成するには、異常な振る舞いを公開する入力と、正しい期待出力の両方が必要である。 我々は,この相互作用を,実行可能報酬分解とスイートレベルのオラクル変換測定を通じて研究する。 生成器は1つの応答で5つの入出力試験を共同で出力する。
  論文  参考訳（メタデータ） (2026-09-05T04:56:31Z)
• Rethinking Self-Evolving Agent Skills: Feedback Dynamics over Multiple Rounds [43.5891705224868]
  自己進化型スキルシステムは、基礎となるモデルを変更することなく、実行フィードバックを永続的なスキル更新に変換することでエージェントを改善することを約束する。 5つのベンチマークと3つのモデルで制御された評価フレームワークを提案する。 全体として、永続的なスキルの自己進化は、モデル依存リターンとベンチマーク依存リターンを備えたスパース、バリデーションフィルタリング検索として理解されている。
  論文  参考訳（メタデータ） (2026-07-31T04:02:51Z)
• Converted, Not Equivalent: Benchmarking Codebase Conversion via Observational Equivalence [56.25095230687242]
  コーディングエージェントは、しばしば自身のローカル検証ルーチンを過度に信頼し、表面チェックを満たすアーティファクトの成功を宣言する。 この問題は、事前評価が結果駆動である変換において特に深刻である。 ブラインド・コンバージョンは26.7-28.9%に達し、スペック・パスレートは91.1%まで上昇した。 このことは、失敗は限られた予算やバックボーンの強さよりも、契約ミスによる自己検証に起因していることを示唆している。
  論文  参考訳（メタデータ） (2026-05-27T19:57:15Z)
• Confidence and Calibration of Activation Oracles for Reliable Interpretation of Language Model Internals [2.4305775926851334]
  活性化オラクルの信頼性を推定するための6つの異なる手法について検討した。 ブートストラップモード周波数は、テスト対象者の中で最良の校正法である。 ログプロブベースラインは、低コストで高速トリアージ信号として機能することができる。
  論文  参考訳（メタデータ） (2026-05-25T17:08:47Z)
• From Correlation to Cause: A Five-Stage Methodology for Feature Analysis in Transformer Language Models [0.0]
  変換言語モデルにおける因果的特徴分析のための5段階の手法を提案する。 Indirect Object Identification (IOI) タスクを実行するGPT-2のエンド・ツー・エンドを実証する。
  論文  参考訳（メタデータ） (2026-05-21T13:25:16Z)
• Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
  大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。 個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。 構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
  論文  参考訳（メタデータ） (2026-05-15T17:08:27Z)
• Automated Self-Testing as a Quality Gate: Evidence-Driven Release Management for LLM Applications [51.56484100374058]
  我々は,エビデンスに基づくリリース決定を伴う品質ゲートを導入する自動自己テストフレームワークを提案する。 内部展開型多エージェント対話型AIシステムの縦型ケーススタディにより,本フレームワークの評価を行った。
  論文  参考訳（メタデータ） (2026-03-13T20:44:15Z)
• Aligning to Illusions: Choice Blindness in Human and AI Feedback [2.912535004465788]
  人間の選択失明研究では、過度にスワップされた好みの91%が発見されず、選択失明は不慣れなテキストの第三者による評価比較にまで及ぶ。 検出は、真の自己監視ではなく、浅いテキストマッチングに依存している。 2つのアーキテクチャにわたる線量応答実験では、報奨信号が半減する前にラベルの6分の1から3分の1を破損させなければならない。 Best-of-N評価では、これは下流の政策劣化につながると確認されている。
  論文  参考訳（メタデータ） (2026-03-09T14:10:36Z)
• Shrinking the Generation-Verification Gap with Weak Verifiers [42.538675831498715]
  検証者は、生成された候補から応答をスコア付けしてランク付けすることで、言語モデル機能を改善することができる。 Weaverは、複数の弱い不完全な検証器を組み合わせることで、強力な検証器を設計するためのフレームワークである。
  論文  参考訳（メタデータ） (2025-06-22T23:38:15Z)
• A Framework for Creating Non-Regressive Test Cases via Branch Consistency Analysis Driven by Descriptions [9.141981611891715]
  DISTINCT は Description-guided, branch-consistency analysis framework である。 LLM(Large Language Model)ベースのジェネレータを障害対応テストジェネレータに変換する。 コンパイル成功率(CSR)が14.64%、通過率(PR)が6.66%の平均的な改善を実現している。
  論文  参考訳（メタデータ） (2025-06-09T07:05:48Z)
• Learning to Generate Unit Tests for Automated Debugging [52.63217175637201]
  ユニットテスト(UT)は、コードの正確性を評価するだけでなく、大きな言語モデル(LLM)にフィードバックを提供する上でも重要な役割を果たします。 提案するUTGenは,LLMに対して,予測出力とともにエラーを示す単体テスト入力を生成することを教える。 UTGen は他の LLM ベースラインを7.59% 上回っていることを示す。
  論文  参考訳（メタデータ） (2025-02-03T18:51:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。