論文の概要: No More Import Errors: Constrained Decoding for Guaranteed Valid Imports in LLM-Generated Tests

• arxiv url: http://arxiv.org/abs/2610.41878v1
• Date: Fri, 30 Oct 2026 15:26:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.78757
• Title: No More Import Errors: Constrained Decoding for Guaranteed Valid Imports in LLM-Generated Tests
• Title（参考訳）: もはやインポートエラーはない: LLM生成テストにおける保証されたバリデーションインポートのための制約付きデコード
• Abstract要約: CBDL(Constrained Beam Decoding with Lookup)は,輸入ストリークに対処しながら,輸入の妥当性を保証する新しい手法である。 CBDLは、初期輸入エラーの14%を機能的に正しいテストに変換する。 テストの正確さは、制約のない世代よりも1-4ポイント向上する。
• 参考スコア（独自算出の注目度）: 7.31472912229643
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: One of the most common failure reasons of LLM-based test generation pipelines is import errors. Grammar constrained decoding can modify the probabilities of the LLM's final layer during token generation to guarantee valid imports. However, we find that it can lead to degenerate solutions, i.e., repetitive valid imports (import streaks) that exhaust the token budget before a test is generated. We propose Constrained Beam Decoding with Lookup (CBDL), a novel method that guarantees import validity while addressing import streaks by avoiding premature commitment to tokens that lead to repetitive imports. Because it operates at the decoding stage, CBDL can be integrated into existing LLM-based test generation pipelines. We implement CBDL for Python and Java and evaluate it on two test generation tasks, showing that generated tests have 100% valid imports, outperforming both static (RAG and LIBRO) and dynamic (Agentic Repair) import-validity approaches that leave 45%, 10%, and 43% of import errors unresolved. CBDL converts on average 14% of initial import errors into functionally correct tests, increasing overall test correctness by 1-4 percentage points over unconstrained generation. Even when import validity does not directly lead to a correct test, it allows agentic repair pipelines to allocate the repair budget to remaining errors, increasing correct tests by 2-7 percentage points for Python and 1-6 for Java. Finally, we show that a hybrid pipeline, where a small local model equipped with CBDL generates imports while the frontier GPT-5.2 model generates the test body, outperforms generating both with GPT-5.2 alone by 1-3 percentage points. Overall, CBDL removes a major bottleneck in LLM-based test generation: by guaranteeing import validity with a small overhead (16-21 seconds per test), it improves test correctness and enables cost-effective hybrid generation.
• Abstract（参考訳）: LLMベースのテスト生成パイプラインの最も一般的な障害原因の1つは、インポートエラーである。 文法制約付きデコーディングは、トークン生成中にLLMの最終レイヤの確率を変更して、有効なインポートを保証する。 しかし、テストが生成される前にトークンの予算を浪費する反復的な有効なインポート(import streaks)というデジェネレーションソリューションに繋がる可能性がある。 本稿では,反復的な輸入につながるトークンへの早期のコミットメントを回避し,輸入ストリークに対処しながら,輸入の妥当性を保証する新しい方法であるCBDLを提案する。 復号段階で動作するため、CBDLは既存のLCMベースのテスト生成パイプラインに統合できる。 生成したテストは、静的(RAGとLIBRO)と動的(Agentic repair)のインポート-妥当性の両方を上回り、45%、10%、そして43%のインポートエラーを未解決のまま残している。 CBDLは、初期輸入エラーの14%を機能的に正しいテストに変換する。 インポートの妥当性が直接的に正しいテストに繋がらない場合でも、エージェントによる修復パイプラインは、残りのエラーに修復予算を割り当て、Pythonでは2-7ポイント、Javaでは1-6ポイントの正しいテストを増やすことができる。 最後に,CBDLを内蔵した小型ローカルモデルを用いたハイブリッドパイプラインを,フロンティア GPT-5.2 モデルで試験体を生成する場合,GPT-5.2 単独で1～3 ポイントの差で発電性能が向上することを示す。 総じてCBDLはLLMベースのテスト生成において大きなボトルネックを排除し、少ないオーバーヘッド(16-21秒)でインポートの妥当性を保証することにより、テストの正確性を改善し、コスト効率のよいハイブリッド生成を可能にする。

関連論文リスト

• TestJack: Should you trust the results in coding benchmarks? Agentic Coding Benchmarks Auditing via Evaluator Evolution [56.4111102268819]
  大規模言語モデル(LLM)エージェントは、ソフトウェア工学を急速に再構築している。 しかし、既存のベンチマークのほとんどすべてが、同じ数十年前の基準に依存している。 固定テストを超えてパッチを評価するスケーラブルなフレームワークであるTestJackを紹介します。
  論文  参考訳（メタデータ） (2026-10-07T07:58:04Z)
• Beyond Rule-Based Mutation Testing: Test-Aware Mutant Generation Using Large Language Models [24.312896261115494]
  本稿では,LLMが単一プロンプトで問題文,正準解,ベーステストを受け取るテストアウェア変異生成を提案する。 我々は,HumanEval と MBPP ベンチマークの5つの LLM に対して,このアプローチを評価した。 テストアウェアは87.7%(HumanEval)と79.1%(MBPP)の故障率を示す
  論文  参考訳（メタデータ） (2026-09-24T17:27:18Z)
• Beyond Fail-to-Pass: Iterative Hardening of Co-Generated Bug Reproduction Tests and Fixes [55.114939648705395]
  大規模言語モデル(LLM)は、現実のバグに対して、プログラムの自動修正をますます実用的にしている。 バグ再現テスト(BRT)は、バグレポートを実行可能なバグ固有の信号に変換することで、このギャップを埋めるのに役立つ。 本稿では,ループ内収束基準としてLax信号を用いるコジェネレーションフレームワークであるCoHardenを提案する。
  論文  参考訳（メタデータ） (2026-07-22T07:30:07Z)
• Correct Code, Vulnerable Dependencies: A Large Scale Measurement Study of LLM-Specified Library Versions [52.50730821321986]
  大規模言語モデル(LLM)におけるバージョンレベルのリスクの大規模評価を初めて行った。 我々は1000のStack OverflowプログラミングタスクのベンチマークであるPinTrace上で10のLLMを評価した。 LLM バージョン選択は LLM ベース開発における第1級, 以前は見落とされたリスクサーフェスとして確認された。
  論文  参考訳（メタデータ） (2026-05-07T13:52:59Z)
• Reflective Unit Test Generation for Precise Type Error Detection with Large Language Models [13.969152395348653]
  RTEDはPythonの型エラーを自動的に検出する型認識テスト生成技術である。 RTEDは4つの最先端技術よりも22-29のベンチマーク型エラーを検出できることを示す。 また、偽陽性を減らし、173.9%-245.9%の精度で改善できる。
  論文  参考訳（メタデータ） (2025-07-03T05:10:33Z)
• May the Feedback Be with You! Unlocking the Power of Feedback-Driven Deep Learning Framework Fuzzing via LLMs [20.03968975178177]
  ファズテスト(ファズテスト、fuzzing)は、ディープラーニング(DL)フレームワークのバグを見つけるための、シンプルで効果的な方法である。 本稿では,LLM(Large Language Model)とLLM(Generation LLM)という2つの大言語モデル(LLM)からなるフィードバック情報を効果的に活用するFUELを提案する。 FUELはPyTorchのラインコードカバレッジを改善し、最先端のベースラインよりも9.15%、14.70%向上できることを示す。
  論文  参考訳（メタデータ） (2025-06-21T08:51:53Z)
• ProjectTest: A Project-level LLM Unit Test Generation Benchmark and Impact of Error Fixing Mechanisms [48.43237545197775]
  単体テスト生成はLLMの有望かつ重要なユースケースとなっている。 ProjectTestは、Python、Java、JavaScriptをカバーするユニットテスト生成のためのプロジェクトレベルのベンチマークである。
  論文  参考訳（メタデータ） (2025-02-10T15:24:30Z)
• Learning to Generate Unit Tests for Automated Debugging [52.63217175637201]
  ユニットテスト(UT)は、コードの正確性を評価するだけでなく、大きな言語モデル(LLM)にフィードバックを提供する上でも重要な役割を果たします。 提案するUTGenは,LLMに対して,予測出力とともにエラーを示す単体テスト入力を生成することを教える。 UTGen は他の LLM ベースラインを7.59% 上回っていることを示す。
  論文  参考訳（メタデータ） (2025-02-03T18:51:43Z)
• Measuring the Influence of Incorrect Code on Test Generation [22.168699378889148]
  間違ったコードエクスペリエンスのために生成されたテストは、バグ検出率を47%上回っている。 +18%の精度、+4%のカバレッジ、+34%のバグ検出の改善は、自然言語によるコード記述を提供することで達成できる。
  論文  参考訳（メタデータ） (2024-09-14T15:17:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。