論文の概要: Beyond Passing Tests: A Systematic Review and Controlled Re-evaluation of Techniques for Improving the Quality of LLM-Generated Code

• arxiv url: http://arxiv.org/abs/2610.38977v1
• Date: Wed, 28 Oct 2026 22:02:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.424701
• Title: Beyond Passing Tests: A Systematic Review and Controlled Re-evaluation of Techniques for Improving the Quality of LLM-Generated Code
• Title（参考訳）: パステストを超えて: LLM生成コードの品質向上のための手法の体系的レビューと再評価
• Abstract要約: 大規模な言語モデルは、ほとんどの機能的正確性ベンチマークをパスするが、テストに合格すると、コードが読みやすいか、効率的か、安全かをほとんど語らない。 628の初等的な研究の体系的なレビューは、ステージ、信号源、品質目標によるテクニックを整理する。 コントロールされた再評価は、正当性、保守性、効率、セキュリティベンチマークの整合した予算で4つのモデル上で10のテクニックを実行し、それを13の現行モデルとリポジトリレベルのタスクに拡張し、Gemma 4 31B上で66のハイライトされたテクニックを真っ向から比較する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models pass most functional-correctness benchmarks, but passing tests says little about whether their code is readable, efficient or secure. Many techniques claim to improve these qualities, yet their evidence is scattered, usually covers one quality dimension and is rarely compared at an equal compute budget. We contribute a systematic review and a controlled re-evaluation. A systematic literature review of 628 primary studies (July 2021 to October 2026), with disclosed, author-reviewed LLM assistance, organizes the techniques by stage, signal source and quality target. Most studies measure only the dimension they target, gains often come with unchanged or unreported correctness, single automated quality signals are gamed, and compute, variance and contamination are rarely reported. A controlled re-evaluation runs ten techniques on four models at matched budgets on correctness, maintainability, efficiency and security benchmarks, extends it to thirteen current models and repository-level tasks, and compares 66 highlighted techniques head-to-head on Gemma 4 31B. At one call, quality prompting raises analyzer issue counts and leaves complexity and judge scores almost unchanged. At matched budgets, best-of-n sampling with an analyzer-weighted ranker matches or beats prompting, planning, self-refinement, a reviewer agent and retrieval on measures the ranker does not optimize, while an analyzer feedback loop and fine-tuning beat it only on analyzer issue counts. Large correctness losses on HumanEval+, a likely contaminated benchmark near its ceiling, do not appear on contests held after the models' training cutoffs. In the head-to-head, 1 of 66 techniques beats best-of-n on its primary target beyond the 95% interval, a rate consistent with chance. Gains should be reported against a budget-matched sampling baseline and on measures independent of the technique's own signal.
• Abstract（参考訳）: 大規模な言語モデルは、ほとんどの機能的正確性ベンチマークをパスするが、テストに合格すると、コードが読みやすいか、効率的か、安全かをほとんど語らない。 多くの技術はこれらの品質を改善すると主張しているが、それらの証拠は散在しており、通常は1つの品質の次元をカバーしており、同じ計算予算で比較されることはほとんどない。 体系的なレビューと制御された再評価に貢献する。 628の初等研究(2021年7月から2026年10月)の体系的な文献レビューでは、著者がレビューしたLSM援助が、ステージ、信号源、品質目標によるテクニックを整理している。 ほとんどの研究は、対象とする寸法だけを測定し、ゲインは変化しない、または報告されていない正確性を持ち、単一の自動品質信号がゲームされ、計算、分散、汚染はめったに報告されない。 コントロールされた再評価は、正当性、保守性、効率、セキュリティベンチマークの整合した予算で4つのモデル上で10のテクニックを実行し、それを13の現行モデルとリポジトリレベルのタスクに拡張し、Gemma 4 31B上で66のハイライトされたテクニックを真っ向から比較する。 あるコールで、品質プロンプトは分析者の問題を発生させ、複雑さを残し、判断のスコアはほぼ変わらない。 一致した予算では、アナライザ重み付きローダによるベスト・オブ・nサンプリングは、プロンプト、計画、自己調整、レビュアーエージェントおよびレビュアーが最適化しない測定の検索と一致し、アナライザフィードバックループと微調整はアナライザ問題数にのみ適用される。 天井付近のおそらく汚染されたベンチマークであるHumanEval+に対する大きな正当性損失は、モデルのトレーニング停止後のコンテストには現れない。 66のテクニックのうち1つは、95%のインターバルを超えたターゲットでベスト・オブ・nを上回り、確率と一致している。 利得は、予算が整ったサンプリングベースラインや、技術自身の信号とは無関係な措置に対して報告されるべきである。

関連論文リスト

• Are We Testing Too Much? A Survey of Benchmark Compression for Efficient Evaluation of Large Language Models [64.08197975922234]
  多くの広く使用されているベンチマークは冗長であり、評価を必要以上に高価にする。ベンチマーク圧縮は、部分的な評価から完全なベンチマークスコアとランキングを推定することによって、このコストを下げる。 本稿では119の論文をレビューし,評価方法の選択方法,全ベンチマーク結果の回収方法,信頼性の検証方法について述べる。 我々は,ベンチマークスイート内,ベンチマークスイート内,適応評価中の圧縮をカバーした分類法を開発し,冗長性と信頼性について検討する。
  論文  参考訳（メタデータ） (2026-10-13T12:15:07Z)
• NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment [54.4265627247104]
  大規模言語モデル(LLM)は、主要なAIカンファレンスでピアレビューでますます使用されている。 既存のベンチマークでは、ノベルティを1つの総合的なスコアとして評価している。 本報告では,詳細なノベルティアセスメント診断のための人手によるベンチマークであるNovGaugeについて述べる。
  論文  参考訳（メタデータ） (2026-09-10T08:34:56Z)
• A Controlled Study of Decoding-Time Truthfulness Methods on Instruction-Tuned LLMs [3.4007995136788]
  レイヤコントラスト復号、推論時間介入、学習ロジットアダプタは、TrathfulQAで10～30ポイントのゲインを示した。 現代の命令調整型LLMは、既にかなり高いベースラインを実現している。 熟考的推進法は、評価体制においてより堅牢であるように見える。
  論文  参考訳（メタデータ） (2026-06-10T14:48:05Z)
• Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
  大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。 個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。 構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
  論文  参考訳（メタデータ） (2026-05-15T17:08:27Z)
• Online Reasoning Calibration: Test-Time Training Enables Generalizable Conformal LLM Reasoning [18.69627681731888]
  オンライン推論校正(英語: Online Reasoning calibration、ORCA)は、整合予測とテストタイムトレーニングに基づいてサンプリングプロセスを校正するフレームワークである。 リスクレベルの$=0.1$で、ORCAはQwen2.5-32B効率を改善し、47.5%、監督ラベル40.7%、自己整合ラベル40.7%を節約する。
  論文  参考訳（メタデータ） (2026-04-01T17:21:50Z)
• PRIME: A Process-Outcome Alignment Benchmark for Verifiable Reasoning in Mathematics and Engineering [71.15346406323827]
  本稿では,プロセス・アウトカム・アライメント・アライメント・検証における検証結果を評価するベンチマークであるPRIMEを紹介する。 現在の検証器は、しばしば導出欠陥を検出するのに失敗する。 本稿では,PRIMEで選択した検証手法を利用したプロセス認識型RLVRトレーニングパラダイムを提案する。
  論文  参考訳（メタデータ） (2026-02-12T04:45:01Z)
• Foundational Automatic Evaluators: Scaling Multi-Task Generative Evaluator Training for Reasoning-Centric Domains [97.5573252172065]
  自動推論評価器(FARE)のファミリーを,簡易な反復的リジェクションサンプリング制御による微調整手法で訓練する。 FARE-8Bはより大型のRL訓練評価器に挑戦し、FARE-20Bはオープンソース評価器の新しい標準となる。 推論時リランカとして、FARE-20BはMATH上でのニアオークル性能を達成する。
  論文  参考訳（メタデータ） (2025-10-20T17:52:06Z)
• Clotho: Measuring Task-Specific Pre-Generation Test Adequacy for LLM Inputs [6.862079218077768]
  特定のタスクで大規模言語モデルをテストするのは難しくてコストがかかります。 重要な課題は、タスクの要求を反映した方法で入力精度を評価することである。 タスク固有のプレジェネレーションアプライバシ尺度であるCLOTHOを導入する。
  論文  参考訳（メタデータ） (2025-09-22T02:34:09Z)
• Self-Evaluation Guided Beam Search for Reasoning [61.523627290397556]
  我々は,Large Language Model (LLM) の推論プロセスのガイドと校正を行うための段階的自己評価機構を導入する。 本稿では,ビームサーチによる自己評価ガイダンスを統合した復号アルゴリズムを提案する。 我々のアプローチは、GSM8K、AQuA、StrategyQAにおいて、対応するCodexバックボンドベースラインをわずかに精度6.34%、9.56%、および5.46%で上回る。
  論文  参考訳（メタデータ） (2023-05-01T02:37:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。