論文の概要: PreMaQ: Predicting Maintainability-Related Quality of LLM-Generated Code Before Generation

• arxiv url: http://arxiv.org/abs/2610.05858v1
• Date: Mon, 05 Oct 2026 06:21:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.444523
• Title: PreMaQ: Predicting Maintainability-Related Quality of LLM-Generated Code Before Generation
• Title（参考訳）: PreMaQ: LLM生成コードの保守性関連品質を生成前に予測する
• Abstract要約: プレジェネレーション保守性関連品質予測(PreMaQ)について紹介する。 生成前の大きな言語モデルの内部表現から生成されたコードのコード Smell Score (CSS) と Maintainability Index (MI) を予測する。 保守性に関する品質改善の59.5%を理想的な保守性ベースのセレクタで達成している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As large language models (LLMs) become increasingly capable of code generation, adopting generated code in software development requires assessing not only its functional correctness but also its maintainability-related quality. If such quality could be estimated before generation, developers could avoid the cost of generating, reviewing, and discarding low-quality code. Although prior work has shown that the functional correctness of the LLM-generated code can be predicted in advance, it remains unclear whether maintainability-related quality is similarly predictable. We introduce Pre-Generation Maintainability-Related Quality Prediction (PreMaQ), which predicts the Code Smell Score (CSS) and Maintainability Index (MI) of generated code from the internal representations of LLMs before generation. Our evaluation covers four open-weight LLMs and four Python code generation benchmarks, comprising 2,695 tasks in total. Our results show that predicted CSS and MI consistently correlate with their observed values across all 16 model-benchmark combinations, achieving mean Spearman rank correlations of 0.57 and 0.65, respectively. When used for model selection, PreMaQ achieves 59.5% of the maintainability-related quality improvement attainable by an ideal maintainability-based selector over random selection on tasks for which multiple models generate functionally correct code. Combining predictions from PreMaQ and prompt embeddings increases this proportion to 60.7%, indicating that the two signals are complementary. These findings suggest that PreMaQ can be used to predict and improve the maintainability-related quality of LLM-generated code.
• Abstract（参考訳）: 大規模言語モデル(LLM)がコード生成能力を持つようになったため、ソフトウェア開発において生成されたコードを採用するには、その機能的正確性だけでなく、保守性に関する品質も評価する必要がある。 このような品質を生成前に見積もることができれば、開発者は低品質のコードの生成、レビュー、破棄のコストを回避できる。 以前の研究では、LCM生成コードの機能的正しさを事前に予測できることが示されているが、保守性に関する品質が同様に予測可能であるかどうかは不明である。 生成前のLCMの内部表現から生成されたコードのコードSmell Score(CSS)とRetainability Index(MI)を予測するPreMaQ(Pre-Generation Maintainability-Related Quality Prediction)を導入する。 評価では4つのオープンウェイトLLMと4つのPythonコード生成ベンチマークをカバーし、合計2,695のタスクからなる。 以上の結果から,CSSとMIの相関関係は,それぞれ0.57と0.65の平均スピアマンランク相関が得られた。 モデル選択に使用する場合、PreMaQは、複数のモデルが機能的に正しいコードを生成するタスクにおいて、ランダム選択よりも理想的な保守性ベースのセレクタによって達成可能な保守性関連の品質改善の59.5%を達成する。 PreMaQからの予測と迅速な埋め込みの組み合わせにより、この割合は60.7%に増加し、2つの信号が相補的であることを示す。 これらの結果から, PreMaQ は LLM 生成コードの保守性関連品質を予測・改善するのに有効であることが示唆された。

関連論文リスト

• How Robustly do LLMs Understand Execution Semantics? [3.2717315277334706]
  LLMは驚くべき推論能力を示しているが、それらが内的世界モデルを利用するのか、高度なパターンマッチングに依存しているのかは未解決のままである。 我々は,標準的なプログラム出力予測タスクを用いて,LLMをそのコード理解の堅牢性のレンズを通して研究する。 私たちの発見は、すべてのモデルがコードを理解する方法の限界を示し、コードモデルを評価するために摂動を使うことの価値を確立します。
  論文  参考訳（メタデータ） (2026-02-24T19:07:25Z)
• Co-Evolving LLM Coder and Unit Tester via Reinforcement Learning [48.66688117533318]
  本稿では,専用の報酬設計を備えた新しい強化学習フレームワークCUREを提案する。 CUREは、その相互作用の結果に基づいて、コーディングと単体テスト生成機能を共進化させる。 我々のモデルは,ベースモデルに基づく強化学習に有効な報奨モデルとして機能することを発見した。
  論文  参考訳（メタデータ） (2025-06-03T17:58:42Z)
• A Preliminary Study on the Robustness of Code Generation by Large Language Models [40.01096420024215]
  CoderEvalベンチマークを用いて,LLM生成したコードロバスト性に関する実証的研究を行った。 出力の35.2%は、人間が書いたコードよりも堅牢ではなく、条件チェックの欠如による90%以上の欠陥があることがわかった。 このような問題に対処するため,モデルに依存しないフレームワークであるRobGenを提案する。
  論文  参考訳（メタデータ） (2025-03-26T03:44:03Z)
• Learning to Solve and Verify: A Self-Play Framework for Code and Test Generation [69.62857948698436]
  大規模言語モデル(LLM)の最近の進歩は、コーディングベンチマークのパフォーマンスを改善している。 しかし、手軽に利用できる高品質なデータの枯渇により、改善は停滞している。 本稿では,単一モデルのコードとテスト生成能力を共同で改善するセルフプレイ・ソルバ検証フレームワークであるSol-Verを提案する。
  論文  参考訳（メタデータ） (2025-02-20T18:32:19Z)
• Self-Evaluation Improves Selective Generation in Large Language Models [54.003992911447696]
  オープンエンド生成タスクをトークンレベルの予測タスクに再構成する。 我々はLSMに答えを自己評価するように指示する。 自己評価に基づくスコアリング手法をベンチマークする。
  論文  参考訳（メタデータ） (2023-12-14T19:09:22Z)
• Quality-Aware Translation Models: Efficient Generation and Quality Estimation in a Single Model [77.19693792957614]
  そこで我々は,ニューラルネットワーク翻訳(NMT)モデルを用いて,その品質を学習し,その品質を推定する手法を提案する。 我々は、単一パスの復号化の効率性よりも、品質向上や品質改善のアプローチよりも優れた品質向上を得る。
  論文  参考訳（メタデータ） (2023-10-10T15:33:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。