論文の概要: Beyond Functional Correctness: Static Code Quality Profiling of LLM-Generated Code

• arxiv url: http://arxiv.org/abs/2610.19167v1
• Date: Tue, 13 Oct 2026 20:31:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.802956
• Title: Beyond Functional Correctness: Static Code Quality Profiling of LLM-Generated Code
• Title（参考訳）: 機能的正確性を超えて: LLM生成コードの静的コード品質プロファイリング
• Abstract要約: 本稿では,Python で生成された大規模言語モデル (LLM) の大規模静的品質プロファイリングについて述べる。 我々は、Pylint、Radon、SonarQubeなど、確立した静的解析ツールを用いて生成されたコードを評価する。 この結果から, 正確性だけでは捉えられないモデル間での系統的差異がみられ, 持続可能性も最も明らかな変化源として現れることがわかった。
• 参考スコア（独自算出の注目度）: 4.599974099049612
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Large language models (LLMs) are increasingly used for code generation, yet most evaluations still focus on whether generated code passes benchmark test suites. Functional correctness alone, however, provides only a limited view of quality: benchmark tests are often incomplete, and passing them does not guarantee that code is maintainable, reliable, or well-structured. This paper {presents a large-scale static quality profiling of} LLM-generated Python code, with a focus on maintainability and reliability. Using 65{,}663 programs from 73 models in LiveCodeBench, we evaluate generated code with established static analysis tools, including Pylint, Radon, and SonarQube. Our results show systematic differences across models that are not captured by correctness alone, with maintainability emerging as the clearest source of variation. We further find that correctness often comes with structural trade-offs rather than uniformly simpler solutions. Overall, our findings motivate evaluation frameworks that assess LLM-generated code beyond pass rates alone.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、コード生成にますます使われているが、ほとんどの評価では、生成されたコードがベンチマークテストスイートをパスするかどうかに焦点が当てられている。 ベンチマークテストはしばしば不完全であり、それらを渡すことは、コードが保守可能で、信頼性があり、構造がよくないことを保証するものではない。 本稿では,保守性と信頼性を重視した LLM 生成 Python コードの大規模静的品質プロファイリングについて述べる。 65{,}663プログラムをLiveCodeBenchの73モデルから使用し,Pylint, Radon, SonarQubeなどの静的解析ツールを用いて生成したコードを評価した。 この結果から, 正確性だけでは捉えられないモデル間での系統的差異がみられ, 持続可能性も最も明らかな変化源として現れることがわかった。 さらに、均一に単純なソリューションではなく、構造的なトレードオフによって正しさが生まれることもわかりました。 総じて, LLM生成コードの評価を行う評価フレームワークは, パスレートのみに留まらない。

関連論文リスト

• Benchmarking the Titans: A Multi-Dimensional Empirical Evaluation of LLM Code Generation Quality in the .NET Ecosystem [41.99844472131922]
  既存のベンチマークは、機能的正しさと構造的品質の間の重要なトレードオフを曖昧にする1つのPass@kメトリックに評価を還元する。 本稿では,C#コード生成のための多次元自動評価フレームワークを提案し,それを4つの最先端大規模言語モデル(LLM)に適用する。 我々はHumanEvalから派生した85のアルゴリズムタスクに対して制御された実験を行い、合計340の解を生成し評価し、各解は3つの独立した次元で評価する。
  論文  参考訳（メタデータ） (2026-08-23T17:59:19Z)
• CodeGrad: Integrating Multi-Step Verification with Gradient-Based LLM Refinement [12.792149709662874]
  CodeGradは厳密な検証技術を反復生成ループに直接組み込む、原則化されたフレームワークを導入している。 コードを微分可能な変数として扱い、構造化されたフィードバックと数学的制約をテキストの擬似階調に変換する。 我々は,HumanEval,HumanEval+,LiveCodeBenchベンチマーク上でCodeGradを評価する。
  論文  参考訳（メタデータ） (2025-08-12T22:03:54Z)
• D-LiFT: Improving LLM-based Decompiler Backend via Code Quality-driven Fine-tuning [49.16469288280772]
  逆コンパイラは、バイナリから可読なソースコードを再構築する。 近年の進歩にもかかわらず、そのアウトプットは構文上の誤りや意味的な誤りに悩まされ、読みにくいままである。 大規模言語モデル (LLMs) の出現により、研究者は逆コンパイラ出力を洗練するためのLLMの可能性を探り始めた。 D-LIFTは、微調整強化学習を施した拡張逆コンパイラLLMパイプラインである。
  論文  参考訳（メタデータ） (2025-06-11T19:09:08Z)
• VERINA: Benchmarking Verifiable Code Generation [46.582574591358735]
  大規模言語モデル(LLM)は、ソフトウェア開発にますます統合されている。 LLM生成コードの正確性を保証することは依然として困難である。 検証可能なコード生成は、この制限に対処するための有望なパスを提供する。
  論文  参考訳（メタデータ） (2025-05-29T06:12:52Z)
• Training Language Models to Generate Quality Code with Program Analysis Feedback [66.0854002147103]
  大規模言語モデル(LLM)によるコード生成は、ますます本番環境で採用されているが、コード品質の保証には失敗している。 実運用品質のコードを生成するためにLLMにインセンティブを与える強化学習フレームワークであるREALを提案する。
  論文  参考訳（メタデータ） (2025-05-28T17:57:47Z)
• Learning to Solve and Verify: A Self-Play Framework for Code and Test Generation [69.62857948698436]
  大規模言語モデル(LLM)の最近の進歩は、コーディングベンチマークのパフォーマンスを改善している。 しかし、手軽に利用できる高品質なデータの枯渇により、改善は停滞している。 本稿では,単一モデルのコードとテスト生成能力を共同で改善するセルフプレイ・ソルバ検証フレームワークであるSol-Verを提案する。
  論文  参考訳（メタデータ） (2025-02-20T18:32:19Z)
• ConAIR:Consistency-Augmented Iterative Interaction Framework to Enhance the Reliability of Code Generation [17.68163468068264]
  コード生成, ConAIR の信頼性を高めるために, 一貫性を付加した反復的相互作用フレームワークを提案する。 人間の努力を最小限に抑えることで、パフォーマンスを大幅に向上できることを示す。
  論文  参考訳（メタデータ） (2024-11-23T15:26:24Z)
• Self-Evaluation Improves Selective Generation in Large Language Models [54.003992911447696]
  オープンエンド生成タスクをトークンレベルの予測タスクに再構成する。 我々はLSMに答えを自己評価するように指示する。 自己評価に基づくスコアリング手法をベンチマークする。
  論文  参考訳（メタデータ） (2023-12-14T19:09:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。