論文の概要: The Readability Spectrum: Patterns, Issues, and Prompt Effects in LLM-Generated Code
- arxiv url: http://arxiv.org/abs/2605.13280v1
- Date: Wed, 13 May 2026 09:58:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-14 23:30:27.963889
- Title: The Readability Spectrum: Patterns, Issues, and Prompt Effects in LLM-Generated Code
- Title(参考訳): 可読性スペクトル:LLM生成コードにおけるパターン,問題,およびプロンプト効果
- Authors: Hengzhi Ye, Fengyuan Ran, Weiwei Xu, Minghui Zhou,
- Abstract要約: 主要言語モデル (LLM) が生成するコードの可読性は, 5,869 のシナリオで評価した。
現在のLLMは、人間が書いたコードに匹敵する全体的な可読性を持つコードを生成するが、異なる可読性の問題パターンを表示する。
この結果から,LLM生成コードは可読性において人書きコードと少なくとも同等であり,ソフトウェアへの体系的統合の可能性が確認された。
一方、異なる可読性の問題パターンとプロンプトエンジニアリングの有効性の制限は、遅れた技術的負債を明らかにします。
- 参考スコア(独自算出の注目度): 17.217657853406404
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As Large Language Models (LLMs) are transforming software development, the functional quality of generated code has become a central focus, leaving readability, one of critical non-functional attributes, understudied. Given that LLM-generated code still needs human review before adoption, it is important to understand its readability especially compared with human-written code and the role of prompt design in shaping it. We therefore set out to conduct a systematic investigation into the code readability of LLM-generated code. To systematically quantify code readability, We establish a comprehensive readability model that synthesizes textual, structural, program, and visual features of code. Based on the model, we evaluate the readability of code generated by the mainstream LLMs under 5,869 scenarios extracted from large code base including World of Code (WoC) and LeetCode. We find that current LLMs produce code with overall readability comparable to human-written code, but displaying distinct readability issue patterns. We further examine how different prompt dimensions affect the readability of LLM-generated code, and find that function signatures, constraints and style descriptions emerge as the most influential factors, while the overall impact of prompt design remains limited. Our findings indicate that, on one hand, LLM-generated code is at least comparable to human-written code in readability, validating its potential for systematic integration into software workflows from a non-functional perspective; on the other hand, distinct readability issue patterns and limited effectiveness of prompt engineering reveal a latent technical debt, highlighting the need for future research to improve the readability of LLM-generated code and thus ensure long-term maintainability.
- Abstract(参考訳): 大規模言語モデル(LLM)がソフトウェア開発を変革するにつれ、生成したコードの機能的品質が中心となって、重要な非機能的属性の1つである可読性を残している。
LLMの生成したコードは、まだ採用前に人間のレビューを必要とするため、その可読性を理解することは、特に人書きのコードと、それを形作る上での迅速な設計の役割を理解することが重要である。
そこで我々は,LLM生成コードの可読性について,系統的な調査を行った。
コードの可読性を体系的に定量化するために,コードのテキスト,構造,プログラム,視覚的特徴を合成する包括的可読性モデルを構築した。
このモデルに基づいて,World of Code(WoC)やLeetCodeを含む大規模コードベースから抽出した5,869のシナリオに基づいて,LLMが生成するコードの可読性を評価する。
現在のLLMは、人間が書いたコードに匹敵する全体的な可読性を持つコードを生成するが、異なる可読性の問題パターンを表示する。
さらに、異なるプロンプト次元がLLM生成コードの可読性にどのように影響するかを検証し、関数シグネチャ、制約、スタイル記述が最も影響のある要素として現れるのに対して、プロンプト設計の全体的な影響は限定的であることを確認する。
LLMの生成したコードは、少なくとも可読性において人間の書いたコードと同等であり、非機能的な観点からソフトウェアワークフローへの体系的な統合の可能性を検証する。一方、異なる可読性の問題パターンとプロンプトエンジニアリングの有効性の制限は、遅れた技術的負債を明らかにし、LCM生成したコードの可読性を改善するための将来の研究の必要性を強調し、長期的な保守性を保証する。
関連論文リスト
- CodeSimpleQA: Scaling Factuality in Code Large Language Models [55.705748501461294]
本稿では,コード関連質問への回答において,LLMの実際の精度を評価するための総合的なベンチマークであるCodeSimpleQAを提案する。
また,66万サンプルの大規模インストラクションコーパスであるCodeSimpleQA-Instructを作成し,教師付き微調整と強化学習を組み合わせたポストトレーニングフレームワークを開発した。
論文 参考訳(メタデータ) (2025-12-22T14:27:17Z) - CodeIF: Benchmarking the Instruction-Following Capabilities of Large Language Models for Code Generation [20.013757490442064]
タスク指向の命令に準拠する大規模言語モデル(LLM)の能力を評価するために設計された最初のベンチマークであるCodeIFを紹介する。
CodeIFは関数合成、アルゴリズム命令、コード説明など幅広いタスクを含んでいる。
我々はLLMによる広範囲な実験を行い、これらの課題の要求を満たす上での強みと限界を分析した。
論文 参考訳(メタデータ) (2025-02-26T14:19:49Z) - Code Readability in the Age of Large Language Models: An Industrial Case Study from Atlassian [6.2250765474961405]
我々は,大規模言語モデル(LLM)の時代におけるコードの可読性に関する視点を探るため,調査を実施している。
我々は,LLMベースのソフトウェア開発エージェントフレームワークであるHULAの可読性について,実世界のシナリオで生成したコードと人書きコードを比較して検討する。
論文 参考訳(メタデータ) (2025-01-20T04:11:21Z) - What's Wrong with Your Code Generated by Large Language Models? An Extensive Study [92.62952504133926]
本研究は,3つの一般的なベンチマーク上で,3つの主要なクローズドソースLLMと6つの人気のあるオープンソースLLMの性能評価を行った。
間違ったコードに対するバグの分類を開発し、一般的なバグタイプに対する根本原因を分析した。
本稿では,自己批判を導入し,LLMが生成したコードに対する批判と修正を可能にする,新たな学習自由反復手法を提案する。
論文 参考訳(メタデータ) (2024-07-08T17:27:17Z) - Code Prompting Elicits Conditional Reasoning Abilities in Text+Code LLMs [65.2379940117181]
自然言語の問題をコードに変換する一連のプロンプトであるコードプロンプトを導入します。
コードプロンプトは複数のLLMに対して高速に向上することがわかった。
GPT 3.5を解析した結果,入力問題のコードフォーマッティングが性能向上に不可欠であることが判明した。
論文 参考訳(メタデータ) (2024-01-18T15:32:24Z) - If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code
Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される
コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
論文 参考訳(メタデータ) (2024-01-01T16:51:20Z) - Benchmarking and Explaining Large Language Model-based Code Generation:
A Causality-Centric Approach [12.214585409361126]
大規模言語モデル(LLM)ベースのコード生成は複雑で強力なブラックボックスモデルである。
本稿では,プロンプトと生成されたコードの因果グラフに基づく新しい表現を提案する。
我々は,12以上の迅速な調整戦略で3つの人気のあるLCMを研究することで,我々のフレームワークが提供できる洞察について説明する。
論文 参考訳(メタデータ) (2023-10-10T14:56:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。