論文の概要: Unreliable in Practice? A Comprehensive Study of Errors in LLM-Generated Code
- arxiv url: http://arxiv.org/abs/2608.00661v1
- Date: Sat, 01 Aug 2026 13:31:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:24.850958
- Title: Unreliable in Practice? A Comprehensive Study of Errors in LLM-Generated Code
- Title（参考訳）: LLM生成符号における誤りの総合的研究
- Abstract要約: 大規模言語モデル(LLM)はコーディングに広く使われており、AIが生産コードのシェアを拡大していることが報告されている。
コンパイルや実行時のエラーを含む86,726のコードサンプルのコーパスを分析した。
結果は、エラータイプは言語やモデルによって大きく異なるが、最大のモデルでさえしばしば単純な誤りを犯すことを示している。
- 参考スコア（独自算出の注目度）: 0.8921166277011344
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) are being widely used for coding, with reports indicating that AI now generates an increasing share of production code. Studies show that LLMs can significantly improve developer productivity, yet they still struggle with more complex coding tasks. Just as understanding error modes in human-written code has been central to improving software quality, identifying and characterizing the errors in LLM-generated code is critical for setting realistic expectations and designing mitigation strategies. Prior research has been limited in scope, often focusing on a single language, a small number of problems, or a limited selection of models. As a result, there is still no comprehensive understanding of which errors are common and which are specific to certain models or languages. To address these gaps and develop a deeper understanding of the quality of LLM-generated code, we analyzed a corpus of 86,726 code samples that contained compilation or runtime errors. These samples were generated by seven LLMs across four compiled languages. We classified errors by their underlying causes using an LLM, manually validated these classifications, and performed a comparative analysis. This labeled data is then used to measure error prevalence by model, language, and problem difficulty, to identify common error patterns. Results show that, although error types vary strongly across languages and models, even the largest models frequently make simple mistakes. We also observe that generated code often omits basic input validation or memory-safety checks, which can lead to overflows, resource exhaustion, or other reliability/security issues.
- Abstract（参考訳）: 大規模言語モデル(LLM)はコーディングに広く使われており、AIが生産コードのシェアを拡大していることが報告されている。
研究によると、LLMは開発者の生産性を大幅に向上させることができるが、それでもより複雑なコーディングタスクに苦戦している。
人間によるコードにおけるエラーモードの理解が、ソフトウェアの品質向上の中心にあるように、LCM生成コードのエラーを特定し、特徴付けることは、現実的な期待の設定と緩和戦略の設計に不可欠である。
以前の研究はスコープに限られており、しばしば単一の言語、少数の問題、限られたモデルの選択に焦点が当てられている。
結果として、どのエラーが一般的で、特定のモデルや言語に特有であるかについての包括的な理解はいまだにない。
これらのギャップに対処し、LLM生成コードの品質をより深く理解するために、コンパイルや実行時のエラーを含む86,726個のコードサンプルのコーパスを分析した。
これらのサンプルは4つのコンパイル言語にまたがる7つのLLMによって生成された。
筆者らは, LLMを用いて原因を分類し, これらの分類を手作業で検証し, 比較分析を行った。
このラベル付きデータは、モデル、言語、問題困難によってエラーの頻度を測定するために使われ、一般的なエラーパターンを識別する。
結果は、エラータイプは言語やモデルによって大きく異なるが、最大のモデルでさえしばしば単純な誤りを犯すことを示している。
また、生成されたコードは、基本的な入力検証やメモリセーフティチェックを省略することが多く、オーバーフローやリソースの枯渇、その他の信頼性/セキュリティ上の問題を引き起こします。
関連論文リスト
- PROBE: Benchmarking Code Generation in Large Language Models [0.8921166277011344]
大きな言語モデル(LLM)は、日々のソフトウェアエンジニアリングタスクでますます使われています。
LLMは完璧とは程遠いので,その強みや限界を理解する上では,評価が不可欠です。
PROBEは、多様で明確に定義されたメトリクスの上に構築された体系的な構造を確立するベンチマークフレームワークである。
論文 参考訳（メタデータ） (2026-07-15T13:28:18Z) - CodeSimpleQA: Scaling Factuality in Code Large Language Models [55.705748501461294]
本稿では,コード関連質問への回答において,LLMの実際の精度を評価するための総合的なベンチマークであるCodeSimpleQAを提案する。
また,66万サンプルの大規模インストラクションコーパスであるCodeSimpleQA-Instructを作成し,教師付き微調整と強化学習を組み合わせたポストトレーニングフレームワークを開発した。
論文 参考訳（メタデータ） (2025-12-22T14:27:17Z) - RepoDebug: Repository-Level Multi-Task and Multi-Language Debugging Evaluation of Large Language Models [49.83481415540291]
LLM(Large Language Models)は、コードのデバッグに非常に熟練している。
本稿ではマルチタスクおよび多言語リポジトリレベルのコードデバッグデータセットであるRepo Debugを紹介する。
最高のパフォーマンスモデルである Claude 3.5 Sonnect は,リポジトリレベルのデバッグでは依然としてうまく動作しない。
論文 参考訳（メタデータ） (2025-09-04T10:13:21Z) - IFEvalCode: Controlled Code Generation [69.28317223249358]
本稿では,Code LLMの命令追従能力を改善するために,前方および後方制約生成を提案する。
IFEvalCodeは、7つのプログラミング言語の1.6Kテストサンプルからなる多言語ベンチマークである。
論文 参考訳（メタデータ） (2025-07-30T08:08:48Z) - Type-Constrained Code Generation with Language Models [51.03439021895432]
本稿では,型システムを利用してコード生成を誘導する型制約デコード手法を提案する。
そこで本研究では,新しい接頭辞オートマトンと,在来型を探索する手法を開発し,LLM生成コードに適切な型付けを強制するための健全なアプローチを構築した。
提案手法は,コード合成,翻訳,修復作業において,コンパイルエラーを半分以上削減し,機能的正しさを著しく向上させる。
論文 参考訳（メタデータ） (2025-04-12T15:03:00Z) - A Deep Dive Into Large Language Model Code Generation Mistakes: What and Why? [9.246899995643918]
大規模な言語モデルは、仕様から逸脱する欠陥コードを生成することができる。
広範囲な手動分析により, ノンシンタクティックな誤りの7つのカテゴリーが同定された。
評価の結果,LPMの誤りの原因を特定すると,ReActプロンプト技術を用いたGPT-4が最大0.65のF1スコアを達成できることがわかった。
論文 参考訳（メタデータ） (2024-11-03T02:47:03Z) - Insights from Benchmarking Frontier Language Models on Web App Code Generation [1.7268889851975326]
本稿では,WebApp1Kベンチマークによる16のフロンティア大言語モデル(LLM)の評価から得られた知見について述べる。
結果は、全てのモデルが類似した知識を持っているが、それらの性能は、それらが犯した誤りの頻度によって区別されることを示している。
論文 参考訳（メタデータ） (2024-09-08T18:24:26Z) - What's Wrong with Your Code Generated by Large Language Models? An Extensive Study [92.62952504133926]
本研究は,3つの一般的なベンチマーク上で,3つの主要なクローズドソースLLMと6つの人気のあるオープンソースLLMの性能評価を行った。
間違ったコードに対するバグの分類を開発し、一般的なバグタイプに対する根本原因を分析した。
本稿では,自己批判を導入し,LLMが生成したコードに対する批判と修正を可能にする,新たな学習自由反復手法を提案する。
論文 参考訳（メタデータ） (2024-07-08T17:27:17Z) - Towards Understanding the Characteristics of Code Generation Errors Made by Large Language Models [10.519984835232359]
大規模言語モデル(LLM)はコード生成において前例のない機能を示している。
我々は,HumanEvalデータセット上の6つの代表的なLCMに対して,コード生成エラーの詳細な解析を行った。
LLMによるコード生成エラーの発見と修正には,いくつかの課題が浮かび上がっている。
論文 参考訳（メタデータ） (2024-06-13T01:29:52Z) - Exploring Data-Efficient Adaptation of Large Language Models for Code Generation [64.5583894165813]
コード生成のための誤り駆動学習を用いたデータ効率向上のための新しい適応手法DEEDを提案する。
実験により、他の主流の微調整手法と比較して、DEEDは訓練データが少なく、優れた性能を発揮することが示された。
論文 参考訳（メタデータ） (2024-02-29T16:09:02Z) - Do Large Language Models Pay Similar Attention Like Human Programmers When Generating Code? [10.249771123421432]
我々は,Large Language Models (LLMs) が,コード生成中に人間のプログラマと同じタスク記述に係わるかどうかを検討する。
手動で211の間違ったコードスニペットを分析し、多くのコード生成エラーを説明するのに使える5つの注意パターンを見つけました。
この結果から,人間によるLLMの理解性向上とプログラマの信頼度向上の必要性が浮き彫りになった。
論文 参考訳（メタデータ） (2023-06-02T00:57:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。