論文の概要: On the Impact of Requirement Smells in LLM-Based Code Generation
- arxiv url: http://arxiv.org/abs/2609.29208v1
- Date: Thu, 24 Sep 2026 08:17:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 21:10:09.789185
- Title: On the Impact of Requirement Smells in LLM-Based Code Generation
- Title（参考訳）: LLMに基づくコード生成における要求スメルの影響について
- Abstract要約: この研究は、データセットと要求匂い分類を再利用することで、自動トレーサビリティに関する以前の研究に基づいている。
要件とそれに対応する4つのアプリケーションに対するシステムテストからなるベンチマークを用いて、セマンティック、構文、語彙の臭いを明確な要件に導入した。
以上の結果から, テキスタイル密度の増加は, テストスーツによる機能的正当性の低下と相関する可能性が示唆された。
- 参考スコア（独自算出の注目度）: 35.59604611427452
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Software requirements are typically incorporated into prompts used in LLM-assisted software development. Recent work has shown that requirement smells can affect automated traceability between requirements and code, but empirical evidence on their effects in code generation remains limited. To address this gap, we build upon a prior study on automated traceability by reusing its dataset and requirement smell taxonomy, while extending it to evaluate the functional correctness of LLM-generated code. Using a benchmark consisting of requirements and corresponding system tests for four applications, we progressively introduced semantic, syntactic, and lexical smells into otherwise clear requirements and analyzed their influence on generated implementations. Our results suggest that increasing \textit{smell density} was generally associated with lower test-suite-based functional correctness, although non-smelly requirements could still produce faulty code. We also found that different smell categories had similar effects. These findings provide additional empirical evidence of the importance of requirement quality in LLM-assisted code generation, while showing that high-quality requirements alone do not guarantee correctness, as these depends on several factors, including the LLM. Compared with previous work, our results suggest that the impact of requirement smells depends on the software engineering task: whereas their effects on traceability were modest, code generation appears more sensitive. Overall, this work motivates further investigation into task-dependent quality effects in LLM-assisted software engineering.
- Abstract（参考訳）: ソフトウェア要件は通常、LLM支援ソフトウェア開発で使用されるプロンプトに組み込まれる。
最近の研究は、要求の臭いが要求とコード間の自動トレーサビリティに影響を及ぼすことを示したが、コード生成におけるそれらの影響に関する実証的な証拠は限られている。
このギャップに対処するために、我々は、LLM生成コードの機能的正しさを評価するために、データセットと要求匂い分類を再利用し、自動トレーサビリティに関する先行研究を構築した。
4つのアプリケーションに対する要件とそれに対応するシステムテストからなるベンチマークを用いて、セマンティック、構文、語彙の臭いを明確な要求に段階的に導入し、それらが生成した実装に与える影響を分析した。
以上の結果から, テストスーツによる機能的正当性は低いが, 非スメリー要件は相変わらず不良コードを生成する可能性が示唆された。
また、異なる匂いのカテゴリーに類似した効果が認められた。
これらの結果から,LCM支援コード生成における要件品質の重要性の実証的証拠が得られたが,LCMを含むいくつかの要因に依存するため,高品質な要件だけでは正確性は保証されていないことが示唆された。
従来の研究と比較すると,要件の匂いの影響はソフトウェア工学のタスクに依存することが示唆されている。
全体として、この研究は、LCM支援ソフトウェア工学におけるタスク依存の品質効果のさらなる研究を動機付けている。
関連論文リスト
- ClarifyCodeBench: Evaluating LLMs on Clarifying Ambiguous Requirements for Code Generation [54.788849448970154]
我々はClarifyCodeBenchを紹介した。ClarifyCodeBenchは、要求のあいまいさを解決するためのLarge Language Modelsの機能を評価するための、インタラクティブなベンチマークだ。
ClarifyCodeBenchを用いて、6つの最先端LCMの体系的評価を行う。
1) 能力の疎結合: 強いコード生成性能は本質的には効果的な要求の明確化に変換されない; 2) 推論パラドックス: 計算思考の増大はコードの正確性を高めるが、あいまいさの識別において限界的な利益をもたらす。
論文 参考訳（メタデータ） (2026-07-01T09:58:59Z) - Assessing the Impact of Requirement Ambiguity on LLM-based Function-Level Code Generation [14.755517753769837]
Orchidは、曖昧な要求で特別に設計された最初のコード生成ベンチマークです。
これは、語彙、構文、意味、曖昧さの4つの異なる種類の曖昧さをカバーする1,304の関数レベルタスクからなる。
この結果から,高度モデルにおいて最も顕著な負の効果が観察され,不明瞭さは全ての評価LCMの性能を常に低下させることが示された。
論文 参考訳（メタデータ） (2026-04-23T10:07:33Z) - Beyond Strict Rules: Assessing the Effectiveness of Large Language Models for Code Smell Detection [0.5249836059995157]
コードの臭いは、ソフトウェアの保守性に影響を与える可能性のあるコード品質の問題の兆候である。
本稿では,30のJavaプロジェクトにおいて,9つのコードの臭いを検出するための4つの大規模言語モデル(LLM)の有効性を評価する。
論文 参考訳（メタデータ） (2026-01-14T21:08:35Z) - A Causal Perspective on Measuring, Explaining and Mitigating Smells in LLM-Generated Code [49.09545217453401]
Propensity Smelly Score (PSC) は、特定の臭いの種類を生成する確率を推定する計量である。
我々は、生成戦略、モデルサイズ、モデルアーキテクチャ、および生成したコードの構造特性をいかに形成するかを識別する。
PSCは、開発者がモデルの振る舞いを解釈し、コード品質を評価するのに役立つ。
論文 参考訳（メタデータ） (2025-11-19T19:18:28Z) - How Effective are Generative Large Language Models in Performing Requirements Classification? [4.429729688079712]
本研究では,2次および複数クラスの要件分類を行う3つの生成的大規模言語モデル(LLM)の有効性について検討した。
我々の研究は、素早い設計やLLMアーキテクチャといった要因は普遍的に重要であるが、データセットのバリエーションなどの要因は、分類作業の複雑さに応じて、より状況に影響を及ぼすと結論付けている。
論文 参考訳（メタデータ） (2025-04-23T14:41:11Z) - On the Impact of Requirements Smells in Prompts: The Case of Automated Traceability [45.24937784556523]
我々は,大言語モデル(LLM)のプロンプトに使用される曖昧さや不整合といった潜在的な問題に対する,要求の匂い指標の役割について検討する。
要求の臭いは、あるコードに要求が実装されたかどうか(トレースリンクが存在する)を予測する際には小さいが重大な効果があったが、関連するコード行で要求をトレースする場合には大きな影響は見られなかった。
これらの結果から,要求臭は特定のSEタスクのLLM性能に影響を及ぼすが,全てのタスクに均一に影響を与えない可能性が示唆された。
論文 参考訳（メタデータ） (2025-01-08T19:54:31Z) - DARG: Dynamic Evaluation of Large Language Models via Adaptive Reasoning Graph [70.79413606968814]
本稿では,適応推論グラフ展開(DARG)によるLCMの動的評価を導入し,複雑性と多様性を制御した現在のベンチマークを動的に拡張する。
具体的には、まず現在のベンチマークでデータポイントの推論グラフを抽出し、それから推論グラフを摂動させて新しいテストデータを生成する。
このような新しく生成されたテストサンプルは、元のベンチマークと同様の言語的多様性を維持しながら、複雑さのレベルが異なる可能性がある。
論文 参考訳（メタデータ） (2024-06-25T04:27:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。