論文の概要: Does ISO-Grounded NFR Specification Improve LLM Code Generation? A Comparison of Rich and Structured Interventions against a Natural-Language Baseline
- arxiv url: http://arxiv.org/abs/2608.13742v1
- Date: Thu, 13 Aug 2026 19:58:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-17 20:14:29.205594
- Title: Does ISO-Grounded NFR Specification Improve LLM Code Generation? A Comparison of Rich and Structured Interventions against a Natural-Language Baseline
- Title（参考訳）: ISO-Grounded NFR 仕様は LLM コード生成を改善するか? : リッチおよび構造化インターベンションと自然言語ベースラインの比較
- Abstract要約: 非Functional Requirements (NFRs) はリッチな自然散文(NL-rich)か構造化された接地(Structured)なのかを問う。
固定されたモデルスナップショットの下で,4つのNFR(性能,エラーハンドリング,コードの臭い,可読性)を条件毎に10の即時変動で評価した。
エラー処理では、拡張テストのパスレートが減少し、防御的なコーディングパターンと正確な出力ベンチマークの間の緊張が示唆される。
- 参考スコア（独自算出の注目度）: 0.4640835690336653
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In LLM-based code generation, Non-Functional Requirements (NFRs) are often specified as terse one-line phrases. We ask whether grounding those specifications in ISO/IEC 25010 Quality Model, either as rich natural-language prose (NL-rich) or as structured JSON (Structured), improves code generated on HumanEval/HumanEval-ET compared to a RobuNFR-style one-line baseline (NL-simple). We evaluate four NFRs (performance, error handling, code smell, readability) with ten prompt variations per condition under a fixed model snapshot and paired non-parametric analysis. Primary finding: ISO-grounded enrichment improves static quality proxies (unreadability density falls across all four NFRs (e.g., Performance 0.88 -> 0.69 for NL-rich)) and reduces sensitivity to prompt wording, but does not reliably improve functional correctness; for error handling, extended-test pass rate decreases, suggesting tension between defensive coding patterns and exact-output benchmarks. Secondary finding: when ISO content is held constant, NL-rich and Structured differ negligibly in correctness (|delta| <= 0.023), indicating that semantic content matters more than JSON-vs-prose format. Practitioners should invest in standard-grounded NFR content rather than serialization form. A fully traceable replication package is provided.
- Abstract（参考訳）: LLMベースのコード生成では、Non-Functional Requirements (NFR) は短い1行のフレーズとしてしばしば指定される。
これらの仕様をISO/IEC 25010品質モデル(リッチ自然言語散文(NL-rich)か構造化JSON(Structured)として、RobuNFRスタイルの1行ベースライン(NL-simple)と比較して、HumanEval-ETで生成されたコードを改善するのかを問う。
固定モデルスナップショットとペア非パラメトリック分析により,NFRの4つの特性(性能,エラーハンドリング,コードの臭い,可読性)を,条件毎に10種類の即時変動で評価した。
一次発見: ISO-grounded Enrichment は静的な品質プロキシを改善する(例えば、パフォーマンス 0.88 -> 0.69 for NL-rich)。
二次発見:ISOコンテンツが一定に保持されている場合、NL-richとStructuredは無視的に正確さ(|delta| <= 0.023)が異なり、セマンティックコンテンツがJSON-vs-proseフォーマットよりも重要であることを示す。
実践者はシリアライズ形式ではなく、標準化されたNFRコンテンツに投資すべきである。
完全にトレース可能な複製パッケージが提供される。
関連論文リスト
- Weave of Formal Thought [51.56484100374058]
WoFT(Weave of Formal Thought)は、厳密な構文的検証と学習された構造的表現を結合したパラダイムである。
本稿では,非終端文法記号を直接生成にインターリーブするために,言語モデルを訓練する潜時可変微調整法を提案する。
Pythonでは、RWS目的のStarCoder2-3Bを微調整することで、テキストのみのSFTベースラインと比較して、トーケン毎のクロスエントロピーが14.3%削減される。
論文 参考訳（メタデータ） (2026-06-24T15:58:11Z) - BTZSC: A Benchmark for Zero-Shot Text Classification Across Cross-Encoders, Embedding Models, Rerankers and LLMs [0.0]
ゼロショットテキスト分類(ZSC)は、コストのかかるタスク固有のアノテーションを排除することを約束する。
テキスト埋め込みモデル、リランカ、命令調整型大規模言語モデル(LLM)の最近の進歩は、NLIベースのアーキテクチャの優位性に挑戦している。
我々は、感情、トピック、意図、感情の分類にまたがる22の公開データセットの総合ベンチマークであるBTZSCを紹介する。
論文 参考訳（メタデータ） (2026-03-12T14:43:20Z) - RL-Struct: A Lightweight Reinforcement Learning Framework for Reliable Structured Output in LLMs [0.08594140167290097]
大規模言語モデル(LLM)は、自然言語の生成と推論において顕著な能力を示した。
自動化されたソフトウェアエコシステムへの統合は、しばしば"構造ギャップ"によって妨げられます。
このギャップを埋めるための軽量で効率的な強化学習フレームワークを提案する。
論文 参考訳（メタデータ） (2025-11-29T04:47:14Z) - Automated Repair of Ambiguous Problem Descriptions for LLM-Based Code Generation [9.943472604121425]
自然言語(NL)の曖昧さは、ソフトウェアの品質を損なう可能性がある。
あいまいなNL記述の自動修復を導入する。
このアプローチをSpecFixというツールで実装しています。
論文 参考訳（メタデータ） (2025-05-12T06:47:53Z) - RobuNFR: Evaluating the Robustness of Large Language Models on Non-Functional Requirements Aware Code Generation [52.87427601131587]
NFR対応コード生成におけるLLMのロバスト性を評価するため,RobuNFRを提案する。
実験の結果,コード生成におけるNFRを考慮した場合,RobuNFRは試験LLMの問題を明らかにすることがわかった。
論文 参考訳（メタデータ） (2025-03-28T20:05:33Z) - Nearest Neighbor Speculative Decoding for LLM Generation and Attribution [87.3259169631789]
Nearest Speculative Decoding (NEST)は、任意の長さの実世界のテキストスパンをLM世代に組み込むことができ、それらのソースへの属性を提供する。
NESTは、様々な知識集約タスクにおいて、基本LMの生成品質と帰属率を大幅に向上させる。
さらに、NESTは、Llama-2-Chat 70Bに適用した場合の推論時間において1.8倍のスピードアップを達成することにより、生成速度を大幅に改善する。
論文 参考訳（メタデータ） (2024-05-29T17:55:03Z) - HyPoradise: An Open Baseline for Generative Speech Recognition with
Large Language Models [81.56455625624041]
ASRの誤り訂正に外部の大規模言語モデル(LLM)を利用する最初のオープンソースベンチマークを導入する。
提案したベンチマークには、334,000組以上のN-best仮説を含む新しいデータセットHyPoradise (HP)が含まれている。
合理的なプロンプトと生成能力を持つLLMは、N-bestリストに欠けているトークンを修正できる。
論文 参考訳（メタデータ） (2023-09-27T14:44:10Z) - LeTI: Learning to Generate from Textual Interactions [60.425769582343506]
本稿では,テキストインタラクション(LETI)から学習するLMの可能性を,バイナリラベルによる正当性をチェックするだけでなく,テキストフィードバックを通じて出力中のエラーをピンポイントし,説明する。
私たちの焦点はコード生成タスクであり、そこではモデルが自然言語命令に基づいてコードを生成する。
LETIは、目的のLMを用いて、自然言語命令、LM生成プログラム、テキストフィードバックの結合に基づいて、モデルを反復的に微調整する。
論文 参考訳（メタデータ） (2023-05-17T15:53:31Z) - Rejuvenating Low-Frequency Words: Making the Most of Parallel Data in
Non-Autoregressive Translation [98.11249019844281]
知識蒸留(KD)は、非自己回帰翻訳(NAT)モデルを訓練するための合成データを構築するために一般的に用いられる。
低周波対象語に対するアライメントを向上するために,逆KDを提案する。
その結果,提案手法は翻訳品質を大幅に向上させることができることがわかった。
論文 参考訳（メタデータ） (2021-06-02T02:41:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。