論文の概要: When Prompt Under-Specification Improves Code Correctness: An Exploratory Study of Prompt Wording and Structure Effects on LLM-Based Code Generation

• arxiv url: http://arxiv.org/abs/2604.24712v1
• Date: Mon, 27 Apr 2026 17:21:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-28 17:12:08.264975
• Title: When Prompt Under-Specification Improves Code Correctness: An Exploratory Study of Prompt Wording and Structure Effects on LLM-Based Code Generation
• Title（参考訳）: Prompt Under-Specification がコードの正確性を改善するとき--Prompt Wording と LLM に基づくコード生成に対する構造効果の探索的検討
• Authors: Amal AKLI, Mike PAPADAKIS, Maxime CORDY, Yves Le TRAON,
• Abstract要約: 本稿では, 構造, タスクの複雑さ, 仕様の豊かさが, 突然変異を誘発するロバストネスとどのように相互作用するかを検討する。 その結果,ロバスト性はLLMの固定特性ではなく,急速構造に強く依存していることが判明した。 驚くべきことに、早急な突然変異によって正しさが向上する可能性があることもわかりました。
• 参考スコア（独自算出の注目度）: 21.26459132144385
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models are increasingly used for code generation, yet the correctness of their outputs depends not only on model capability but also on how tasks are specified. Prior studies demonstrate that small changes in natural language prompts, particularly under-specification can substantially reduce code correctness; however, these findings are largely based on minimal-specification benchmarks such as HumanEval and MBPP, where limited structural redundancy may exaggerate sensitivity. In this exploratory study, we investigate how prompt structure, task complexity, and specification richness interact with LLM robustness to prompt mutations. We evaluate 10 different models across HumanEval and the structurally richer LiveCodeBench. Our results reveal that robustness is not a fixed property of LLMs but is highly dependent on prompt structure: the same under-specification mutations that degrade performance on HumanEval have near-zero net effect on LiveCodeBench due to redundancy across descriptions, constraints, examples, and I/O conventions. Surprisingly, we also find that prompt mutations can improve correctness. In LiveCodeBench, under-specification often breaks misleading lexical or structural cues that trigger incorrect retrieval-based solution strategies, leading to correctness improvements that counterbalance degradations. Manual analysis identifies consistent mechanisms behind these improvements, including the disruption of over-fitted terminology, removal of misleading constraints, and elimination of spurious identifier triggers. Overall, our study shows that structurally rich task descriptions can substantially mitigate the negative effects of under-specification and, in some cases, even enhance correctness. We outline categories of prompt modifications that positively influence the behavior of LLM code-generation, offering practical insights for writing robust prompts.
• Abstract（参考訳）: 大規模な言語モデルは、コード生成にますます使われているが、その出力の正確性は、モデル能力だけでなく、タスクの指定方法にも依存する。 以前の研究では、自然言語のプロンプトの小さな変化、特に過小評価は、コードの正確性を大幅に低下させることが示されているが、これらの発見は主に、制限された構造的冗長性が過大評価されるHumanEvalやMBPPのような最小限の特定ベンチマークに基づいている。 本研究では, 構造, タスクの複雑さ, 仕様の豊かさがLSMの堅牢性とどのように相互作用し, 突然変異を誘発するかについて検討する。 HumanEval全体で10の異なるモデルと、構造的にリッチなLiveCodeBenchを評価します。 以上の結果から,ロバスト性はLLMの固定特性ではなく,即時構造に依存していることが明らかとなった。HumanEvalの性能低下と同じ過小評価変異は,記述や制約,例,I/O規則にまたがる冗長性により,LiveCodeBenchにほぼゼロのネット効果を持つ。 驚くべきことに、早急な突然変異によって正しさが向上する可能性があることもわかりました。 LiveCodeBenchでは、不特定化は、誤った検索ベースのソリューション戦略をトリガーする誤った語彙または構造的手がかりを招き、劣化に対処する正当性の改善につながることが多い。 手動分析は、過度に適合した用語の破壊、誤解を招く制約の除去、刺激的な識別子トリガーの除去など、これらの改善の裏にある一貫したメカニズムを識別する。 全体として、構造的にリッチなタスク記述は、過小評価によるネガティブな影響を著しく軽減し、場合によっては正当性を高めることができる。 LLMコード生成の動作に肯定的な影響を与えるプロンプト修正のカテゴリを概説し、ロバストなプロンプトを書くための実践的な洞察を提供する。

関連論文リスト

• From Early Encoding to Late Suppression: Interpreting LLMs on Character Counting Tasks [49.57538588967748]
  LLM(Large Language Model)は、複雑なベンチマークでは優れているにもかかわらず、単語中の文字数などの基本的な記号的タスクにおいて失敗を示す。 我々は、LLaMA、Qwen、Gemmaなど、現代のアーキテクチャにまたがる一貫した現象を発見した。 LLMにおけるシンボリック推論失敗は,表現不足やスケール不足によるものではなく,モデル計算グラフ内の構造的干渉によるものであることを示す。
  論文  参考訳（メタデータ） (2026-04-01T11:40:12Z)
• Task-Awareness Improves LLM Generations and Uncertainty [48.857040212979484]
  ベイズ最適応答は、ビームサーチのような標準的な復号法より一貫して優れている。 我々の決定論的なフレームワークは、潜在応答構造を持つあらゆる問題に適用できる。
  論文  参考訳（メタデータ） (2026-01-29T10:16:23Z)
• Are We Evaluating the Edit Locality of LLM Model Editing Properly? [68.441768731381]
  この目的のために既存の特異性評価プロトコルは不十分であることがわかった。 既存の特異度指標は特異度正規化器の強度と弱い相関関係にある。 また、現在のメトリクスには十分な感度が欠けており、異なるメソッドの特異性性能の区別に効果がないこともわかりました。
  論文  参考訳（メタデータ） (2026-01-24T07:07:21Z)
• Understanding and Mitigating Errors of LLM-Generated RTL Code [7.747889860813149]
  大規模言語モデル (LLM) ベースのレジスタ転送レベル (RTL) コード生成は有望であるが、全体的な成功率は相変わらず不満足である。 包括的なエラー解析と手動分類を行う。 その結果、ほとんどのエラーはRTLプログラミングの知識不足、回路概念の理解不足、複雑なマルチモーダル入力の誤解釈によるものであることが判明した。
  論文  参考訳（メタデータ） (2025-08-07T11:02:32Z)
• When Prompts Go Wrong: Evaluating Code Model Robustness to Ambiguous, Contradictory, and Incomplete Task Descriptions [23.5858385520752]
  LLM(Large Language Models)は、理想的な条件下でのコード生成タスクの性能を示す。 実際には、タスク記述はしばしば曖昧さ、不完全性、内部矛盾を示す。 このような不明瞭なタスク記述に直面した場合、最先端のコード生成モデルの堅牢性を検証した最初の実証的研究を示す。
  論文  参考訳（メタデータ） (2025-07-27T23:16:14Z)
• Improving Code LLM Robustness to Prompt Perturbations via Layer-Aware Model Editing [13.099973383252452]
  大規模言語モデル(LLM)は、急激な摂動に対して非常に敏感である。 ターゲットパラメータの更新によってLCMの堅牢性を高める新しいアプローチであるCREMEを導入する。 実験の結果,CREMEは摂動プロンプトでPass@1の精度を63%向上することがわかった。
  論文  参考訳（メタデータ） (2025-07-22T09:57:55Z)
• Model Hemorrhage and the Robustness Limits of Large Language Models [119.46442117681147]
  大規模言語モデル(LLM)は、自然言語処理タスク全体で強力なパフォーマンスを示すが、デプロイメント用に修正された場合、大幅なパフォーマンス低下を経験する。 この現象をモデル出血(パラメータ変更とアーキテクチャ変更によるパフォーマンス低下)と定義する。
  論文  参考訳（メタデータ） (2025-03-31T10:16:03Z)
• Improving LLM Reasoning through Scaling Inference Computation with Collaborative Verification [52.095460362197336]
  大規模言語モデル(LLM)は一貫性と正確な推論に苦しむ。 LLMは、主に正しいソリューションに基づいて訓練され、エラーを検出して学習する能力を減らす。 本稿では,CoT(Chain-of-Thought)とPoT(Program-of-Thought)を組み合わせた新しい協調手法を提案する。
  論文  参考訳（メタデータ） (2024-10-05T05:21:48Z)
• Understanding Defects in Generated Codes by Language Models [0.669087470775851]
  本研究では,大規模言語モデルによって生成されたコードスニペットの367の欠陥を分類,解析する。 エラーカテゴリは、LLMが頻繁に失敗する重要な領域を示し、目標とする改善の必要性を強調している。 本稿では,スクラッチパッド・プロンプト・プログラム・オブ・ソート・プロンプト・チェーン・オブ・ソート・プロンプト・チェーン・オブ・ソート・プロンプト・ストラクテッド・オブ・ソート・プロンプト・オブ・ソート・プロンプト・プログラム・オブ・ソート・プロンプト・プログラム・オブ・ソート・プロンプト・プログラム・オブ・ソート・プロンプト・オブ・ソート・プロンプト・プログラム・オブ・ソート・プロンプト・オブ・ソート・プロンプト・プログラム・オブ・ソート・プロンプト・プログラム・オブ・オブ・ソート・プロンプト・プロンプト・アンド・ストラクテッド・オブ・フォーンティング(Structued Chain-of-Thought Prompting)の5つの迅速な技術技術
  論文  参考訳（メタデータ） (2024-08-23T21:10:09Z)
• Diagnosing and Rectifying Fake OOD Invariance: A Restructured Causal Approach [51.012396632595554]
  不変表現学習(IRL)は、不変因果的特徴から環境から切り離されたラベルへの予測を促進する。 最近の理論的結果は、IRLによって回復されたいくつかの因果的特徴は、訓練環境ではドメイン不変のふりをするが、目に見えない領域では失敗する。 本研究では,RS-SCMに関する条件付き相互情報に基づく手法を開発し,その効果を巧みに補正する。
  論文  参考訳（メタデータ） (2023-12-15T12:58:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。