論文の概要: Compound Prompt Constraints in LLM Code Generation: A Factorial Study of Format, Persona, and Urgency

• arxiv url: http://arxiv.org/abs/2609.03156v1
• Date: Wed, 02 Sep 2026 20:40:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-04 18:28:38.85778
• Title: Compound Prompt Constraints in LLM Code Generation: A Factorial Study of Format, Persona, and Urgency
• Title（参考訳）: LLMコード生成における複合プロンプト制約:フォーマット,ペルソナ,緊急性に関する要因研究
• Abstract要約: 大規模言語モデル(LLM)は、コード生成のためのソフトウェアエンジニアリングパイプラインでますます使われている。 本稿では,出力フォーマット,代入,緊急フレーミングがコード生成の信頼性にどのように影響するかに関する実測的研究を行う。
• 参考スコア（独自算出の注目度）: 0.8415089854734883
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) are increasingly used in software engineering pipelines for code generation, where production prompts often combine multiple constraints. This paper presents a full-factorial empirical study of how output formatting, persona assignment, and urgency framing jointly affect LLM code-generation reliability. We evaluate all 27 combinations in a controlled 3x3x3 design and decompose each compound condition into an additive prediction and a residual interaction term that captures super-additive degradation. The study uses all 164 HumanEval+ problems across five OpenAI models from the GPT-4o family, GPT-4.1 family, and o3-mini, yielding 22,140 greedy-decoding evaluations. A format-aware extraction pipeline separates formatting failures from reasoning failures, and significance is assessed with McNemar's test, odds ratios, and 95% confidence intervals. Results show that compound constraints can produce architecture-dependent degradation not predictable from single-factor experiments. The GPT-4o family exhibits consistent super-additive effects, with pass@1 reductions 3-12 percentage points beyond additive predictions; the largest interaction is -12.2 pp on GPT-4o-mini for JSON + expert persona + moderate urgency. JSON combinations generally produce larger interactions than XML. In contrast, the GPT-4.1 family is largely resistant, while o3-mini shows a qualitatively different pattern in which structured output constraints can improve performance. These findings show that vulnerability is architecture-dependent rather than size-dependent, that individually neutral or beneficial constraints can combine to cause substantial degradation, and that compound-prompt testing should be standard in reliability assessment for LLM-assisted engineering pipelines.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、コード生成のためのソフトウェアエンジニアリングパイプラインで、プロダクションプロンプトが複数の制約を結合することが多い。 本稿では,出力フォーマット,ペルソナ割り当て,緊急フレーミングがLLM符号生成の信頼性にどのように影響するかを実例で示す。 制御された3x3x3設計における27の組合せを全て評価し、各化合物条件を加法予測と超加法劣化を捉える残留相互作用項に分解する。 この研究では、GPT-4oファミリー、GPT-4.1ファミリー、o3-miniの5つのOpenAIモデルで164のHumanEval+問題を使用し、22,140のgreedy-decoding評価を得た。 フォーマット対応抽出パイプラインは、フォーマット失敗と推論失敗を分離し、McNemarのテスト、オッズ比、95%の信頼区間で重要度を評価する。 その結果、複合制約は単要素実験では予測できないアーキテクチャ依存の劣化をもたらすことが示された。 GPT-4oファミリーは、一貫したスーパーアダプティブ効果を示し、pass@1は、加算予測以上の3～12ポイントを減少させ、最大の相互作用はJSON + 専門家ペルソナ + 適度な緊急性のために、GPT-4o-mini上の12.2ppである。 JSONの組み合わせは一般的にXMLよりも大きなインタラクションを生成します。 対照的に、GPT-4.1 ファミリーは概ね耐性があり、o3-mini は構造的出力制約によって性能が向上する質的に異なるパターンを示している。 これらの結果は、脆弱性はサイズ依存ではなくアーキテクチャ依存であり、個々に中立な制約や有益な制約が組み合わさって重大な劣化を引き起こすことを示し、複合プロンプトテストはLLM支援エンジニアリングパイプラインの信頼性評価において標準であることが示されている。

関連論文リスト

• Silent Failures in Quantized LLM Reasoning: A Taxonomy-Based Analysis of Hollow Convergence and Failure Mode Shifts [0.0]
  学習後の量子化は,タスク精度が保存されている場合でも,大きな言語モデルがどのように推論するかを静かに変更できることを示す。 3つの量子化精度で5つの命令調整LDMから3万のチェーン・オブ・シント出力を分類する。 精度は精度で高いが,Hollow Convergence は NF4 で大きく依存的な変化を示す。
  論文  参考訳（メタデータ） (2026-07-10T21:55:05Z)
• Towards Robust Training in NNGPT AutoML Pipeline: A Loss-Optimizer Pairing Selection Study [48.83701310501069]
  本稿では, 一つのレシピがヘテロジニアスなアーキテクチャプールに十分であるか, 最適ペアリングが構造的に多様なモデルによって異なるかを検討する。 我々は,CEL(Cross-Entropy),NLL(Negative Log-Likelihood),および最近導入された遺伝学的に進化したNGL損失を,LEMURヘテロジニアス・アーキテクチャー・プールの6つの画像分類データセット上に提示したベースモデル間で比較検討した。 我々の結果は、単一のペアリングが普遍的に最適でないことを確認した。AdamやAdamWとのクロスエントロピーは、最も堅牢な選択である。
  論文  参考訳（メタデータ） (2026-06-18T20:51:42Z)
• One Token Away from Collapse: The Fragility of Instruction-Tuned Helpfulness [12.183451602438753]
  単純な語彙制約(句読解文字または共通単語の禁止)により、命令調整されたLLMが応答を崩壊させることを示す。 ベースモデルでは,同じ制約の下で,小さな,騒々しい,双方向的な効果を伴って,体系的な崩壊を示さないことを示す。
  論文  参考訳（メタデータ） (2026-04-14T17:40:01Z)
• REAL: Regression-Aware Reinforcement Learning for LLM-as-a-Judge [83.2858110368572]
  回帰報酬を最適化するための原則的RLフレームワークである textbfREAL (underlineREgression-underlineAware Reinforcement underlineLThought) を提案する。 我々は,REALがレグレッション対応SFTベースラインと標準RL法の両方を一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2026-03-17T21:19:08Z)
• Teaching Language Models to Reason with Tools [73.21700643314917]
  emphHint-Engineeringは、推論経路内の最適点に様々なヒントを戦略的に注入する新しいデータ合成戦略である。 CoRTは効率を大幅に向上させ、32Bモデルのトークン使用量を約30%削減し、1.5Bモデルのトークン使用量を50%削減した。
  論文  参考訳（メタデータ） (2025-10-23T08:41:44Z)
• David vs. Goliath: A comparative study of different-sized LLMs for code generation in the domain of automotive scenario generation [1.6752458252726459]
  大きな言語モデル(LLM)を持つNL-to-Scenic生成は、少ないデータ、限られたメトリクスに悩まされる。 NL2Scenicは146組のNL/Scenicペアを持つオープンデータセットとフレームワークであり、難易度の高い30ケースのテスト分割とサンプルレトリバーを紹介する。 4つのプロプライエタリ(GPT-4o, GPT-5, Claude-Sonnet-4, Gemini-2.5-pro)と9つのオープンソースコードモデル(Qwen2.5Coder 0.5B-32B; CodeLlama 7B/13B/34B)を評価した。
  論文  参考訳（メタデータ） (2025-10-15T21:37:02Z)
• Navigating the Impact of Structured Output Format on Large Language Models through the Compass of Causal Inference [14.064159965912387]
  大規模言語モデル(LLM)からの構造化出力は、生成された情報を処理する際の効率を向上した。 構造化フォーマットが完全性と事実的正確性を高めることを示唆する者もいる。 LLMの推論能力を制限し、標準評価指標の削減につながると主張する者もいる。
  論文  参考訳（メタデータ） (2025-09-26T02:47:11Z)
• Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
  暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。 Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。 SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
  論文  参考訳（メタデータ） (2025-09-25T14:05:55Z)
• A Multi-Dimensional Constraint Framework for Evaluating and Improving Instruction Following in Large Language Models [48.361839372110246]
  本研究では,制約拡張,競合検出,命令書き換えを行う自動命令生成パイプラインを開発する。 我々は、19の大規模言語モデルを評価し、制約形式間の性能のかなりの変動を明らかにする。 詳細な分析では、これらの利得は主にモデルのアテンションモジュールパラメータの変更に起因していることを示している。
  論文  参考訳（メタデータ） (2025-05-12T14:16:55Z)
• Constrained C-Test Generation via Mixed-Integer Programming [55.28927994487036]
  本研究は,単語の最後の部分のみをギャップに変換する,クローズテスト(ギャップ充足運動)の形式であるC-テストを生成する新しい手法を提案する。 局所最適解を実現するために, ギャップサイズやギャップ配置の変化のみを考慮する従来の研究とは対照的に, 混合整数プログラミング(MIP)アプローチを提案する。 当社のコード、モデル、収集したデータは32の英語のC-Testで、それぞれ20のギャップ(3,200の個別のギャップ応答)をオープンソースライセンスで公開しています。
  論文  参考訳（メタデータ） (2024-04-12T21:35:21Z)
• Edinburgh Clinical NLP at SemEval-2024 Task 2: Fine-tune your model unless you have access to GPT-4 [10.01547158445743]
  各種大規模言語モデル (LLM) を複数戦略で評価する。例えば、Chain-of-Thought, In-Context Learning, Efficient Fine-Tuning (PEFT) などである。 その結果,2つのPEFTアダプタはF1スコア(+0.0346)とLLMの一貫性(+0.152)を改善した。 3つの指標を平均して、GPT-4は0.8328との競争で1位となった。
  論文  参考訳（メタデータ） (2024-03-30T22:27:21Z)
• Enhancing Large Language Models in Coding Through Multi-Perspective Self-Consistency [127.97467912117652]
  大規模言語モデル(LLM)は、コード生成において顕著な能力を示した。 しかし、単一の試みで正しいソリューションを生成することは依然として課題である。 本稿では,MPSC(Multi-Perspective Self-Consistency)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-29T14:23:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。