論文の概要: More Than a Score: Probing the Impact of Prompt Specificity on LLM Code Generation

• arxiv url: http://arxiv.org/abs/2508.03678v1
• Date: Tue, 05 Aug 2025 17:49:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-06 18:18:56.106317
• Title: More Than a Score: Probing the Impact of Prompt Specificity on LLM Code Generation
• Title（参考訳）: スコア以上のもの:LLMコード生成におけるプロンプト特異性の影響
• Authors: Yangtian Zi, Harshitha Menon, Arjun Guha,
• Abstract要約: 大規模言語モデル(LLM)は、HumanEvalのような一般的なベンチマークでは高いパス@1を達成するが、ParEvalのような特殊なスイートではパフォーマンスが低い。 これは、最小限から最大詳細まで部分的なプロンプトの順序でコード生成ベンチマークを拡張するものです。
• 参考スコア（独自算出の注目度）: 1.8549203916886454
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: State-of-the-art Large Language Models (LLMs) achieve high pass@1 on general benchmarks like HumanEval but underperform on specialized suites such as ParEval. Is this due to LLMs missing domain knowledge or insufficient prompt detail is given? To answer this, we introduce PartialOrderEval, which augments any code generation benchmark with a partial order of prompts from minimal to maximally detailed. Applying it to HumanEval and both serial and OpenMP subsets of ParEval, we measure how pass@1 scales with prompt specificity. Our experiments with Llama-3.x and Qwen2.5-Coder demonstrate varying degrees of prompt sensitivity across different tasks, and a qualitative analysis highlights explicit I/O specifications, edge-case handling, and stepwise breakdowns as the key drivers of prompt detail improvement.
• Abstract（参考訳）: State-of-the-art Large Language Models (LLMs)は、HumanEvalのような一般的なベンチマークでは高いパス@1を達成するが、ParEvalのような特殊なスイートではパフォーマンスが低い。 これは、LLMがドメインの知識を欠いているためか、あるいは、不十分なプロンプト詳細が与えられるためか? これに答えるために、PartialOrderEvalを紹介します。これは、最小限から最大詳細までのプロンプトの部分的な順序で、コード生成ベンチマークを拡張します。 HumanEvalとParEvalのシリアルおよびOpenMPサブセットにそれを適用すれば、pass@1が迅速な特異性でどのようにスケールするかを測定する。 Llama-3.x と Qwen2.5-Coder を用いて行った実験では,各タスクにまたがる迅速な感度の程度が異なることが示され,定性的な分析では,明示的な I/O 仕様,エッジケースハンドリング,ステップワイズなブレークダウンが即時改善の鍵となる。

関連論文リスト

• On the Effectiveness of LLM-as-a-judge for Code Generation and Summarization [54.965787768076254]
  大規模言語モデルは、最近、Q&Aのような複雑な自然言語処理タスクの裁判官として活用されている。 コード生成とコード要約という2つのコード関連タスクに対するLLMs-as-a-judgeの有効性について検討した。
  論文  参考訳（メタデータ） (2025-07-22T13:40:26Z)
• Re-Evaluating Code LLM Benchmarks Under Semantic Mutation [8.58692613099365]
  本稿では,コードベンチマークの迅速感度を調査するための実証的研究について述べる。 本稿では,プロンプトテンプレートのセマンティクスと構造を両立させる手法として,プロンプトテンプレートを改良する汎用フレームワークを提案する。 この結果から, 急激な変化であっても, 性能が著しく変化することが示唆された。
  論文  参考訳（メタデータ） (2025-06-20T15:30:36Z)
• Self-Explained Keywords Empower Large Language Models for Code Generation [5.236633572296712]
  大規模言語モデル(LLM)は、コード生成において素晴らしいパフォーマンスを達成した。 Sek(textbfSelf-textbfExplained textbfKeywords)は、LLM自体による問題記述における重要な用語を抽出し、説明する。
  論文  参考訳（メタデータ） (2024-10-21T12:52:03Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• Towards Hierarchical Multi-Agent Workflows for Zero-Shot Prompt Optimization [19.200989737492595]
  大規模言語モデル(LLM)は、ユーザの質問に答える上で大きな進歩を見せている。 LLMの出力の品質はプロンプト設計に大きく依存しており、優れたプロンプトによってLLMが非常に難しい問題に正しく答えられる可能性がある。 LLMの階層構造を提案し、まず、正確な指示と正確な単語を階層的に生成し、次に、このプロンプトを用いてユーザクエリの最終回答を生成する。
  論文  参考訳（メタデータ） (2024-05-30T17:05:45Z)
• Efficient multi-prompt evaluation of LLMs [36.46258631685666]
  PromptEvalは,多数のプロンプトに対して性能を推定する手法である。 PromptEvalは一貫して性能分布を推定し,その有効性を実証的に証明する。 本稿では,LLM-as-a-judgeにおいてPromptEvalが有効であることを示す。
  論文  参考訳（メタデータ） (2024-05-27T14:24:47Z)
• RepEval: Effective Text Evaluation with LLM Representation [55.26340302485898]
  RepEvalは、評価のためにLarge Language Models(LLM)表現の投影を利用するメトリクスである。 我々の研究は、LLM表現に埋め込まれたテキスト品質に関する情報の豊かさを強調し、新しいメトリクスの開発のための洞察を提供する。
  論文  参考訳（メタデータ） (2024-04-30T13:50:55Z)
• CodecLM: Aligning Language Models with Tailored Synthetic Data [51.59223474427153]
  命令追従能力のための高品質な合成データを適応的に生成するフレームワークであるCodecLMを紹介する。 まず、ターゲットの指示分布をキャプチャするために、オンザフライで生成された簡潔なキーワードであるメタデータにシード命令をエンコードする。 また、デコード中に自己論理とコントラストフィルタを導入し、データ効率の良いサンプルを調整する。
  論文  参考訳（メタデータ） (2024-04-08T21:15:36Z)
• Benchmarking Large Language Models on Controllable Generation under Diversified Instructions [34.89012022437519]
  大型言語モデル (LLM) は命令追従能力に優れていた。 様々な命令に関係のある明示的な制約にどの程度対応できるかは、いまだに不明である。 命令に対するLLMの応答を様々な制約で評価する新しいベンチマークであるCoDI-Evalを提案する。
  論文  参考訳（メタデータ） (2024-01-01T07:35:31Z)
• FollowBench: A Multi-level Fine-grained Constraints Following Benchmark for Large Language Models [79.62191017182518]
  FollowBenchは、大規模言語モデルのベンチマークに続くきめ細かい制約のベンチマークである。 本稿では,初期命令に段階的に1つの制約を付加するマルチレベル機構を提案する。 FollowBench上での13のLLMの評価により,LLMの弱さと今後の研究への道のりを示す。
  論文  参考訳（メタデータ） (2023-10-31T12:32:38Z)
• Language Models Enable Simple Systems for Generating Structured Views of Heterogeneous Data Lakes [54.13559879916708]
  EVAPORATEは大規模言語モデル(LLM)を利用したプロトタイプシステムである。 コード合成は安価だが、各文書をLSMで直接処理するよりもはるかに正確ではない。 直接抽出よりも優れた品質を実現する拡張コード実装EVAPORATE-CODE+を提案する。
  論文  参考訳（メタデータ） (2023-04-19T06:00:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。