論文の概要: Prompt Variability Effects On LLM Code Generation

• arxiv url: http://arxiv.org/abs/2506.10204v1
• Date: Wed, 11 Jun 2025 21:43:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-13 15:37:22.474164
• Title: Prompt Variability Effects On LLM Code Generation
• Title（参考訳）: LLM符号生成におけるプロンプト変動の影響
• Authors: Andrei Paleyes, Radzim Sendyka, Diana Robinson, Christian Cabrera, Neil D. Lawrence,
• Abstract要約: コード生成は、Large Language Models (LLM) の最も活発な応用分野の1つである。 LLMを用いたコード生成のための合成評価パイプラインと、体系的なペルソナに基づく評価手法を提案する。 提案手法の有用性を実証し,コミュニティの利益のためにコードを共有する実験的な証拠を提供する。
• 参考スコア（独自算出の注目度）: 6.323067476300936
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Code generation is one of the most active areas of application of Large Language Models (LLMs). While LLMs lower barriers to writing code and accelerate development process, the overall quality of generated programs depends on the quality of given prompts. Specifically, functionality and quality of generated code can be sensitive to user's background and familiarity with software development. It is therefore important to quantify LLM's sensitivity to variations in the input. To this end we propose a synthetic evaluation pipeline for code generation with LLMs, as well as a systematic persona-based evaluation approach to expose qualitative differences of LLM responses dependent on prospective user background. Both proposed methods are completely independent from specific programming tasks and LLMs, and thus are widely applicable. We provide experimental evidence illustrating utility of our methods and share our code for the benefit of the community.
• Abstract（参考訳）: コード生成は、LLM(Large Language Models)の最も活発な応用分野の1つである。 LLMは、コードを書き、開発プロセスを加速する障壁を低くするが、生成されたプログラムの全体的な品質は、与えられたプロンプトの品質に依存する。 具体的には、生成されたコードの機能と品質は、ユーザのバックグラウンドやソフトウェア開発に精通していることに敏感です。 したがって、入力の変動に対するLLMの感度を定量化することが重要である。 この目的のために,LLMを用いたコード生成のための合成評価パイプラインを提案するとともに,予測ユーザ背景に依存するLCM応答の質的差異を明らかにするための,体系的なペルソナに基づく評価手法を提案する。 どちらの手法も特定のプログラミングタスクやLLMから完全に独立しており、広く適用可能である。 提案手法の有用性を実証し,コミュニティの利益のためにコードを共有する実験的な証拠を提供する。

関連論文リスト

• Pragmatic Reasoning improves LLM Code Generation [35.78260347663757]
  我々は,Rational Speech Act (RSA) フレームワーク上に構築された新しいコード候補付け機構であるCodeRSAを提案する。 我々は、人気のあるコード生成データセット上で、最新のLarge Language Modelの1つを用いてCodeRSAを評価する。
  論文  参考訳（メタデータ） (2025-02-20T12:44:26Z)
• EPiC: Cost-effective Search-based Prompt Engineering of LLMs for Code Generation [8.009881267479189]
  大規模言語モデル(LLM)は、特にコード生成において、様々なソフトウェア開発タスクで利用が増加している。 我々は、コードのための進化的プロンプトエンジニアリング(EPiC)という別のアプローチを提案し、高品質なコードを生成するより良いプロンプトに向けて、元のプロンプトを進化させる。 最先端(SOTA)LLMベースのコード生成モデルに対する評価は,コスト効率の観点から,EPiCがすべてのベースラインを上回っていることを示している。
  論文  参考訳（メタデータ） (2024-08-20T21:15:36Z)
• Q*: Improving Multi-step Reasoning for LLMs with Deliberative Planning [53.6472920229013]
  大規模言語モデル(LLM)は多くの自然言語タスクにおいて印象的な能力を示している。 LLMは多段階推論を行う際にエラー、幻覚、矛盾する文を生成する傾向がある。 本稿では,LLMの復号化過程を検討計画で導くためのフレームワークであるQ*を紹介する。
  論文  参考訳（メタデータ） (2024-06-20T13:08:09Z)
• InfiBench: Evaluating the Question-Answering Capabilities of Code Large Language Models [56.723509505549536]
  InfiBenchは、私たちの知識に合ったコードのための、最初の大規模フリーフォーム質問回答(QA)ベンチマークです。 慎重に選択された234の高品質なStack Overflow質問で構成されており、15のプログラミング言語にまたがっている。 InfiBench上で100以上の最新のコードLLMに対して,系統的評価を行い,新しい知見と洞察に富んだ結果を得た。
  論文  参考訳（メタデータ） (2024-03-11T02:06:30Z)
• If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
  大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
  論文  参考訳（メタデータ） (2024-01-01T16:51:20Z)
• Testing LLMs on Code Generation with Varying Levels of Prompt Specificity [0.0]
  大規模言語モデル (LLM) は、人間のようなテキスト生成と処理を模倣する非並列的な技術を示している。 自然言語のプロンプトを実行可能なコードに変換する可能性は、ソフトウェア開発プラクティスの大きな変化を約束します。
  論文  参考訳（メタデータ） (2023-11-10T23:41:41Z)
• Accelerating LLaMA Inference by Enabling Intermediate Layer Decoding via Instruction Tuning with LITE [62.13435256279566]
  大規模言語モデル(LLM)は、様々な自然言語タスクで顕著なパフォーマンスを実現している。 しかし、その大きなサイズは推論を遅く、計算的に高価にする。 最終層の生成能力に影響を与えることなく、これらの層が「良い」生成能力を得ることができることを示す。
  論文  参考訳（メタデータ） (2023-10-28T04:07:58Z)
• Benchmarking and Explaining Large Language Model-based Code Generation: A Causality-Centric Approach [12.214585409361126]
  大規模言語モデル(LLM)ベースのコード生成は複雑で強力なブラックボックスモデルである。 本稿では,プロンプトと生成されたコードの因果グラフに基づく新しい表現を提案する。 我々は,12以上の迅速な調整戦略で3つの人気のあるLCMを研究することで,我々のフレームワークが提供できる洞察について説明する。
  論文  参考訳（メタデータ） (2023-10-10T14:56:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。