論文の概要: An Empirical Study on the Effects of System Prompts in Instruction-Tuned Models for Code Generation

• arxiv url: http://arxiv.org/abs/2602.15228v1
• Date: Mon, 16 Feb 2026 22:11:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-18 16:03:17.920602
• Title: An Empirical Study on the Effects of System Prompts in Instruction-Tuned Models for Code Generation
• Title（参考訳）: コード生成学習モデルにおけるシステムプロンプトの効果に関する実証的研究
• Authors: Zaiyu Cheng, Antonio Mastropaolo,
• Abstract要約: システムプロンプトがコードアシスタントに与える影響を系統的に評価する。 システムプロンプト制約の特異性の増加は単調に正しさを向上しないことがわかった。 より大規模なコード特化モデルでは、ゼロショット生成に対するパフォーマンスの低下がほとんどない。
• 参考スコア（独自算出の注目度）: 4.76360912129794
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Instruction-tuned Language Models (ILMs) have become essential components of modern AI systems, demonstrating exceptional versatility across natural language and reasoning tasks. Among their most impactful applications is code generation, where ILMs -- commonly referred to as Code Language Models (CLMs) -- translate human intent into executable programs. While progress has been driven by advances in scaling and training methodologies, one critical aspect remains underexplored: the impact of system prompts on both general-purpose ILMs and specialized CLMs for code generation. We systematically evaluate how system prompts of varying instructional detail, along with model scale, prompting strategy, and programming language, affect code assistant. Our experimental setting spans 360 configurations across four models, five system prompts, three prompting strategies, two languages, and two temperature settings. We find that (1) increasing system-prompt constraint specificity does not monotonically improve correctness -- prompt effectiveness is configuration-dependent and can help or hinder based on alignment with task requirements and decoding context; (2) for larger code-specialized models, few-shot examples can degrade performance relative to zero-shot generation, contrary to conventional wisdom; and (3) programming language matters, with Java exhibiting significantly greater sensitivity to system prompt variations than Python, suggesting language-specific prompt engineering strategies may be necessary.
• Abstract（参考訳）: インストラクションチューニング言語モデル(ILM)は、現代のAIシステムにおいて不可欠なコンポーネントとなり、自然言語や推論タスクにまたがる例外的な万能性を実証している。 最も影響力のあるアプリケーションはコード生成であり、ICM(一般にコード言語モデル(CLM)と呼ばれる)は人間の意図を実行可能なプログラムに変換する。 進歩はスケーリングとトレーニングの手法の進歩によって推進されているが、システムプロンプトがコード生成のための汎用ILMと特殊なCLMの両方に与える影響は、まだ解明されていない。 モデルスケール,プロンプト戦略,プログラム言語などとともに,プログラムがコードアシスタントにどう影響するかを体系的に評価する。 5つのシステムプロンプト、3つのプロンプト戦略、2つの言語、2つの温度設定。 1)システムプロンプト制約の特異性の向上は,一元的に正しさを向上するものではない -- 迅速な有効性は,タスク要件やデコードコンテキストの整合性に基づいて,構成に依存し,あるいは障害となる可能性があること,2) より大規模なコード特化モデルでは,従来の知恵とは対照的に,ゼロショット生成に対するパフォーマンスを低下させることができること,3) プログラム言語の問題,そして,Java が Python よりもシステムプロンプトの変動に対してはるかに敏感であること,そして言語特化の迅速なエンジニアリング戦略が必要であることを示唆する。

関連論文リスト

• Not All Tokens Matter: Data-Centric Optimization for Efficient Code Summarization [46.365359894614706]
  コード生成タスクにおいて,システムプロンプトがILMやCLMにどのように影響するかを評価する。 120のモデル構成にまたがる評価フレームワークにより,システムの影響がモデルスケールで増大することが明らかとなった。 JavaはPythonよりもシステムプロンプトのバリエーションに対する感度が高い。
  論文  参考訳（メタデータ） (2026-01-28T00:45:28Z)
• Cross-Lingual Prompt Steerability: Towards Accurate and Robust LLM Behavior across Languages [61.18573330164572]
  システムプロンプトは、推論時に大きな言語モデル(LLM)を条件付けするための軽量で強力なメカニズムを提供する。 本稿では, 異なるシステムが, 正確な, 頑健な言語間行動に対して, ステアモデルをどのように促すかを包括的に検討する。
  論文  参考訳（メタデータ） (2025-12-02T14:54:54Z)
• Grammar-Guided Evolutionary Search for Discrete Prompt Optimisation [63.97051732013936]
  本稿では,2段階からなる離散的な自動最適化に対する進化的探索手法を提案する。 第1段階では、文法誘導型遺伝的プログラミングが実行され、プロンプト生成プログラムを合成する。 第2段階では、局所探索を用いて、最高のパフォーマンスプログラムの周辺を探索する。
  論文  参考訳（メタデータ） (2025-07-14T14:34:15Z)
• What Makes Large Language Models Reason in (Multi-Turn) Code Generation? [28.614888506962988]
  思考の連鎖は、大規模言語モデル(LLM)の出力を改善するための一般的な手段として確立されている。 本稿では,複数回にまたがる自動再プロンプトに焦点をあてて,幅広いプロンプト戦略の効果について検討する。 本研究は, 小型かつ大規模なサンプリング予算を持つ全モデルにおいて, 継続的に性能を向上させる戦略を明らかにする。
  論文  参考訳（メタデータ） (2024-10-10T16:53:10Z)
• CodeGRAG: Bridging the Gap between Natural Language and Programming Language via Graphical Retrieval Augmented Generation [58.84212778960507]
  CodeGRAGは、制御フローとそれらのデータフローに基づいて、コードブロックのグラフィカルなビューを構築し、プログラミングドメインの知識をよりよく解釈する。 CodeGRAGはLLMのコード生成能力を大幅に改善し、言語間コード生成のパフォーマンス向上も実現している。
  論文  参考訳（メタデータ） (2024-05-03T02:48:55Z)
• PADL: Language-Directed Physics-Based Character Control [66.517142635815]
  本稿では,文字が行うべきハイレベルなタスクと低レベルなスキルを指定するために,ユーザが自然言語コマンドを発行できるようにするPADLを提案する。 我々は,シミュレーションされたヒューマノイドキャラクタを効果的に誘導し,多種多様な複雑な運動能力を実現するために,本フレームワークを適用した。
  論文  参考訳（メタデータ） (2023-01-31T18:59:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。