論文の概要: Aging of Prompt Engineering Techniques Across LLM Versions

• arxiv url: http://arxiv.org/abs/2608.24641v1
• Date: Tue, 25 Aug 2026 14:53:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-26 14:09:35.049426
• Title: Aging of Prompt Engineering Techniques Across LLM Versions
• Title（参考訳）: LLM版におけるプロンプト工学技術の老朽化
• Abstract要約: 我々は、モデルファミリー固有の方法で、迅速なエンジニアリングの「年齢」を示す。 新しいGPTモデルは、構造的プロンプトから減少またはマイナスの限界ゲインを示す。 この結果は,モデルファミリーと世代毎に効果的なプロンプト戦略を適用する必要があることを示唆している。
• 参考スコア（独自算出の注目度）: 1.1215180462528551
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Prompt engineering and prompt engineering techniques (PETs) have become an integral part of software engineering for AI systems. However, new LLMs are released frequently and it remains unclear how the effectiveness of prompt engineering techniques changes across successive generations of Large Language Models (LLMs). To this end, we conduct a partial replication of the study by Khojah et al. (2025). We evaluate five techniques - Zero-Shot, Few-Shot, Chain-of-Thought (CoT), Contrastive Chain-of-Thought (CCoT), and an adapted version of Program-of-Thought (PoT) - on six instruction-tuned models grouped into three version pairs: GPT-3.5-Turbo/GPT-4o, Qwen2 7B Instruct/Qwen2.5 7B Instruct, and Mistral-7B-Instruct/Mistral-Large. We use a cleaned subset of the CodePromptEval dataset with 218 context-rich Python functions and 19,620 total generations assessed via pass@k-based functional correctness to evaluate model pairs on function-level code generation tasks. We show that prompt engineering "ages" in a model-family-specific way: Newer GPT models exhibit diminishing or even negative marginal gains from structured prompting, suggesting that instruction-following and reasoning scaffolds are increasingly internalized, whereas Qwen models continue to benefit substantially from Few-Shot and CCoT. Mistral models show mixed behavior with persistent gains from CCoT but attenuated benefits from CoT and PoT. Our results imply that effective prompting strategies must be adapted per model family and generation rather than transferred unchanged. This motivates future work on adaptive, model-aware prompting and broader, multi-dimensional code quality evaluation.
• Abstract（参考訳）: プロンプトエンジニアリングとプロンプトエンジニアリング技術(PET)は、AIシステムのためのソフトウェアエンジニアリングの不可欠な部分となっている。 しかし, 新たなLLMが頻繁にリリースされ, LLM(Large Language Models)の世代間で, 迅速なエンジニアリング技術の有効性がどう変化するかは不明である。 この目的のために、Khojah et al (2025) による研究の一部を複製する。 我々は, GPT-3.5-Turbo/GPT-4o, Qwen2 7B Instruct/Qwen2.5 7B Instruct, Mistral-7B-Instruct/Mistral-Large の6つのモデルに対して, Zero-Shot, Few-Shot, Chain-of-Thought (CoT), Contrastive Chain-of-Thought (CCoT), Program-of-Thought (PoT) の適応版の評価を行った。 関数レベルのコード生成タスクでモデルペアを評価するために、CodePromptEvalデータセットのクリーン化サブセットを218のコンテキストリッチPython関数と、pass@kベースの関数正当性によって評価された19,620の合計世代を使用しています。 より新しいGPTモデルは、構造化されたプロンプトから減少または負の限界ゲインを示し、命令追従と推論の足場がますます内部化されつつあることを示唆する一方、QwenモデルはFew-ShotとCCoTから大きな恩恵を受け続けている。 ミストラルモデルはCCoTからの持続的な利得と混合挙動を示すが、CoTとPoTの利益は弱まる。 この結果から, モデルファミリや世代毎に効果的なプロンプト戦略を適用する必要があることが示唆された。 これは、適応的でモデル認識の促進とより広い多次元のコード品質評価に関する将来の取り組みを動機付けている。

関連論文リスト

• The Missing Piece in Pre-trained Model Evaluation: Reward-Guided Decoding Unlocks Task-Oriented Behavior Without Parameter Updates [31.50160357699629]
  エネルギーベースデコーディング(Energy-Based Decoding)は、凍結した事前学習モデルからタスク指向の振る舞いを活性化するためのトレーニング不要で報酬誘導型フレームワークである。 EBDは,基本モデル出力をより指示追従行動にシフトさせ,学習後の動作に類似度を増すことを示す。
  論文  参考訳（メタデータ） (2026-05-27T06:25:00Z)
• MERGETUNE: Continued fine-tuning of vision-language models [77.8627788911249]
  微調整視覚言語モデル(VLM)は、しばしば事前訓練された知識を破滅的に忘れてしまう。 ゼロショットモデルに適応した後に事前学習した知識を回復するための新しいパラダイムである連続微調整(CFT)を導入する。
  論文  参考訳（メタデータ） (2026-01-15T15:15:53Z)
• GLUE: Generative Latent Unification of Expertise-Informed Engineering Models [3.005158583027536]
  GLUE(Generative Latent Unification of Expertise-Informed Engineering Models)を紹介する。 GLUEは、事前訓練された凍結したサブシステムジェネレータをオーケストレーションし、システムレベルの実現可能性、最適性、多様性を強制する。 5つの結合制約を持つUAV設計問題において、データ駆動型アプローチは多種多様な高性能な設計をもたらすが、制約を確実に満たすためには大きなデータセットを必要とする。
  論文  参考訳（メタデータ） (2025-12-22T15:23:19Z)
• Promises and Pitfalls of Generative Masked Language Modeling: Theoretical Framework and Practical Guidelines [74.42485647685272]
  GMLM(Generative Masked Language Models)に焦点を当てる。 我々は,マルコフ連鎖の入力として使用されるマスキングにより,データ分布の条件付き確率に適合するモデルを訓練し,モデルからサンプルを抽出する。 我々は,T5モデルを並列デコーディングに適応させ,最小品質の犠牲を伴って機械翻訳における2～3倍の高速化を実現した。
  論文  参考訳（メタデータ） (2024-07-22T18:00:00Z)
• SOEN-101: Code Generation by Emulating Software Process Models Using Large Language Model Agents [50.82665351100067]
  FlowGenは、複数のLarge Language Model (LLM)エージェントに基づいたソフトウェアプロセスモデルをエミュレートするコード生成フレームワークである。 FlowGenScrumをHumanEval、HumanEval-ET、MBPP、MBPP-ETの4つのベンチマークで評価した。
  論文  参考訳（メタデータ） (2024-03-23T14:04:48Z)
• Automating Human Tutor-Style Programming Feedback: Leveraging GPT-4 Tutor Model for Hint Generation and GPT-3.5 Student Model for Hint Validation [25.317788211120362]
  本稿では,人間の教師型プログラミングヒントの提供における生成型AIモデルの役割について検討する。 最近の研究は、様々なフィードバック生成シナリオのための最先端モデルのベンチマークを行っている。 我々はGPT4Hints-GPT3.5Valという新しい手法を開発し、生成AIモデルの限界を推し進める。
  論文  参考訳（メタデータ） (2023-10-05T17:02:59Z)
• Stay on topic with Classifier-Free Guidance [57.28934343207042]
  CFGは純粋言語モデリングにおける推論時手法として広く利用できることを示す。 CFG は Pythia, GPT-2 および LLaMA ファミリーモデルの性能をタスクの配列にわたって改善することを示す。
  論文  参考訳（メタデータ） (2023-06-30T17:07:02Z)
• On Robustness of Finetuned Transformer-based NLP Models [11.063628128069736]
  CKAとSTIRの2つの指標を用いて、事前訓練された言語モデルと微調整された言語モデル間の変化を特徴付ける。 GPT-2表現はBERTやT5よりも複数の入力摂動に対して堅牢である。 この研究は、人気のあるTransformerベースのモデルの摂動固有の弱点に関する貴重な洞察を提供する。
  論文  参考訳（メタデータ） (2023-05-23T18:25:18Z)
• An automatically discovered chain-of-thought prompt generalizes to novel models and datasets [4.693905948827508]
  チェーン・オブ・思想(CoT)推論能力は、大規模言語モデル(LLM)の性能と説明可能性を向上させることを約束する。 我々は、最近リリースされた6つのLDMに対してゼロショットプロンプトによって誘導される異なる推論戦略を比較した。 この結果から,CoT推論戦略のメリットは,様々なモデルやデータセットに対して頑健であることが示唆された。
  論文  参考訳（メタデータ） (2023-05-04T15:07:20Z)
• CodeRL: Mastering Code Generation through Pretrained Models and Deep Reinforcement Learning [92.36705236706678]
  CodeRLは、事前訓練されたLMと深層強化学習によるプログラム合成タスクのための新しいフレームワークである。 推論中、我々は重要なサンプリング戦略を持つ新しい生成手順を導入する。 モデルバックボーンについては,CodeT5のエンコーダデコーダアーキテクチャを拡張し,学習目標を拡張した。
  論文  参考訳（メタデータ） (2022-07-05T02:42:15Z)
• Unifying Language Learning Paradigms [96.35981503087567]
  データセットやセットアップ全体にわたって普遍的に有効である事前学習モデルのための統一的なフレームワークを提案する。 本研究では, 事前学習対象を相互に配置し, 異なる対象間の補間を効果的に行う方法を示す。 また,テキスト内学習において,ゼロショットSuperGLUEで175B GPT-3,ワンショット要約でT5-XXLの性能を3倍に向上させた。
  論文  参考訳（メタデータ） (2022-05-10T19:32:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。