論文の概要: Do Advanced Language Models Eliminate the Need for Prompt Engineering in Software Engineering?

• arxiv url: http://arxiv.org/abs/2411.02093v1
• Date: Mon, 04 Nov 2024 13:56:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:50:15.780594
• Title: Do Advanced Language Models Eliminate the Need for Prompt Engineering in Software Engineering?
• Title（参考訳）: 高度な言語モデルはソフトウェア工学におけるプロンプト工学の必要性を排除しているのか?
• Authors: Guoqing Wang, Zeyu Sun, Zhihao Gong, Sixiang Ye, Yizhou Chen, Yifan Zhao, Qingyuan Liang, Dan Hao,
• Abstract要約: 本稿では,高度大言語モデル (LLM) の文脈における様々な迅速な工学的手法を再評価する。 以上の結果から, 先進モデルに適用した場合, 先進モデルに適用した場合, 早期のLLM開発技術により, メリットが低下したり, 性能が低下する可能性が示唆された。
• 参考スコア（独自算出の注目度）: 18.726229967976316
• License:
• Abstract: Large Language Models (LLMs) have significantly advanced software engineering (SE) tasks, with prompt engineering techniques enhancing their performance in code-related areas. However, the rapid development of foundational LLMs such as the non-reasoning model GPT-4o and the reasoning model o1 raises questions about the continued effectiveness of these prompt engineering techniques. This paper presents an extensive empirical study that reevaluates various prompt engineering techniques within the context of these advanced LLMs. Focusing on three representative SE tasks, i.e., code generation, code translation, and code summarization, we assess whether prompt engineering techniques still yield improvements with advanced models, the actual effectiveness of reasoning models compared to non-reasoning models, and whether the benefits of using these advanced models justify their increased costs. Our findings reveal that prompt engineering techniques developed for earlier LLMs may provide diminished benefits or even hinder performance when applied to advanced models. In reasoning LLMs, the ability of sophisticated built-in reasoning reduces the impact of complex prompts, sometimes making simple zero-shot prompting more effective. Furthermore, while reasoning models outperform non-reasoning models in tasks requiring complex reasoning, they offer minimal advantages in tasks that do not need reasoning and may incur unnecessary costs. Based on our study, we provide practical guidance for practitioners on selecting appropriate prompt engineering techniques and foundational LLMs, considering factors such as task requirements, operational costs, and environmental impact. Our work contributes to a deeper understanding of effectively harnessing advanced LLMs in SE tasks, informing future research and application development.
• Abstract（参考訳）: LLM(Large Language Models)は、非常に高度なソフトウェアエンジニアリング(SE)タスクを持ち、コード関連の領域でそのパフォーマンスを向上させる。 しかし,非推論モデル GPT-4o や推論モデル o1 などの基礎LPM の急速な発展は,これらの迅速な工学的手法の継続的な有効性に関する疑問を提起する。 本稿では、これらの先進LLMの文脈において、様々な急進的工学技術を再評価する広範な実証的研究について述べる。 コード生成、コード翻訳、コード要約という3つの代表的SEタスクに着目し、迅速なエンジニアリング技術が高度なモデルで改善を継続するかどうか、非推論モデルと比較して推論モデルの実際の有効性、これらの高度なモデルを使用することの利点がコストの増大を正当化するかどうかを評価する。 以上の結果から, 先進モデルに適用した場合, 先進モデルに適用した場合, 早期のLLM開発技術により, メリットが低下したり, 性能が低下する可能性が示唆された。 LLMの推論において、洗練されたビルトイン推論の能力は複雑なプロンプトの影響を減らし、時に単純なゼロショットプロンプトをより効果的にする。 さらに、推論モデルは複雑な推論を必要とするタスクにおいて非推論モデルよりも優れているが、推論を必要とせず、不要なコストを発生させる可能性のあるタスクにおいて、最小限のアドバンテージを提供する。 本研究は,課題要件,運用コスト,環境影響といった要因を考慮し,適切な迅速な技術技術と基礎的LLMを選択する実践者に対して実践指導を行うものである。 我々の研究は、SEタスクにおける高度なLLMを効果的に活用することの深い理解に寄与し、将来の研究とアプリケーション開発を知らせる。

関連論文リスト

• A Survey: Collaborative Hardware and Software Design in the Era of Large Language Models [16.250856588632637]
  大規模言語モデル(LLM)の急速な発展は、人工知能の分野を大きく変えた。 これらのモデルは多様なアプリケーションに統合され、研究と産業の両方に影響を及ぼす。 本稿では,大規模言語モデルの特徴と制約に対処するために,ハードウェアとソフトウェアの共同設計手法について検討する。
  論文  参考訳（メタデータ） (2024-10-08T21:46:52Z)
• BloomWise: Enhancing Problem-Solving capabilities of Large Language Models using Bloom's-Taxonomy-Inspired Prompts [59.83547898874152]
  我々は,Bloomの分類にインスパイアされた新しいプロンプト技術であるBloomWiseを導入し,Large Language Models(LLMs)の性能を向上させる。 より洗練された認知スキルを身につける必要性に関する決定は、LLMによる自己評価に基づいている。 4つの一般的な算数推論データセットの広範な実験において,提案手法の有効性を実証した。
  論文  参考訳（メタデータ） (2024-10-05T09:27:52Z)
• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)
• Cognitive LLMs: Towards Integrating Cognitive Architectures and Large Language Models for Manufacturing Decision-making [51.737762570776006]
  LLM-ACTRは、ヒトに適応し、多目的な意思決定を提供する新しいニューロシンボリックアーキテクチャである。 我々のフレームワークは、ACT-Rの内部決定過程の知識を潜在神経表現として抽出し、組み込む。 デザイン・フォー・マニュファクチャリング・タスクに関する我々の実験は、タスク性能の向上と基礎的意思決定能力の向上を両立させたものである。
  論文  参考訳（メタデータ） (2024-08-17T11:49:53Z)
• Q*: Improving Multi-step Reasoning for LLMs with Deliberative Planning [53.6472920229013]
  大規模言語モデル(LLM)は多くの自然言語タスクにおいて印象的な能力を示している。 LLMは多段階推論を行う際にエラー、幻覚、矛盾する文を生成する傾向がある。 本稿では,LLMの復号化過程を検討計画で導くためのフレームワークであるQ*を紹介する。
  論文  参考訳（メタデータ） (2024-06-20T13:08:09Z)
• New Solutions on LLM Acceleration, Optimization, and Application [14.995654657013741]
  大規模言語モデル (LLM) は、様々な応用において人間のような文章を解釈・生成する能力を持つ非常に強力な機器となっている。 しかし、LLMのサイズと複雑さの増大は、トレーニングとデプロイメントの両方において大きな課題をもたらしている。 これらの課題に対処するための最近の進歩と研究の方向性について概観する。
  論文  参考訳（メタデータ） (2024-06-16T11:56:50Z)
• Generative Software Engineering [23.584814591463406]
  本稿では,事前学習モデルと大規模言語モデル(LLM)を用いたソフトウェア工学における生成タスクの文献レビューを行う。 LLMには強力な言語表現と文脈認識能力があり、多様なトレーニングデータを活用し、生成タスクに適応することができる。 我々は、既存のアプローチにおける重要な強み、弱点、ギャップを特定し、潜在的研究の方向性を提案する。
  論文  参考訳（メタデータ） (2024-03-05T01:37:37Z)
• Towards Generalist Prompting for Large Language Models by Mental Models [105.03747314550591]
  大規模言語モデル(LLM)は多くのタスクにおいて素晴らしいパフォーマンスを示している。 最適な性能を達成するには、特別に設計されたプロンプト法が必要である。 本稿では,最適あるいは準最適性能を実現する設計原理に基づくジェネラリストプロンプトの概念を紹介する。
  論文  参考訳（メタデータ） (2024-02-28T11:29:09Z)
• The Efficiency Spectrum of Large Language Models: An Algorithmic Survey [54.19942426544731]
  LLM(Large Language Models)の急速な成長は、様々なドメインを変換する原動力となっている。 本稿では,LLMのエンドツーエンドのアルゴリズム開発に不可欠な多面的効率性について検討する。
  論文  参考訳（メタデータ） (2023-12-01T16:00:25Z)
• Unleashing the potential of prompt engineering in Large Language Models: a comprehensive review [1.6006550105523192]
  大規模言語モデル(LLM)の能力を解き放つ上で,迅速なエンジニアリングが果たす重要な役割を概観する 自己整合性、思考の連鎖、そして生成された知識などの技術を含む、素早い工学の基礎的方法論と先進的な方法論の両方を検査する。 レビューはまた、AI能力の進歩におけるエンジニアリングの急進的な役割を反映し、将来の研究と応用のための構造化されたフレームワークを提供する。
  論文  参考訳（メタデータ） (2023-10-23T09:15:18Z)
• Large Language Models for Software Engineering: Survey and Open Problems [35.29302720251483]
  本稿では,ソフトウェア工学(SE)におけるLarge Language Models(LLMs)の新しい領域について調査する。 本調査では,ハイブリッド技術(従来のSE+LLM)が,信頼性,効率,効率のよいLLMベースのSEの開発と展開において果たすべき重要な役割を明らかにした。
  論文  参考訳（メタデータ） (2023-10-05T13:33:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。