論文の概要: Selection of Prompt Engineering Techniques for Code Generation through Predicting Code Complexity

• arxiv url: http://arxiv.org/abs/2409.16416v1
• Date: Tue, 24 Sep 2024 19:28:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-27 08:31:10.098358
• Title: Selection of Prompt Engineering Techniques for Code Generation through Predicting Code Complexity
• Title（参考訳）: コード複雑度予測によるコード生成のためのプロンプトエンジニアリング手法の選択
• Authors: Chung-Yu Wang, Alireza DaghighFarsoodeh, Hung Viet Pham,
• Abstract要約: 本稿では,クエリを分類するプロキシとしてコード複雑性を利用するPET非依存の選択モデルであるPET-Selectを提案する。 PET-Selectは単純な問題と複雑な問題を区別し、各クエリの複雑性レベルに最も適したPETを選択することができる。 MBPPとHumanEvalベンチマークによる評価では、パス@1の精度が1.9%向上し、トークン使用率が74.8%減少した。
• 参考スコア（独自算出の注目度）: 2.576214343259399
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have demonstrated impressive performance in software engineering tasks. However, improving their accuracy in generating correct and reliable code remains challenging. Numerous prompt engineering techniques (PETs) have been developed to address this, but no single approach is universally optimal. Selecting the right PET for each query is difficult for two primary reasons: (1) interactive prompting techniques may not consistently deliver the expected benefits, especially for simpler queries, and (2) current automated prompt engineering methods lack adaptability and fail to fully utilize multi-stage responses. To overcome these challenges, we propose PET-Select, a PET-agnostic selection model that uses code complexity as a proxy to classify queries and select the most appropriate PET. By incorporating contrastive learning, PET-Select effectively distinguishes between simple and complex problems, allowing it to choose PETs that are best suited for each query's complexity level. Our evaluations on the MBPP and HumanEval benchmarks using GPT-3.5 Turbo and GPT-4o show up to a 1.9% improvement in pass@1 accuracy, along with a 74.8% reduction in token usage. Additionally, we provide both quantitative and qualitative results to demonstrate how PET-Select effectively selects the most appropriate techniques for each code generation query, further showcasing its efficiency in optimizing PET selection.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、ソフトウェア工学のタスクにおいて素晴らしいパフォーマンスを示しています。 しかし、正確で信頼性の高いコードを生成する際の正確性を改善することは依然として難しい。 多くのプロンプトエンジニアリング技術(PET)がこの問題に対処するために開発されているが、一つのアプローチが普遍的に最適であるわけではない。 1) 対話的なプロンプト技術は,特に単純なクエリに対して,期待されるメリットを常に提供しない場合がある。 これらの課題を克服するために,クエリを分類し,最も適切なPETを選択するためのプロキシとして,コードの複雑さを利用するPET非依存の選択モデルPET-Selectを提案する。 対照的な学習を取り入れることで、PET-Selectは、単純な問題と複雑な問題とを効果的に区別し、クエリの複雑性レベルに最も適したPETを選択することができる。 GPT-3.5 TurboとGPT-4oを用いたMBPPおよびHumanEvalベンチマークの評価では、トークン使用率74.8%の削減とともに、pass@1精度が1.9%向上した。 さらに,各コード生成クエリに対して,PET-Selectが最適な手法を効果的に選択し,PET選択を最適化する効率を示すための定量的および定性的な結果も提供する。

関連論文リスト

• HiDe-PET: Continual Learning via Hierarchical Decomposition of Parameter-Efficient Tuning [55.88910947643436]
  予備学習モデル(PTM)とパラメータ効率チューニング(PET)を組み合わせた連続学習(CL)統合フレームワークを提案する。 タスク固有知識とタスク共有知識を取り入れることで目的を明示的に最適化する革新的な手法である階層分解PET(HiDe-PET)を提案する。 提案手法は,近年の強いベースラインの幅広いスペクトルに対して,極めて優れた性能を示す。
  論文  参考訳（メタデータ） (2024-07-07T01:50:25Z)
• ConPET: Continual Parameter-Efficient Tuning for Large Language Models [65.48107393731861]
  継続的な学習には、新しいタスクへのモデルの継続的な適応が必要である。 継続性を提案する。 効率的なチューニング(ConPET) - 一般化可能なパラダイム。 大規模言語モデルの連続的なタスク適応。
  論文  参考訳（メタデータ） (2023-09-26T08:52:04Z)
• Exploring the Impact of Model Scaling on Parameter-Efficient Tuning [100.61202305296275]
  大規模事前学習言語モデル(PLM)を効果的に駆動できるスケーリング効率チューニング(PET)法 小型PLMでは、PET法には通常顕著な性能差がある。 本稿では,Arbitrary PET (APET) 法という,より柔軟なPET法を提案する。
  論文  参考訳（メタデータ） (2023-06-04T10:10:54Z)
• A Unified Continual Learning Framework with General Parameter-Efficient Tuning [56.250772378174446]
  「事前学習$rightarrow$ダウンストリーム適応」は、継続学習の新しい機会と課題を提示する。 我々は,PETの1つのインスタンス化としてプロンプトを位置づけ,ラーニング・アキュミュレーション・アンサンブル(LAE)と呼ばれる統一的なCLフレームワークを提案する。 PET(Adapter、LoRA、Prefixなど)は、トレーニング済みのモデルをより少ないパラメータとリソースで下流のタスクに適応させることができる。
  論文  参考訳（メタデータ） (2023-03-17T15:52:45Z)
• Sparse Structure Search for Parameter-Efficient Tuning [85.49094523664428]
  S$3$PETは、トレーニング可能なパラメータの少ない手動およびランダムな構造を超えることを示す。 探索された構造は、0.01%のトレーニング可能なパラメータで99%以上の微調整性能を維持している。
  論文  参考訳（メタデータ） (2022-06-15T08:45:21Z)
• Improving and Simplifying Pattern Exploiting Training [81.77863825517511]
  Pattern Exploiting Training (PET)は、数発学習にパターンを利用する最近のアプローチである。 本稿では,未ラベルデータのないショットラーニングに焦点をあて,ADAPETを導入する。 ADAPETは、タスク固有のラベルなしデータなしでSuperGLUE上のPETより優れています。
  論文  参考訳（メタデータ） (2021-03-22T15:52:45Z)
• Practical and sample efficient zero-shot HPO [8.41866793161234]
  利用可能なアプローチの概要と、この問題に対処する2つの新しいテクニックを紹介します。 1つは、サロゲートモデルに基づいて、クエリのためのデータセットと設定のペアを適応的に選択する。 2つ目は、サロゲートモデルの検出、チューニング、テストが問題となる設定のためのもので、HyperBandとサブモジュラー最適化を組み合わせた多要素技術である。
  論文  参考訳（メタデータ） (2020-07-27T08:56:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。