論文の概要: DDPT: Diffusion-Driven Prompt Tuning for Large Language Model Code Generation

• arxiv url: http://arxiv.org/abs/2504.04351v1
• Date: Sun, 06 Apr 2025 04:19:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-08 14:15:55.227366
• Title: DDPT: Diffusion-Driven Prompt Tuning for Large Language Model Code Generation
• Title（参考訳）: DDPT:大規模言語モデルコード生成のための拡散駆動型プロンプトチューニング
• Authors: Jinyang Li, Sangwon Hyun, M. Ali Babar,
• Abstract要約: 大規模言語モデル(LLM)は、コード生成において顕著な能力を示している。 生成されたコードの品質は、使用するプロンプトの構造と構成に大きく依存する。 本稿では,ガウス雑音から最適なプロンプト埋め込みを生成する方法を学習する新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 3.4483302359883305
• License:
• Abstract: Large Language Models (LLMs) have demonstrated remarkable capabilities in code generation. However, the quality of the generated code is heavily dependent on the structure and composition of the prompts used. Crafting high-quality prompts is a challenging task that requires significant knowledge and skills of prompt engineering. To advance the automation support for the prompt engineering for LLM-based code generation, we propose a novel solution Diffusion-Driven Prompt Tuning (DDPT) that learns how to generate optimal prompt embedding from Gaussian Noise to automate the prompt engineering for code generation. We evaluate the feasibility of diffusion-based optimization and abstract the optimal prompt embedding as a directional vector toward the optimal embedding. We use the code generation loss given by the LLMs to help the diffusion model capture the distribution of optimal prompt embedding during training. The trained diffusion model can build a path from the noise distribution to the optimal distribution at the sampling phrase, the evaluation result demonstrates that DDPT helps improve the prompt optimization for code generation.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、コード生成において顕著な能力を示している。 しかし、生成されたコードの品質は、使用するプロンプトの構造と構成に大きく依存している。 高品質なプロンプトを作るのは、エンジニアリングのプロンプトに関する重要な知識とスキルを必要とする難しいタスクです。 LLMに基づくコード生成の高速化を支援するために,ガウスノイズから最適なプロンプト埋め込みを生成する方法を学ぶ新しい解Diffusion-Driven Prompt Tuning (DDPT)を提案する。 拡散に基づく最適化の実現可能性を評価し、最適な埋め込みに向けての方向ベクトルとして最適なプロンプト埋め込みを抽象化する。 LLMが与えるコード生成損失を利用して、拡散モデルがトレーニング中に最適なプロンプト埋め込みの分布をキャプチャするのを助ける。 訓練された拡散モデルにより、サンプリングフレーズにおける雑音分布から最適な分布への経路を構築することができ、DDPTがコード生成の迅速な最適化に役立つことを示す。

関連論文リスト

• Prompt-A-Video: Prompt Your Video Diffusion Model via Preference-Aligned LLM [54.2320450886902]
  テキスト・ビデオ・モデルは高品質のテキスト・ビデオ・ペアを最適化することで顕著な進歩を遂げた。 現在の精製の自動化手法は、モダリティ・一貫性、コスト分散、モデルウナウエアといった課題に直面する。 Prompt-A-Videoは、特定のビデオ拡散モデルに合わせた、ビデオ中心、労働自由、調整されたプロンプトの製作に優れる。
  論文  参考訳（メタデータ） (2024-12-19T18:32:21Z)
• What Makes Large Language Models Reason in (Multi-Turn) Code Generation? [28.614888506962988]
  思考の連鎖は、大規模言語モデル(LLM)の出力を改善するための一般的な手段として確立されている。 本稿では,複数回にまたがる自動再プロンプトに焦点をあてて,幅広いプロンプト戦略の効果について検討する。 本研究は, 小型かつ大規模なサンプリング予算を持つ全モデルにおいて, 継続的に性能を向上させる戦略を明らかにする。
  論文  参考訳（メタデータ） (2024-10-10T16:53:10Z)
• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)
• Adaptive Draft-Verification for Efficient Large Language Model Decoding [24.347886232342862]
  大規模言語モデル(LLM)デコードでは、与えられたコンテキストに基づいてトークンのシーケンスを生成する。 典型的な自己回帰復号法では、生成されたトークンごとに別の前方通過が必要となる。 微調整を必要とせずにLDMデコーディングを高速化するADEDを導入する。
  論文  参考訳（メタデータ） (2024-06-27T22:20:39Z)
• Intent-based Prompt Calibration: Enhancing prompt optimization with synthetic boundary cases [2.6159111710501506]
  本稿では,ユーザ意図に対するプロンプトを反復的に洗練するキャリブレーションプロセスを用いて,自動プロンプトエンジニアリングの新しい手法を提案する。 我々は,モデレーションや生成といった現実的なタスクにおいて,強力なプロプライエタリなモデルに対して,本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-02-05T15:28:43Z)
• StepCoder: Improve Code Generation with Reinforcement Learning from Compiler Feedback [58.20547418182074]
  2つの主要コンポーネントからなるコード生成の新しいフレームワークであるStepCoderを紹介します。 CCCSは、長いシーケンスのコード生成タスクをCurriculum of Code Completion Subtaskに分割することで、探索課題に対処する。 FGOは、未実行のコードセグメントをマスクすることでのみモデルを最適化し、Fine-Grained Optimizationを提供する。 提案手法は,出力空間を探索し,対応するベンチマークにおいて最先端の手法より優れた性能を発揮する。
  論文  参考訳（メタデータ） (2024-02-02T13:14:31Z)
• A Prompt Learning Framework for Source Code Summarization [19.24919436211323]
  本稿では,PromptCSと呼ばれるコード要約のための効果的なプロンプト学習フレームワークを提案する。 PromptCSはプロンプトエージェントを訓練し、コード要約において大きな言語モデルの可能性を解き放つために連続的なプロンプトを生成する。
  論文  参考訳（メタデータ） (2023-12-26T14:37:55Z)
• Prompt Optimization via Adversarial In-Context Learning [51.18075178593142]
  adv-ICLは、ジェネレータとディスクリミネータの間の2プレイヤーゲームとして実装される。 ジェネレータは、判別器を騙すのに十分な出力を生成する。 本稿では,Adv-ICLが最先端のプロンプト最適化技術を大幅に改善することを示す。
  論文  参考訳（メタデータ） (2023-12-05T09:44:45Z)
• RLPrompt: Optimizing Discrete Text Prompts With Reinforcement Learning [84.75064077323098]
  本稿では、強化学習(RL)を用いた離散的高速最適化手法RLPromptを提案する。 RLPromptは、マスク付きジベリッシュ(例:grammaBERT)や左から右へのモデル(例:GPT)など、様々な種類のLMに柔軟に適用可能である。 少数ショット分類と教師なしテキストスタイル転送の実験は、既存のファインタニングやプロンプト手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-05-25T07:50:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。