論文の概要: $\mathbb{USCD}$: Improving Code Generation of LLMs by Uncertainty-Aware Selective Contrastive Decoding
- arxiv url: http://arxiv.org/abs/2409.05923v1
- Date: Mon, 9 Sep 2024 02:07:41 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-11 22:10:02.828667
- Title: $\mathbb{USCD}$: Improving Code Generation of LLMs by Uncertainty-Aware Selective Contrastive Decoding
- Title(参考訳): $\mathbb{USCD}$:不確実性を考慮した選択的コントラストデコーディングによるLLMのコード生成の改善
- Authors: Shuai Wang, Liang Ding, Li Shen, Yong Luo, Zheng He, Wei Yu, Dacheng Tao,
- Abstract要約: 大規模言語モデル(LLM)は、コード生成において顕著な能力を示している。
幻覚の影響(例えば出力ノイズ)は、LLMが1パスで高品質なコードを生成するのを難しくする。
単純かつ効果的なtextbfuncertainty-aware textbf select textbfcontrastive textbfdecodingを提案する。
- 参考スコア(独自算出の注目度): 64.00025564372095
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) have shown remarkable capabilities in code generation. However, the effects of hallucinations (e.g., output noise) make it particularly challenging for LLMs to generate high-quality code in one pass. In this work, we propose a simple and effective \textbf{u}ncertainty-aware \textbf{s}elective \textbf{c}ontrastive \textbf{d}ecoding ($\mathbb{USCD}$) mechanism to improve the quality of one-pass code generation in LLMs and reduce the impact of output noise. To be specific, we first elaborately designed a negative prompt (namely lame prompt) to output noise by removing input-output examples from the standard few-shot prompt. Our preliminary study shows that the Jensen-Shannon divergence (JS divergence) between token distribution uncertainty and the output noise is relatively low (approximately $0.25$), indicating their high relevance. Then, we selectively eliminate output noise induced by lame prompts based on the uncertainty of the prediction distribution from the standard prompt. Notably, our proposed plug-and-play mechanism is an inference-only method, enjoying appealing flexibility. Extensive experiments on widely used benchmarks, e.g., HumanEval, MBPP, and MultiPL-E, upon several LLMs (i.e., Inocder-6b, CodeLlama-7b, WizardCoder-15b, StarCoder, and Llama2-7b), demonstrate that our proposed USCD significantly improves one-pass code generation, with an average \textit{pass@$1$} scores increase of 16.59\%. We will release code and data on GitHub.
- Abstract(参考訳): 大規模言語モデル(LLM)は、コード生成において顕著な能力を示している。
しかし、幻覚(例えば出力ノイズ)の影響により、LLMが1パスで高品質なコードを生成することは特に困難である。
本研究では,LLMにおけるワンパスコード生成の品質向上と出力ノイズの影響を低減するため,単純で効果的な \textbf{u}ncertainty-aware \textbf{s}elective \textbf{c}ontrastive \textbf{d}ecoding ($\mathbb{USCD}$) 機構を提案する。
そこで我々はまず,入力出力例を標準ショットプロンプトから取り除き,ノイズを出力する負のプロンプト(すなわちラメプロンプト)を精巧に設計した。
本研究は,トークン分布の不確かさと出力雑音との間のJensen-Shannon分散(JS分散)が比較的低い(約0.25ドル)ことを示し,その関連性を示した。
そして、標準プロンプトからの予測分布の不確かさに基づいて、ラメプロンプトによって誘導される出力ノイズを選択的に除去する。
特に,提案するプラグアンドプレイ機構は推論のみの手法であり,優れた柔軟性を享受できる。
Inocder-6b, CodeLlama-7b, WizardCoder-15b, StarCoder, Llama2-7b などの LLM 上で,広く使用されているベンチマーク(eg , HumanEval, MBPP, MultiPL-E など)において,提案した USCD が 1 パスコード生成を大幅に改善し,平均 \textit{pass@$1$} スコアが 16.59 % になることを示した。
コードとデータはGitHubでリリースします。
関連論文リスト
- Multi-Token Joint Speculative Decoding for Accelerating Large Language Model Inference [41.93955876156331]
大規模言語モデル (LLM) は様々なタスクにおいてそのパワーを実証しているが、その推論にはかなりの時間とエネルギーコストがかかる。
投機的復号法は、より小さなモデルを用いて1つのトークン列を提案し、その後ターゲットの大モデルによってバッチで検証される。
自己回帰復号法と比較すると、投機的復号法は同じ数のトークンを生成し、大きなモデルの実行量は少ない。
投機的復号化よりも出力の難易度と効率性が良いアルゴリズムは、実際より有用である。
論文 参考訳(メタデータ) (2024-07-12T23:29:54Z) - Nearest Neighbor Speculative Decoding for LLM Generation and Attribution [87.3259169631789]
Nearest Speculative Decoding (NEST)は、任意の長さの実世界のテキストスパンをLM世代に組み込むことができ、それらのソースへの属性を提供する。
NESTは、様々な知識集約タスクにおいて、基本LMの生成品質と帰属率を大幅に向上させる。
さらに、NESTは、Llama-2-Chat 70Bに適用した場合の推論時間において1.8倍のスピードアップを達成することにより、生成速度を大幅に改善する。
論文 参考訳(メタデータ) (2024-05-29T17:55:03Z) - FFN-SkipLLM: A Hidden Gem for Autoregressive Decoding with Adaptive Feed Forward Skipping [49.66872823080736]
自己回帰型大規模言語モデル(LLaMa, GPT)は、言語理解と生成において顕著な成功を収めている。
発生時に発生する過負荷を軽減するため、いくつかの早期退避および層下降戦略が提案されている。
本稿では,入力適応型フィードフォワードスキップ戦略であるFFN-SkipLLMを提案する。
論文 参考訳(メタデータ) (2024-04-05T02:35:43Z) - Draft & Verify: Lossless Large Language Model Acceleration via Self-Speculative Decoding [25.03122689338891]
本稿では,大規模言語モデルの高速化を目的とした新しい推論手法である自己推論復号法を提案する。
提案手法では、追加のニューラルネットワークトレーニングや、追加のメモリフットプリントを必要としない。
LLaMA-2とその変種によるベンチマークでは、最大1.99$times$まで高速化された。
論文 参考訳(メタデータ) (2023-09-15T05:34:32Z) - Accelerating LLM Inference with Staged Speculative Decoding [0.0]
そこで我々は,小型デバイス上でのLDM推論を高速化する新しいアルゴリズム,ステージド・投機復号法を提案する。
我々は 762M パラメータ GPT-2-L モデルを用いて,シングルバッチデコーディングのレイテンシを 3.16 倍に削減する。
論文 参考訳(メタデータ) (2023-08-08T23:29:55Z) - Augmenting Greybox Fuzzing with Generative AI [0.0]
生成AIによって強化されたグレーボックスファジィであるChatFuzzを提案する。
生成LDMモデルのパワーを収穫するためのベストプラクティスを探るため、広範囲にわたる実験を行った。
実験の結果,SOTAグレーボックスファザよりも12.77%のエッジカバレッジが向上した。
論文 参考訳(メタデータ) (2023-06-11T21:44:47Z) - Contrastive Decoding: Open-ended Text Generation as Optimization [153.35961722855686]
信頼性の高い復号法であるコントラスト復号法(CD)を提案する。
これは、より大きなLMの故障がより小さなLMでさらに多いという事実に着想を得たものである。
CDは追加のトレーニングを一切必要とせず、より大きなLMからの復号化よりも高品質なテキストを生成する。
論文 参考訳(メタデータ) (2022-10-27T00:58:21Z) - Bridging the Gap Between Clean Data Training and Real-World Inference
for Spoken Language Understanding [76.89426311082927]
既存のモデルはクリーンデータに基づいてトレーニングされ、クリーンデータトレーニングと現実世界の推論の間にtextitgapが発生する。
本稿では,良質なサンプルと低品質のサンプルの両方が類似ベクトル空間に埋め込まれた領域適応法を提案する。
広く使用されているデータセット、スニップス、および大規模な社内データセット(1000万のトレーニング例)に関する実験では、この方法は実世界の(騒々しい)コーパスのベースラインモデルを上回るだけでなく、堅牢性、すなわち、騒々しい環境下で高品質の結果を生み出すことを実証しています。
論文 参考訳(メタデータ) (2021-04-13T17:54:33Z) - Composed Fine-Tuning: Freezing Pre-Trained Denoising Autoencoders for
Improved Generalization [93.95299500688286]
本稿では,出力の妥当性制約を考慮した構造化出力の予測問題に焦点をあてる。
本稿では,事前学習したデノイザを組み込んだ予測器を微調整するファインチューニングを提案する。
2層ReLUネットワークの場合、構成した微調整が予測器の複雑さを著しく低減することを示す。
論文 参考訳(メタデータ) (2020-06-29T17:14:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。