論文の概要: $\mathbb{USCD}$: Improving Code Generation of LLMs by Uncertainty-Aware Selective Contrastive Decoding
- arxiv url: http://arxiv.org/abs/2409.05923v1
- Date: Mon, 9 Sep 2024 02:07:41 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-11 22:10:02.828667
- Title: $\mathbb{USCD}$: Improving Code Generation of LLMs by Uncertainty-Aware Selective Contrastive Decoding
- Title（参考訳）: $\mathbb{USCD}$:不確実性を考慮した選択的コントラストデコーディングによるLLMのコード生成の改善
- Authors: Shuai Wang, Liang Ding, Li Shen, Yong Luo, Zheng He, Wei Yu, Dacheng Tao,
- Abstract要約: 大規模言語モデル(LLM)は、コード生成において顕著な能力を示している。
幻覚の影響(例えば出力ノイズ)は、LLMが1パスで高品質なコードを生成するのを難しくする。
単純かつ効果的なtextbfuncertainty-aware textbf select textbfcontrastive textbfdecodingを提案する。
- 参考スコア（独自算出の注目度）: 64.00025564372095
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) have shown remarkable capabilities in code generation. However, the effects of hallucinations (e.g., output noise) make it particularly challenging for LLMs to generate high-quality code in one pass. In this work, we propose a simple and effective \textbf{u}ncertainty-aware \textbf{s}elective \textbf{c}ontrastive \textbf{d}ecoding ($\mathbb{USCD}$) mechanism to improve the quality of one-pass code generation in LLMs and reduce the impact of output noise. To be specific, we first elaborately designed a negative prompt (namely lame prompt) to output noise by removing input-output examples from the standard few-shot prompt. Our preliminary study shows that the Jensen-Shannon divergence (JS divergence) between token distribution uncertainty and the output noise is relatively low (approximately $0.25$), indicating their high relevance. Then, we selectively eliminate output noise induced by lame prompts based on the uncertainty of the prediction distribution from the standard prompt. Notably, our proposed plug-and-play mechanism is an inference-only method, enjoying appealing flexibility. Extensive experiments on widely used benchmarks, e.g., HumanEval, MBPP, and MultiPL-E, upon several LLMs (i.e., Inocder-6b, CodeLlama-7b, WizardCoder-15b, StarCoder, and Llama2-7b), demonstrate that our proposed USCD significantly improves one-pass code generation, with an average \textit{pass@$1$} scores increase of 16.59\%. We will release code and data on GitHub.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、コード生成において顕著な能力を示している。
しかし、幻覚(例えば出力ノイズ)の影響により、LLMが1パスで高品質なコードを生成することは特に困難である。
本研究では,LLMにおけるワンパスコード生成の品質向上と出力ノイズの影響を低減するため,単純で効果的な \textbf{u}ncertainty-aware \textbf{s}elective \textbf{c}ontrastive \textbf{d}ecoding ($\mathbb{USCD}$) 機構を提案する。
そこで我々はまず,入力出力例を標準ショットプロンプトから取り除き,ノイズを出力する負のプロンプト(すなわちラメプロンプト)を精巧に設計した。
本研究は,トークン分布の不確かさと出力雑音との間のJensen-Shannon分散(JS分散)が比較的低い(約0.25ドル)ことを示し,その関連性を示した。
そして、標準プロンプトからの予測分布の不確かさに基づいて、ラメプロンプトによって誘導される出力ノイズを選択的に除去する。
特に,提案するプラグアンドプレイ機構は推論のみの手法であり,優れた柔軟性を享受できる。
Inocder-6b, CodeLlama-7b, WizardCoder-15b, StarCoder, Llama2-7b などの LLM 上で,広く使用されているベンチマーク(eg , HumanEval, MBPP, MultiPL-E など)において,提案した USCD が 1 パスコード生成を大幅に改善し,平均 \textit{pass@$1$} スコアが 16.59 % になることを示した。
コードとデータはGitHubでリリースします。
関連論文リスト
- Selective Prompt Anchoring for Code Generation [11.60432173396084]
DeepSeek-Coder (6.7B) の小さなバージョンは、オリジナルのはるかに大きなバージョン (33B) よりも優れたパフォーマンスを実現することができる。
我々の結果は、SPAを使用することで、すべての設定でPass@1レートを最大9.7%改善できることを示している。
論文 参考訳（メタデータ） (2024-08-17T07:11:02Z) - Lower Layer Matters: Alleviating Hallucination via Multi-Layer Fusion Contrastive Decoding with Truthfulness Refocused [44.37155553647802]
大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて例外的な性能を示している。
時に、期待された出力と事実的に不正確な、あるいは不一致なコンテンツを生成する。
近年の研究では,幻覚誘発モデルとアマチュアモデルとの対比的復号化について検討している。
LOL(Lower Layer Matters)と呼ばれる新しいコントラストデコーディングフレームワークを導入する。
論文 参考訳（メタデータ） (2024-08-16T14:23:59Z) - Decoding Matters: Addressing Amplification Bias and Homogeneity Issue for LLM-based Recommendation [32.85339480783571]
Debiasing-Diversifying Decoding (D3) という新しいデコード手法を導入する。
D3はゴーストトークンの長さ正規化を無効にして増幅バイアスを軽減する。
実世界のデータセットの実験では、この手法の有効性が示されている。
論文 参考訳（メタデータ） (2024-06-21T06:47:28Z) - Nearest Neighbor Speculative Decoding for LLM Generation and Attribution [87.3259169631789]
Nearest Speculative Decoding (NEST)は、任意の長さの実世界のテキストスパンをLM世代に組み込むことができ、それらのソースへの属性を提供する。
NESTは、様々な知識集約タスクにおいて、基本LMの生成品質と帰属率を大幅に向上させる。
さらに、NESTは、Llama-2-Chat 70Bに適用した場合の推論時間において1.8倍のスピードアップを達成することにより、生成速度を大幅に改善する。
論文 参考訳（メタデータ） (2024-05-29T17:55:03Z) - FFN-SkipLLM: A Hidden Gem for Autoregressive Decoding with Adaptive Feed Forward Skipping [49.66872823080736]
自己回帰型大規模言語モデル(LLaMa, GPT)は、言語理解と生成において顕著な成功を収めている。
発生時に発生する過負荷を軽減するため、いくつかの早期退避および層下降戦略が提案されている。
本稿では,入力適応型フィードフォワードスキップ戦略であるFFN-SkipLLMを提案する。
論文 参考訳（メタデータ） (2024-04-05T02:35:43Z) - Augmenting Greybox Fuzzing with Generative AI [0.0]
生成AIによって強化されたグレーボックスファジィであるChatFuzzを提案する。
生成LDMモデルのパワーを収穫するためのベストプラクティスを探るため、広範囲にわたる実験を行った。
実験の結果,SOTAグレーボックスファザよりも12.77%のエッジカバレッジが向上した。
論文 参考訳（メタデータ） (2023-06-11T21:44:47Z) - Contrastive Decoding: Open-ended Text Generation as Optimization [153.35961722855686]
信頼性の高い復号法であるコントラスト復号法(CD)を提案する。
これは、より大きなLMの故障がより小さなLMでさらに多いという事実に着想を得たものである。
CDは追加のトレーニングを一切必要とせず、より大きなLMからの復号化よりも高品質なテキストを生成する。
論文 参考訳（メタデータ） (2022-10-27T00:58:21Z) - Bridging the Gap Between Clean Data Training and Real-World Inference
for Spoken Language Understanding [76.89426311082927]
既存のモデルはクリーンデータに基づいてトレーニングされ、クリーンデータトレーニングと現実世界の推論の間にtextitgapが発生する。
本稿では,良質なサンプルと低品質のサンプルの両方が類似ベクトル空間に埋め込まれた領域適応法を提案する。
広く使用されているデータセット、スニップス、および大規模な社内データセット(1000万のトレーニング例)に関する実験では、この方法は実世界の(騒々しい)コーパスのベースラインモデルを上回るだけでなく、堅牢性、すなわち、騒々しい環境下で高品質の結果を生み出すことを実証しています。
論文 参考訳（メタデータ） (2021-04-13T17:54:33Z) - Composed Fine-Tuning: Freezing Pre-Trained Denoising Autoencoders for
Improved Generalization [93.95299500688286]
本稿では,出力の妥当性制約を考慮した構造化出力の予測問題に焦点をあてる。
本稿では,事前学習したデノイザを組み込んだ予測器を微調整するファインチューニングを提案する。
2層ReLUネットワークの場合、構成した微調整が予測器の複雑さを著しく低減することを示す。
論文 参考訳（メタデータ） (2020-06-29T17:14:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。