論文の概要: Selective Prompt Anchoring for Code Generation

• arxiv url: http://arxiv.org/abs/2408.09121v1
• Date: Sat, 17 Aug 2024 07:11:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-20 22:37:12.378503
• Title: Selective Prompt Anchoring for Code Generation
• Title（参考訳）: コード生成のための選択型プロンプトアンカリング
• Authors: Yuan Tian, Tianyi Zhang,
• Abstract要約: DeepSeek-Coder (6.7B) の小さなバージョンは、オリジナルのはるかに大きなバージョン (33B) よりも優れたパフォーマンスを実現することができる。 我々の結果は、SPAを使用することで、すべての設定でPass@1レートを最大9.7%改善できることを示している。
• 参考スコア（独自算出の注目度）: 11.60432173396084
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in large language models (LLMs) such as Copilot and ChatGPT have transformed software development by automating coding tasks. Despite these advancements, challenges remain in reducing error rates and fully meeting user expectations. Our empirical study reveals LLMs tend to dilute their self-attention on the initial prompt as more code tokens are generated. We hypothesize this self-attention dilution issue is one of the root causes of inaccuracies in LLM-generated code. To mitigate this issue, we propose Selective Prompt Anchoring (SPA). SPA amplifies the influence of the selected parts in the initial prompt, which we refer to as ``anchored text'', during code generation. Specifically, SPA calculates the logit distribution difference with and without the anchored text. We prove this difference approximates the anchored text's contextual contribution to the output logits. SPA creates an augmented logit distribution by linearly combining the original logit distribution and the logit difference. We evaluate SPA with five LLMs on four benchmarks. Our results demonstrate that using SPA can consistently improve Pass@1 rates by up to 9.7% in all settings. Notably, with selective text anchoring, a small version of DeepSeek-Coder (6.7B) can achieve better performance than an original much larger version (33B). Our code is available at https://github.com/magic-YuanTian/Selective-Prompt-Anchoring.
• Abstract（参考訳）: CopilotやChatGPTのような大規模言語モデル(LLM)の最近の進歩は、コーディングタスクの自動化によってソフトウェア開発に変化をもたらした。 これらの進歩にもかかわらず、エラー率の削減とユーザの期待を完全に満たすことは依然として課題である。 私たちの経験的研究によると、LLMはコードトークンが生成されるにつれて、初期プロンプトに対する自己注意を減らしがちです。 LLM生成符号における不正確性の根本原因の1つとして, この自己注意希釈問題の仮説を立てる。 この問題を軽減するため,SPA(Selective Prompt Anchoring)を提案する。 SPAは、初期プロンプトにおいて選択された部分の影響を増幅し、コード生成時に ''anchored text'' と呼ぶ。 具体的には、SPAは、アンカーされたテキストと不要なロジット分布差を算出する。 この差は、出力ロジットに対するアンカーテキストの文脈的寄与を近似する。 SPAは、元のロジット分布とロジット差を線形に結合することにより、拡張ロジット分布を生成する。 4つのベンチマークでSPAを5つのLLMで評価した。 我々の結果は、SPAを使用することで、すべての設定でPass@1レートを最大9.7%改善できることを示している。 特に、選択的なテキストアンカーによって、DeepSeek-Coder (6.7B) の小さなバージョンは、オリジナルのより大きなバージョン (33B) よりもパフォーマンスが向上する。 私たちのコードはhttps://github.com/magic-YuanTian/Selective-Prompt-Anchoring.comで利用可能です。

関連論文リスト

• CodeCipher: Learning to Obfuscate Source Code Against LLMs [5.872773591957006]
  我々は,LLMからの応答を保存しながら,コードからプライバシを乱す新しい方法であるCodeCipherを提案する。 CodeCipher は LLM の埋め込み行列を変換し、各行が元の行列内の別の単語に対応するようにし、難読化ソースコードのためのトークンとトークンの混同マッピングを生成する。 その結果,LLMの性能を保ちながらソースコードのプライバシを混乱させることに成功した。
  論文  参考訳（メタデータ） (2024-10-08T08:28:54Z)
• $\mathbb{USCD}$: Improving Code Generation of LLMs by Uncertainty-Aware Selective Contrastive Decoding [64.00025564372095]
  大規模言語モデル(LLM)は、コード生成において顕著な能力を示している。 幻覚の影響(例えば出力ノイズ)は、LLMが1パスで高品質なコードを生成するのを難しくする。 単純かつ効果的なtextbfuncertainty-aware textbf select textbfcontrastive textbfdecodingを提案する。
  論文  参考訳（メタデータ） (2024-09-09T02:07:41Z)
• Multilingual Contrastive Decoding via Language-Agnostic Layers Skipping [60.458273797431836]
  対照的なレイヤ(DoLa)によるデコーディングは、大規模言語モデルの生成品質を改善するために設計されている。 このアプローチは英語以外のタスクではうまくいきません。 モデルの前方通過における言語遷移に関する従来の解釈可能性の研究から着想を得て,改良されたコントラスト復号アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-07-15T15:14:01Z)
• Mitigating Boundary Ambiguity and Inherent Bias for Text Classification in the Era of Large Language Models [24.085614720512744]
  本研究では,大規模言語モデル (LLM) がテキスト分類における選択肢の数や配置の変化に対して脆弱であることを示す。 重要なボトルネックは、曖昧な決定境界と、特定のトークンや位置に対する固有のバイアスから生じます。 我々のアプローチは、ペア比較が境界のあいまいさと固有のバイアスを効果的に緩和できるという経験的観察に基づいている。
  論文  参考訳（メタデータ） (2024-06-11T06:53:19Z)
• CodeIP: A Grammar-Guided Multi-Bit Watermark for Large Language Models of Code [56.019447113206006]
  大規模言語モデル(LLM)はコード生成において顕著な進歩を遂げた。 CodeIPは、新しいマルチビット透かし技術で、出所の詳細を保存するために追加情報を埋め込む。 5つのプログラミング言語にまたがる実世界のデータセットで実施された実験は、CodeIPの有効性を実証している。
  論文  参考訳（メタデータ） (2024-04-24T04:25:04Z)
• FFN-SkipLLM: A Hidden Gem for Autoregressive Decoding with Adaptive Feed Forward Skipping [49.66872823080736]
  自己回帰型大規模言語モデル(LLaMa, GPT)は、言語理解と生成において顕著な成功を収めている。 発生時に発生する過負荷を軽減するため、いくつかの早期退避および層下降戦略が提案されている。 本稿では,入力適応型フィードフォワードスキップ戦略であるFFN-SkipLLMを提案する。
  論文  参考訳（メタデータ） (2024-04-05T02:35:43Z)
• Self-Consistent Decoding for More Factual Open Responses [28.184313177333642]
  Sample & Selectは、DoLA、P-CRR、S-CRRのデコーダに対して、30%の相対的なマージンで事実性を向上する。 生成した要約の人間による検証を収集し,本手法の実際的優位性を確認する。
  論文  参考訳（メタデータ） (2024-03-01T17:31:09Z)
• Hot or Cold? Adaptive Temperature Sampling for Code Generation with Large Language Models [54.72004797421481]
  コード生成に特化したデコード戦略を検討するために、最初の体系的な研究を行う。 以上の知見に触発されて,適応温度(AdapT)サンプリング法を提案する。 その結果,AdapTサンプリングは最先端の復号化戦略を著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-09-06T06:27:33Z)
• LeTI: Learning to Generate from Textual Interactions [60.425769582343506]
  本稿では,テキストインタラクション(LETI)から学習するLMの可能性を,バイナリラベルによる正当性をチェックするだけでなく,テキストフィードバックを通じて出力中のエラーをピンポイントし,説明する。 私たちの焦点はコード生成タスクであり、そこではモデルが自然言語命令に基づいてコードを生成する。 LETIは、目的のLMを用いて、自然言語命令、LM生成プログラム、テキストフィードバックの結合に基づいて、モデルを反復的に微調整する。
  論文  参考訳（メタデータ） (2023-05-17T15:53:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。