論文の概要: AdaDec: Uncertainty-Guided Adaptive Decoding for LLM-based Code Generation

• arxiv url: http://arxiv.org/abs/2506.08980v1
• Date: Tue, 10 Jun 2025 16:49:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-11 15:11:42.950883
• Title: AdaDec: Uncertainty-Guided Adaptive Decoding for LLM-based Code Generation
• Title（参考訳）: AdaDec: LLMベースのコード生成のための不確実なガイド付き適応デコーディング
• Authors: Kaifeng He, Mingwei Liu, Chong Wang, Zike Li, Yanlin Wang, Xin Peng, Zibin Zheng,
• Abstract要約: AdaDecは、大規模な言語モデルのための不確実性誘導適応デコーディングフレームワークである。 AdaDecはモデル固有の不確実性しきい値を学び、不確実性が高い場合にルックアヘッドベースのリランク戦略を適用します。 実験によると、AdaDecはgreedy復号化よりもPass@1の精度を最大15.5%向上している。
• 参考スコア（独自算出の注目度）: 28.99265405319943
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Code generation with large language models (LLMs) is highly sensitive to token selection during decoding, particularly at uncertain decision points that influence program logic. While standard strategies like greedy and beam search treat all tokens uniformly, they overlook code-specific uncertainty patterns, leading to suboptimal performance. This paper presents an empirical study revealing that many generation errors stem from ranking mistakes at high-uncertainty steps, where the correct token is present but not top-ranked. Motivated by these findings, we propose AdaDec, an uncertainty-guided adaptive decoding framework that integrates a token-level pause-then-rerank mechanism driven by token uncertainty (Shannon entropy). AdaDec learns model-specific uncertainty thresholds and applies a lookahead-based reranking strategy when uncertainty is high. Experiments on HumanEval and MBPP benchmarks show that AdaDec improves Pass@1 accuracy by up to 15.5% over greedy decoding, outperforms or matches beam search, and reduces computational cost and latency through efficient, selective pausing. Our results highlight the promise of uncertainty-aware adaptive decoding for improving the reliability and efficiency of LLM-based code generation.
• Abstract（参考訳）: 大規模言語モデル(LLM)によるコード生成は、復号時にトークンの選択に非常に敏感である。 greedyやビームサーチといった標準的な戦略はすべてのトークンを均一に扱うが、コード固有の不確実性パターンを見落とし、最適以下のパフォーマンスをもたらす。 本論文は,多くの世代エラーは,高い不確実性ステップにおいて,正しいトークンが存在するが上位にない場合に,ランク付けミスに起因することを示す実証的研究である。 これらの知見により,トークン不確実性(シャノンエントロピー)によって駆動されるトークンレベルの停止-待ち時間機構を統合する不確実性誘導適応デコーディングフレームワークであるAdaDecを提案する。 AdaDecはモデル固有の不確実性しきい値を学び、不確実性が高い場合にルックアヘッドベースのリランク戦略を適用します。 HumanEval と MBPP ベンチマークの実験では、AdaDec はフレディ復号化やビームサーチの精度を最大15.5%向上し、効率よく選択的に処理することで計算コストとレイテンシを低減している。 この結果から,LLMベースのコード生成の信頼性と効率を向上させるため,不確実性を考慮した適応デコードの実現が期待できる。

関連論文リスト

• Token-Level Uncertainty Estimation for Large Language Model Reasoning [24.56760223952017]
  大きな言語モデル(LLM)は印象的な機能を示していますが、その出力品質はさまざまなアプリケーションシナリオで相容れないままです。 本稿では, LLMの自己評価と, 数学的推論における生成品質の自己向上を可能にするトークンレベルの不確実性推定フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-16T22:47:32Z)
• Uncertainty-Guided Chain-of-Thought for Code Generation with LLMs [45.33160999781074]
  大規模言語モデル(LLM)の問題解決能力向上に有効な手法として,チェーン・オブ・ソート(CoT)推論が実証されている。 我々は、不確実性を認識したCoT推論機構を組み込むことで、コード生成を向上させるためのUnCert-CoTを導入する。
  論文  参考訳（メタデータ） (2025-03-19T15:40:45Z)
• Uncertainty-Aware Decoding with Minimum Bayes Risk [70.6645260214115]
  予測されたリスクに応じてモデル生成を選択する最小ベイズリスク復号法を,原理化された不確実性認識復号法に一般化する方法を示す。 この修正された予測リスクは、出力の選択と生成をいつ中止するかの判断の両方に有用であり、オーバーヘッドを発生させることなく改善を提供できることを示す。
  論文  参考訳（メタデータ） (2025-03-07T10:55:12Z)
• Assessing Correctness in LLM-Based Code Generation via Uncertainty Estimation [0.0]
  LLM生成符号の正確性のプロキシとして不確実性推定を検討する。 自然言語生成からコード生成領域への2つの最先端技術を適用する。 これらの手法を用いて計算した不確実性と正確性との間には強い相関関係があることが示唆された。
  論文  参考訳（メタデータ） (2025-02-17T10:03:01Z)
• Benchmarking Large Language Model Uncertainty for Prompt Optimization [4.151658495779136]
  本稿では,不確実性指標を評価するためのベンチマークデータセットを提案する。 現在のメトリクスは、正当性不確実性ではなく、出力の信頼性と多様性を反映したアンサー不確実性とより一致していることを示します。
  論文  参考訳（メタデータ） (2024-09-16T07:13:30Z)
• Self-Evaluation Improves Selective Generation in Large Language Models [54.003992911447696]
  オープンエンド生成タスクをトークンレベルの予測タスクに再構成する。 我々はLSMに答えを自己評価するように指示する。 自己評価に基づくスコアリング手法をベンチマークする。
  論文  参考訳（メタデータ） (2023-12-14T19:09:22Z)
• Speculative Contrastive Decoding [55.378200871224074]
  大規模言語モデル(LLM)は、言語タスクにおいて例外的な性能を示すが、その自動回帰推論は高い計算要求のために制限され、露出バイアスにより準最適である。 投機的復号法とコントラスト的復号法に着想を得て, 単純かつ強力な復号法である投機的コントラスト的復号法(SCD)を導入する。
  論文  参考訳（メタデータ） (2023-11-15T14:15:30Z)
• Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
  大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。 本稿では,LLMのための不確実性分解フレームワークについて述べる。 提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
  論文  参考訳（メタデータ） (2023-11-15T05:58:35Z)
• Self-Evaluation Guided Beam Search for Reasoning [61.523627290397556]
  我々は,Large Language Model (LLM) の推論プロセスのガイドと校正を行うための段階的自己評価機構を導入する。 本稿では,ビームサーチによる自己評価ガイダンスを統合した復号アルゴリズムを提案する。 我々のアプローチは、GSM8K、AQuA、StrategyQAにおいて、対応するCodexバックボンドベースラインをわずかに精度6.34%、9.56%、および5.46%で上回る。
  論文  参考訳（メタデータ） (2023-05-01T02:37:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。