論文の概要: Towards Better Code Generation: Adaptive Decoding with Uncertainty Guidance

• arxiv url: http://arxiv.org/abs/2506.08980v3
• Date: Fri, 19 Sep 2025 07:14:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-22 16:14:15.514772
• Title: Towards Better Code Generation: Adaptive Decoding with Uncertainty Guidance
• Title（参考訳）: より良いコード生成に向けて - 不確実性ガイダンスによる適応的デコーディング
• Authors: Kaifeng He, Mingwei Liu, Chong Wang, Zike Li, Yanlin Wang, Xin Peng, Zibin Zheng,
• Abstract要約: AdaDecはアダプティブなデコーディングフレームワークで、ルックアヘッドベースで不確実性を認識した停止と再実行のメカニズムを採用している。 AdaDecは、greedyデコーディングと比較して、Pass@1の精度で20.9%の絶対的なゲインを達成する。 AdaDecは、必要に応じて再ランクを適用することで、計算オーバーヘッドとレイテンシを低減し、信頼性とともに効率を向上する。
• 参考スコア（独自算出の注目度）: 42.737012213197865
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Code generation with large language models (LLMs) is highly sensitive to token selection during decoding, particularly at decision points where uncertainty strongly affects program correctness. Conventional strategies such as greedy decoding treat all tokens uniformly and fail to capture the uncertainty characteristics unique to code, often resulting in suboptimal outputs. In this work, we conduct an empirical analysis and show that a large fraction of generation errors arises from token misranking at high-uncertainty positions, where the correct token is available but not prioritized. To address this, we introduce AdaDec, an adaptive decoding framework that employs a lookahead-based, uncertainty-aware pause-and-rerank mechanism. AdaDec automatically learns model-specific uncertainty thresholds and selectively invokes reranking when high uncertainty is detected, leveraging lookahead to refine token choice. Across HumanEval+, MBPP+, and DevEval benchmarks, AdaDec yields substantial improvements, achieving up to 20.9% absolute gains in Pass@1 accuracy compared with greedy decoding, while consistently outperforming prior adaptive decoding approaches such as AdapT. Furthermore, by applying reranking only when necessary, AdaDec reduces computational overhead and latency, enhancing efficiency alongside reliability. These findings underscore the value of uncertainty-guided decoding strategies in advancing the robustness and practicality of LLM-based code generation.
• Abstract（参考訳）: 大規模言語モデル(LLM)によるコード生成は、特に不確実性がプログラムの正確性に強く影響を及ぼす決定点において、復号中にトークンの選択に非常に敏感である。 グリーディ復号のような従来の戦略は全てのトークンを均一に扱い、コード固有の不確実性の特徴を捉えることができず、しばしば準最適出力をもたらす。 本研究では,不確実な位置にあるトークンが正しいトークンを利用できるが優先順位付けされていない場合に,生成エラーのかなりの部分が発生することを実証分析により示す。 AdaDecは、ルックアヘッドをベースとした、不確実性を認識したポーズ・アンド・リロード機構を利用した適応型デコーディングフレームワークである。 AdaDecはモデル固有の不確実性しきい値を自動的に学習し、高い不確実性を検出した時にリランクを選択的に起動する。 HumanEval+、MBPP+、DevEvalのベンチマークを通じて、AdaDecは大幅に改善され、AdapTのような事前適応型デコードアプローチを一貫して上回りながら、Pass@1の精度が20.9%向上した。 さらに、必要に応じて再ランクを適用することで、AdaDecは計算オーバーヘッドとレイテンシを低減し、信頼性とともに効率を向上する。 これらの結果は、LCMベースのコード生成の堅牢性と実用性を向上させる上で、不確実性誘導型デコード戦略の価値を浮き彫りにした。

関連論文リスト

• Confidence Optimization for Probabilistic Encoding [0.9999629695552196]
  距離計算を調整するための信頼度対応機構を導入する。 我々は、従来のKL分散に基づく分散正規化を、分散を直接制約するより単純なL2正規化項に置き換える。 本手法はBERTモデルとRoBERTaモデルの両方の性能と一般化を大幅に改善する。
  論文  参考訳（メタデータ） (2025-07-22T15:32:27Z)
• A Mixture of Linear Corrections Generates Secure Code [20.94236753015922]
  大規模言語モデル(LLM)は、洗練されたコード生成タスクに熟練しているが、コードの脆弱性を確実に検出または回避するには効果がない。 現在のLLMは、脆弱なコードとセキュアなコードとを区別する正確な内部表現を符号化している。 本研究では,モデルのトークン生成確率を補正によって微調整する推論時ステアリング手法を開発した。
  論文  参考訳（メタデータ） (2025-07-13T06:27:33Z)
• COIN: Uncertainty-Guarding Selective Question Answering for Foundation Models with Provable Risk Guarantees [51.5976496056012]
  COINは、統計的に有効な閾値を校正し、質問毎に1つの生成された回答をフィルタリングする不確実性保護選択フレームワークである。 COINはキャリブレーションセット上で経験的誤差率を推定し、信頼区間法を適用して真誤差率に高い確率上界を確立する。 リスク管理におけるCOINの堅牢性,許容回答を維持するための強いテストタイムパワー,キャリブレーションデータによる予測効率を実証する。
  論文  参考訳（メタデータ） (2025-06-25T07:04:49Z)
• Token-Level Uncertainty Estimation for Large Language Model Reasoning [24.56760223952017]
  大きな言語モデル(LLM)は印象的な機能を示していますが、その出力品質はさまざまなアプリケーションシナリオで相容れないままです。 本稿では, LLMの自己評価と, 数学的推論における生成品質の自己向上を可能にするトークンレベルの不確実性推定フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-16T22:47:32Z)
• Uncertainty-Guided Chain-of-Thought for Code Generation with LLMs [45.33160999781074]
  大規模言語モデル(LLM)の問題解決能力向上に有効な手法として,チェーン・オブ・ソート(CoT)推論が実証されている。 我々は、不確実性を認識したCoT推論機構を組み込むことで、コード生成を向上させるためのUnCert-CoTを導入する。
  論文  参考訳（メタデータ） (2025-03-19T15:40:45Z)
• Uncertainty-Aware Decoding with Minimum Bayes Risk [70.6645260214115]
  予測されたリスクに応じてモデル生成を選択する最小ベイズリスク復号法を,原理化された不確実性認識復号法に一般化する方法を示す。 この修正された予測リスクは、出力の選択と生成をいつ中止するかの判断の両方に有用であり、オーバーヘッドを発生させることなく改善を提供できることを示す。
  論文  参考訳（メタデータ） (2025-03-07T10:55:12Z)
• Assessing Correctness in LLM-Based Code Generation via Uncertainty Estimation [0.0]
  LLM生成符号の正確性のプロキシとして不確実性推定を検討する。 自然言語生成からコード生成領域への2つの最先端技術を適用する。 これらの手法を用いて計算した不確実性と正確性との間には強い相関関係があることが示唆された。
  論文  参考訳（メタデータ） (2025-02-17T10:03:01Z)
• Focused-DPO: Enhancing Code Generation Through Focused Preference Optimization on Error-Prone Points [51.40935517552926]
  Focused-DPOは、優先度最適化を重要なエラー発生箇所に向けることで、コード生成を強化するフレームワークである。 エラーを起こしやすい点に焦点を当てることで、Focused-DPOはモデル生成コードの正確性と機能を向上させる。
  論文  参考訳（メタデータ） (2025-02-17T06:16:02Z)
• Benchmarking Large Language Model Uncertainty for Prompt Optimization [4.151658495779136]
  本稿では,不確実性指標を評価するためのベンチマークデータセットを提案する。 現在のメトリクスは、正当性不確実性ではなく、出力の信頼性と多様性を反映したアンサー不確実性とより一致していることを示します。
  論文  参考訳（メタデータ） (2024-09-16T07:13:30Z)
• Learning a Factorized Orthogonal Latent Space using Encoder-only Architecture for Fault Detection; An Alarm management perspective [0.2455468619225742]
  本稿では,プロセス変数の誤同定および決定論的成分を効果的に分離する,エンコーダに基づく残差設計を提案する。 提案モデルは2つの異なるエンコーダを用いて、潜在空間を2つの空間に分解する。 提案モデルでは、ほぼゼロの誤報と誤検出を達成しつつ予測品質を著しく向上させる。
  論文  参考訳（メタデータ） (2024-08-24T09:00:45Z)
• Uncertainty Awareness of Large Language Models Under Code Distribution Shifts: A Benchmark Study [14.507068647009602]
  大規模言語モデル(LLM)は、人間の生産性を高めるために、プログラム言語分析に広く用いられている。 その信頼性は、さまざまなコード分散シフトによって損なわれ、一貫性のない出力につながる。 確率法は不確実性キャリブレーションと推定によってそのような影響を軽減することが知られている。
  論文  参考訳（メタデータ） (2024-01-12T00:00:32Z)
• Self-Evaluation Improves Selective Generation in Large Language Models [54.003992911447696]
  オープンエンド生成タスクをトークンレベルの予測タスクに再構成する。 我々はLSMに答えを自己評価するように指示する。 自己評価に基づくスコアリング手法をベンチマークする。
  論文  参考訳（メタデータ） (2023-12-14T19:09:22Z)
• Speculative Contrastive Decoding [55.378200871224074]
  大規模言語モデル(LLM)は、言語タスクにおいて例外的な性能を示すが、その自動回帰推論は高い計算要求のために制限され、露出バイアスにより準最適である。 投機的復号法とコントラスト的復号法に着想を得て, 単純かつ強力な復号法である投機的コントラスト的復号法(SCD)を導入する。
  論文  参考訳（メタデータ） (2023-11-15T14:15:30Z)
• Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
  大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。 本稿では,LLMのための不確実性分解フレームワークについて述べる。 提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
  論文  参考訳（メタデータ） (2023-11-15T05:58:35Z)
• Self-Evaluation Guided Beam Search for Reasoning [61.523627290397556]
  我々は,Large Language Model (LLM) の推論プロセスのガイドと校正を行うための段階的自己評価機構を導入する。 本稿では,ビームサーチによる自己評価ガイダンスを統合した復号アルゴリズムを提案する。 我々のアプローチは、GSM8K、AQuA、StrategyQAにおいて、対応するCodexバックボンドベースラインをわずかに精度6.34%、9.56%、および5.46%で上回る。
  論文  参考訳（メタデータ） (2023-05-01T02:37:59Z)
• Anomaly Detection Based on Selection and Weighting in Latent Space [73.01328671569759]
  SWADと呼ばれる新しい選択および重み付けに基づく異常検出フレームワークを提案する。 ベンチマークと実世界のデータセットによる実験は、SWADの有効性と優位性を示している。
  論文  参考訳（メタデータ） (2021-03-08T10:56:38Z)
• Deep Momentum Uncertainty Hashing [65.27971340060687]
  我々は,新しいDeep Momentum Uncertainity Hashing (DMUH)を提案する。 トレーニング中の不確実性を明示的に推定し、不確実性情報を利用して近似過程を導出する。 提案手法は,すべてのデータセット上で最高の性能を達成し,既存の最先端手法を大きなマージンで超越する。
  論文  参考訳（メタデータ） (2020-09-17T01:57:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。