論文の概要: AdaDec: Uncertainty-Guided Adaptive Decoding for LLM-based Code Generation

• arxiv url: http://arxiv.org/abs/2506.08980v1
• Date: Tue, 10 Jun 2025 16:49:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-11 15:11:42.950883
• Title: AdaDec: Uncertainty-Guided Adaptive Decoding for LLM-based Code Generation
• Title（参考訳）: AdaDec: LLMベースのコード生成のための不確実なガイド付き適応デコーディング
• Authors: Kaifeng He, Mingwei Liu, Chong Wang, Zike Li, Yanlin Wang, Xin Peng, Zibin Zheng,
• Abstract要約: AdaDecは、大規模な言語モデルのための不確実性誘導適応デコーディングフレームワークである。 AdaDecはモデル固有の不確実性しきい値を学び、不確実性が高い場合にルックアヘッドベースのリランク戦略を適用します。 実験によると、AdaDecはgreedy復号化よりもPass@1の精度を最大15.5%向上している。
• 参考スコア（独自算出の注目度）: 28.99265405319943
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Code generation with large language models (LLMs) is highly sensitive to token selection during decoding, particularly at uncertain decision points that influence program logic. While standard strategies like greedy and beam search treat all tokens uniformly, they overlook code-specific uncertainty patterns, leading to suboptimal performance. This paper presents an empirical study revealing that many generation errors stem from ranking mistakes at high-uncertainty steps, where the correct token is present but not top-ranked. Motivated by these findings, we propose AdaDec, an uncertainty-guided adaptive decoding framework that integrates a token-level pause-then-rerank mechanism driven by token uncertainty (Shannon entropy). AdaDec learns model-specific uncertainty thresholds and applies a lookahead-based reranking strategy when uncertainty is high. Experiments on HumanEval and MBPP benchmarks show that AdaDec improves Pass@1 accuracy by up to 15.5% over greedy decoding, outperforms or matches beam search, and reduces computational cost and latency through efficient, selective pausing. Our results highlight the promise of uncertainty-aware adaptive decoding for improving the reliability and efficiency of LLM-based code generation.
• Abstract（参考訳）: 大規模言語モデル(LLM)によるコード生成は、復号時にトークンの選択に非常に敏感である。 greedyやビームサーチといった標準的な戦略はすべてのトークンを均一に扱うが、コード固有の不確実性パターンを見落とし、最適以下のパフォーマンスをもたらす。 本論文は,多くの世代エラーは,高い不確実性ステップにおいて,正しいトークンが存在するが上位にない場合に,ランク付けミスに起因することを示す実証的研究である。 これらの知見により,トークン不確実性(シャノンエントロピー)によって駆動されるトークンレベルの停止-待ち時間機構を統合する不確実性誘導適応デコーディングフレームワークであるAdaDecを提案する。 AdaDecはモデル固有の不確実性しきい値を学び、不確実性が高い場合にルックアヘッドベースのリランク戦略を適用します。 HumanEval と MBPP ベンチマークの実験では、AdaDec はフレディ復号化やビームサーチの精度を最大15.5%向上し、効率よく選択的に処理することで計算コストとレイテンシを低減している。 この結果から,LLMベースのコード生成の信頼性と効率を向上させるため,不確実性を考慮した適応デコードの実現が期待できる。

関連論文リスト

• Confidence Optimization for Probabilistic Encoding [0.9999629695552196]
  距離計算を調整するための信頼度対応機構を導入する。 我々は、従来のKL分散に基づく分散正規化を、分散を直接制約するより単純なL2正規化項に置き換える。 本手法はBERTモデルとRoBERTaモデルの両方の性能と一般化を大幅に改善する。
  論文  参考訳（メタデータ） (2025-07-22T15:32:27Z)
• A Mixture of Linear Corrections Generates Secure Code [20.94236753015922]
  大規模言語モデル(LLM)は、洗練されたコード生成タスクに熟練しているが、コードの脆弱性を確実に検出または回避するには効果がない。 現在のLLMは、脆弱なコードとセキュアなコードとを区別する正確な内部表現を符号化している。 本研究では,モデルのトークン生成確率を補正によって微調整する推論時ステアリング手法を開発した。
  論文  参考訳（メタデータ） (2025-07-13T06:27:33Z)
• COIN: Uncertainty-Guarding Selective Question Answering for Foundation Models with Provable Risk Guarantees [51.5976496056012]
  COINは、統計的に有効な閾値を校正し、質問毎に1つの生成された回答をフィルタリングする不確実性保護選択フレームワークである。 COINはキャリブレーションセット上で経験的誤差率を推定し、信頼区間法を適用して真誤差率に高い確率上界を確立する。 リスク管理におけるCOINの堅牢性,許容回答を維持するための強いテストタイムパワー,キャリブレーションデータによる予測効率を実証する。
  論文  参考訳（メタデータ） (2025-06-25T07:04:49Z)
• Token-Level Uncertainty Estimation for Large Language Model Reasoning [24.56760223952017]
  大きな言語モデル(LLM)は印象的な機能を示していますが、その出力品質はさまざまなアプリケーションシナリオで相容れないままです。 本稿では, LLMの自己評価と, 数学的推論における生成品質の自己向上を可能にするトークンレベルの不確実性推定フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-16T22:47:32Z)
• Uncertainty-Guided Chain-of-Thought for Code Generation with LLMs [45.33160999781074]
  大規模言語モデル(LLM)の問題解決能力向上に有効な手法として,チェーン・オブ・ソート(CoT)推論が実証されている。 我々は、不確実性を認識したCoT推論機構を組み込むことで、コード生成を向上させるためのUnCert-CoTを導入する。
  論文  参考訳（メタデータ） (2025-03-19T15:40:45Z)
• Uncertainty-Aware Decoding with Minimum Bayes Risk [70.6645260214115]
  予測されたリスクに応じてモデル生成を選択する最小ベイズリスク復号法を,原理化された不確実性認識復号法に一般化する方法を示す。 この修正された予測リスクは、出力の選択と生成をいつ中止するかの判断の両方に有用であり、オーバーヘッドを発生させることなく改善を提供できることを示す。
  論文  参考訳（メタデータ） (2025-03-07T10:55:12Z)
• Assessing Correctness in LLM-Based Code Generation via Uncertainty Estimation [0.0]
  LLM生成符号の正確性のプロキシとして不確実性推定を検討する。 自然言語生成からコード生成領域への2つの最先端技術を適用する。 これらの手法を用いて計算した不確実性と正確性との間には強い相関関係があることが示唆された。
  論文  参考訳（メタデータ） (2025-02-17T10:03:01Z)
• Focused-DPO: Enhancing Code Generation Through Focused Preference Optimization on Error-Prone Points [51.40935517552926]
  Focused-DPOは、優先度最適化を重要なエラー発生箇所に向けることで、コード生成を強化するフレームワークである。 エラーを起こしやすい点に焦点を当てることで、Focused-DPOはモデル生成コードの正確性と機能を向上させる。
  論文  参考訳（メタデータ） (2025-02-17T06:16:02Z)
• Benchmarking Large Language Model Uncertainty for Prompt Optimization [4.151658495779136]
  本稿では,不確実性指標を評価するためのベンチマークデータセットを提案する。 現在のメトリクスは、正当性不確実性ではなく、出力の信頼性と多様性を反映したアンサー不確実性とより一致していることを示します。
  論文  参考訳（メタデータ） (2024-09-16T07:13:30Z)
• Learning a Factorized Orthogonal Latent Space using Encoder-only Architecture for Fault Detection; An Alarm management perspective [0.2455468619225742]
  本稿では,プロセス変数の誤同定および決定論的成分を効果的に分離する,エンコーダに基づく残差設計を提案する。 提案モデルは2つの異なるエンコーダを用いて、潜在空間を2つの空間に分解する。 提案モデルでは、ほぼゼロの誤報と誤検出を達成しつつ予測品質を著しく向上させる。
  論文  参考訳（メタデータ） (2024-08-24T09:00:45Z)
• Uncertainty Awareness of Large Language Models Under Code Distribution Shifts: A Benchmark Study [14.507068647009602]
  大規模言語モデル(LLM)は、人間の生産性を高めるために、プログラム言語分析に広く用いられている。 その信頼性は、さまざまなコード分散シフトによって損なわれ、一貫性のない出力につながる。 確率法は不確実性キャリブレーションと推定によってそのような影響を軽減することが知られている。
  論文  参考訳（メタデータ） (2024-01-12T00:00:32Z)
• Self-Evaluation Improves Selective Generation in Large Language Models [54.003992911447696]
  オープンエンド生成タスクをトークンレベルの予測タスクに再構成する。 我々はLSMに答えを自己評価するように指示する。 自己評価に基づくスコアリング手法をベンチマークする。
  論文  参考訳（メタデータ） (2023-12-14T19:09:22Z)
• Speculative Contrastive Decoding [55.378200871224074]
  大規模言語モデル(LLM)は、言語タスクにおいて例外的な性能を示すが、その自動回帰推論は高い計算要求のために制限され、露出バイアスにより準最適である。 投機的復号法とコントラスト的復号法に着想を得て, 単純かつ強力な復号法である投機的コントラスト的復号法(SCD)を導入する。
  論文  参考訳（メタデータ） (2023-11-15T14:15:30Z)
• Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
  大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。 本稿では,LLMのための不確実性分解フレームワークについて述べる。 提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
  論文  参考訳（メタデータ） (2023-11-15T05:58:35Z)
• Self-Evaluation Guided Beam Search for Reasoning [61.523627290397556]
  我々は,Large Language Model (LLM) の推論プロセスのガイドと校正を行うための段階的自己評価機構を導入する。 本稿では,ビームサーチによる自己評価ガイダンスを統合した復号アルゴリズムを提案する。 我々のアプローチは、GSM8K、AQuA、StrategyQAにおいて、対応するCodexバックボンドベースラインをわずかに精度6.34%、9.56%、および5.46%で上回る。
  論文  参考訳（メタデータ） (2023-05-01T02:37:59Z)
• Anomaly Detection Based on Selection and Weighting in Latent Space [73.01328671569759]
  SWADと呼ばれる新しい選択および重み付けに基づく異常検出フレームワークを提案する。 ベンチマークと実世界のデータセットによる実験は、SWADの有効性と優位性を示している。
  論文  参考訳（メタデータ） (2021-03-08T10:56:38Z)
• Deep Momentum Uncertainty Hashing [65.27971340060687]
  我々は,新しいDeep Momentum Uncertainity Hashing (DMUH)を提案する。 トレーニング中の不確実性を明示的に推定し、不確実性情報を利用して近似過程を導出する。 提案手法は,すべてのデータセット上で最高の性能を達成し,既存の最先端手法を大きなマージンで超越する。
  論文  参考訳（メタデータ） (2020-09-17T01:57:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。