論文の概要: Do Uncertainty Signals Help? A Systematic Study of Uncertainty-Aware Decoding with Rollback Mechanisms
- arxiv url: http://arxiv.org/abs/2608.14653v1
- Date: Fri, 31 Jul 2026 05:26:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-23 14:54:39.944308
- Title: Do Uncertainty Signals Help? A Systematic Study of Uncertainty-Aware Decoding with Rollback Mechanisms
- Title（参考訳）: 不確かさ信号は役に立つか?ロールバック機構を用いた不確かさ認識復号の体系的研究
- Abstract要約: 本研究では、不確実性信号を用いて信頼できない生成領域を識別し、モデルを再訓練することなく、以前の有効なプレフィックスにロールバックする推論時戦略について検討する。
評価結果から,ロールバックフレームワークは評価ベンチマークとモデル設定において,等予算の再起動よりも改善されていることがわかった。
- 参考スコア（独自算出の注目度）: 21.868021164923515
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Prediction uncertainty is a widely adopted metric for quantifying model confidence, with downstream applications spanning model explanation, data selection, and prediction rollback. Despite its demonstrated utility, the potential of uncertainty quantification to enhance code generation in large language models (LLMs) remains largely underexplored, raising a critical question: to what extent can uncertainty serve as an effective signal for improving LLM-based code generation? To answer this question, we study uncertainty-aware rollback decoding, an inference-time strategy that uses uncertainty signals to identify unreliable generation regions and roll back to earlier valid prefixes without retraining the model. We evaluate this framework on seven code LLMs, five code generation benchmarks, and eight token-level uncertainty signals under a unified decoding setup. Our results show that the complete rollback framework improves over equal-budget restart across the evaluated benchmarks and model settings, with gains of up to 0.26 in pass@1 and 0.35 in AvgTestPassRate on functional code generation benchmarks, and an absolute improvement of up to 6.4\% in Patch-Aligned Safe Rate on Dsec-Python. Among the evaluated signals, information-theoretic measures such as token entropy and negative log-likelihood show the most favorable overall trend, frequently achieving the best or near-best results on standard benchmarks. A component-controlled ablation further shows that feedback-guided rollback provides the main improvement, while uncertainty localization provides an additional gain when checking, budget, rollback, and branch decay are held fixed.
- Abstract（参考訳）: 予測の不確実性は、モデル説明、データ選択、予測ロールバックにまたがる下流のアプリケーションにおいて、モデルの信頼性を定量化するための広く採用されている指標である。
実用性が実証されているにもかかわらず、大規模言語モデル(LLM)におけるコード生成を向上する不確実性定量化の可能性はほとんど調査されていない。
この問題に対処するために、不確実性を考慮したロールバック復号法について検討する。不確実性信号を用いて、信頼できない生成領域を特定し、モデルを再訓練することなく、以前の有効なプレフィックスにロールバックする推論時戦略である。
我々は,このフレームワークを7つのコードLLM,5つのコード生成ベンチマーク,トークンレベルの不確実性信号に対して,統一デコード設定で評価する。
以上の結果から,フルロールバックフレームワークは評価済みのベンチマークとモデル設定で,AvgTestPassRateで最大0.26,AvgTestPassRateで最大0.35,Dsec-Pythonで最大6.4\%の絶対的な改善を実現した。
評価された信号のうち、トークンエントロピーや負の対数類似度といった情報理論の指標が最も好意的な全体的な傾向を示し、標準ベンチマーク上での最良の結果やほぼベストな結果を達成することが多かった。
コンポーネント制御アブレーションは、フィードバック誘導ロールバックが主な改善をもたらすことを示し、不確実なローカライゼーションは、チェック、予算、ロールバック、ブランチの崩壊を固定する際のさらなる利得を提供する。
関連論文リスト
- Escaping Confidence Trap: Evolutionary Decoding for Mathematical Reasoning in Diffusion LLMs [69.52853771994451]
我々はLLaDA 2.0の復号軌道を解析し、繰り返し拡散信頼トラップを同定する。
本稿では,拡散復号化を進化過程とみなす訓練不要なテスト時間スケーリングフレームワークである進化復号法を提案する。
論文 参考訳（メタデータ） (2026-08-01T11:48:25Z) - When Uncertainty Isn't Enough: An Empirical Study of Self-Correction in Code Generation [3.657882835504143]
本研究では、自然言語からコード生成への変換のために開発された不確実性推定手法と、選択的な自己補正によるコード生成を改善できるかどうかを検討する。
我々は,平均トークンエントロピー,言語的信頼度,$P(textTrue)$,エントロピーアンサンブル,意味エントロピープローブの5つの不確実性を評価した。
マルチサンプル$P(textTrue)$は正しさと最も強い相関を達成でき、セマンティックエントロピープローブを含む他のすべての手法は弱い相関しか得られない。
論文 参考訳（メタデータ） (2026-07-31T21:13:02Z) - Conformal Changepoint Localization and Root Cause Analysis with Corrupted Observations [55.76952683833966]
本稿では,データ破損時の信頼性設定サイズを低減するために,重み付きCONCH(W-CONCH)と重み付きCROC(W-CROC)を提案する。
画像ベースおよび実世界の変化点と根本原因ベンチマークの実験は、不確実性ベースの重み付けが信頼性セットのサイズを大幅に減少させることを示している。
論文 参考訳（メタデータ） (2026-07-29T05:16:59Z) - Conformal Reliability: A New Evaluation Metric for Conditional Generation [62.761166941396844]
条件付き生成モデルは、近年、様々な応用において顕著な成功を収めている。
本稿では,信頼度を事前に設定した予測値に基づいて,信頼度という新たな評価指標を提案する。
本稿では, 予測セットの構築と, (ii) 構築した予測セット内の信頼性スコアを正確に最適化するフレームワークであるConformal Reliability(CReL)を紹介する。
論文 参考訳（メタデータ） (2026-05-29T03:52:44Z) - Think Twice Before You Write -- an Entropy-based Decoding Strategy to Enhance LLM Reasoning [32.332197731504046]
デコード戦略は、大きな言語モデルの推論能力を形成する上で、中心的な役割を果たす。
グレディ復号やビームサーチといった従来の手法は、しばしばエラーの伝播に悩まされる。
本稿では,トークンレベルの適応性を世代に導入するエントロピー誘導復号化フレームワークを提案する。
論文 参考訳（メタデータ） (2026-03-10T23:08:26Z) - How Confident Is the First Token? An Uncertainty-Calibrated Prompt Optimization Framework for Large Language Model Classification and Understanding [4.852493246050006]
大規模言語モデル(LLM)はアウトプットを自動回帰的に生成し、避けられないアウトプットの不確実性を引き起こす。
焦点損失にインスパイアされたファーストトケンベースの計量であるLSFU(Log-Scale Focal Uncertainty)を提案する。
UCPOFは、数点のベースラインよりも平均精度を6.03%向上し、フルRAGを5.75%上回り、平均検索トリガレートを50.66%低下させる。
論文 参考訳（メタデータ） (2026-02-23T11:55:14Z) - Confidence-Based Response Abstinence: Improving LLM Trustworthiness via Activation-Based Uncertainty Estimation [7.3923284353934875]
本稿では,大規模言語モデル(LLM)出力の正しさと密接に一致したRAGシステムにおける信頼度推定手法を提案する。
提案手法は、生のフィードフォワードネットワーク(FFN)を自己回帰信号として活用することにより、事前の不確実性定量化手法を拡張した。
我々の結果は、アクティベーションに基づく信頼度モデリングが、信頼性の高いRAGデプロイメントへのスケーラブルでアーキテクチャを意識したパスを提供することを示した。
論文 参考訳（メタデータ） (2025-10-15T16:55:56Z) - Uncertainty Quantification for Regression using Proper Scoring Rules [76.24649098854219]
CRPS,対数,2乗誤差,2次スコアなど,適切なスコアリングルールに基づく回帰のための統一的UQフレームワークを提案する。
実測パラメトリックな仮定に基づく不確実性尺度に対する閉形式式を導出し、モデルのアンサンブルを用いてそれらを推定する方法を示す。
合成および実世界の回帰データセットに対する広範な評価は、信頼性の高いUQ尺度を選択するためのガイダンスを提供する。
論文 参考訳（メタデータ） (2025-09-30T17:52:12Z) - Towards Better Code Generation: Adaptive Decoding with Uncertainty Guidance [42.737012213197865]
AdaDecはアダプティブなデコーディングフレームワークで、ルックアヘッドベースで不確実性を認識した停止と再実行のメカニズムを採用している。
AdaDecは、greedyデコーディングと比較して、Pass@1の精度で20.9%の絶対的なゲインを達成する。
AdaDecは、必要に応じて再ランクを適用することで、計算オーバーヘッドとレイテンシを低減し、信頼性とともに効率を向上する。
論文 参考訳（メタデータ） (2025-06-10T16:49:46Z) - UncertaintyRAG: Span-Level Uncertainty Enhanced Long-Context Modeling for Retrieval-Augmented Generation [93.38604803625294]
IncertaintyRAG, a novel approach for long-context Retrieval-Augmented Generation (RAG)について紹介する。
我々は、SNR(Signal-to-Noise Ratio)ベースのスパン不確実性を用いて、テキストチャンク間の類似性を推定する。
不確かさRAGはLLaMA-2-7Bでベースラインを2.03%上回り、最先端の結果を得る。
論文 参考訳（メタデータ） (2024-10-03T17:39:38Z) - Synchronous Faithfulness Monitoring for Trustworthy Retrieval-Augmented Generation [96.78845113346809]
Retrieval-augmented Language Model (RALMs) は、知識集約型タスクにおいて、高い性能と幅広い適用性を示している。
本稿では,非偽文の検出に微細な復号力学を利用する軽量モニタであるSynCheckを提案する。
また、長文検索拡張生成のためのビームサーチによって導かれる忠実度指向の復号アルゴリズムであるFODを導入する。
論文 参考訳（メタデータ） (2024-06-19T16:42:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。