論文の概要: When Uncertainty Isn't Enough: An Empirical Study of Self-Correction in Code Generation
- arxiv url: http://arxiv.org/abs/2608.14659v1
- Date: Fri, 31 Jul 2026 21:13:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-23 14:54:39.948716
- Title: When Uncertainty Isn't Enough: An Empirical Study of Self-Correction in Code Generation
- Title（参考訳）: 不確かさが十分でないとき--コード生成における自己補正の実証的研究
- Abstract要約: 本研究では、自然言語からコード生成への変換のために開発された不確実性推定手法と、選択的な自己補正によるコード生成を改善できるかどうかを検討する。
我々は,平均トークンエントロピー,言語的信頼度,$P(textTrue)$,エントロピーアンサンブル,意味エントロピープローブの5つの不確実性を評価した。
マルチサンプル$P(textTrue)$は正しさと最も強い相関を達成でき、セマンティックエントロピープローブを含む他のすべての手法は弱い相関しか得られない。
- 参考スコア（独自算出の注目度）: 3.657882835504143
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models for code generation often produce incorrect solutions without reliable indicators of failure. We study whether uncertainty estimation methods developed for natural language transfer to code generation, and whether such signals can improve code generation via selective self-correction. We evaluate five uncertainty methods: mean token entropy, verbalized confidence, $P(\text{True})$, entropy ensembles, and semantic entropy probes, across three small code LLMs on HumanEval and BigCodeBench. We find that multi-sample $P(\text{True})$ achieves the strongest correlation with correctness, while all the other methods, including semantic entropy probes, yield only weak correlation. We then use these uncertainty signals to drive three self-correction policies: adaptive decoding, uncertainty-based regeneration, and verification-based regeneration. Our results reveal a stronger negative finding than anticipated: uncertainty-based self-correction fails to reliably improve Pass@1, degrading accuracy in 5 of 6 configurations across both benchmarks ($-3$pp to $-10$pp), and adaptive decoding degrades accuracy in 4 of 6 configurations. Only verification-based self-correction reliably improves Pass@1, with gains of $+6$ to $+26$ percentage points on HumanEval and $+8$ to $+20$ percentage points on BigCodeBench, scaling inversely with baseline strength. These findings replicate consistently across both benchmarks and suggest that cheap uncertainty estimators are insufficient on their own to improve code correctness, and that their practical value lies in serving as gating signals for costlier execution-based correction loops rather than as standalone substitutes for verification.
- Abstract（参考訳）: コード生成のための大規模な言語モデルは、しばしば失敗の信頼できる指標のない間違ったソリューションを生成する。
本研究では、自然言語からコード生成への変換のために開発された不確実性推定手法と、選択的な自己補正によるコード生成を改善できるかどうかを検討する。
我々は,平均トークンエントロピー,言語的信頼度,$P(\text{True})$,エントロピーアンサンブル,意味エントロピープローブの5つの不確実性を,HumanEvalとBigCodeBench上の3つの小さなコードLLMで評価した。
マルチサンプル$P(\text{True})$は正しさと強い相関を達成し、セマンティックエントロピープローブを含む他のすべての手法は弱い相関しか得られない。
次に、これらの不確実性信号を用いて、適応的復号化、不確実性に基づく再生、検証に基づく再生という3つの自己補正ポリシーを推進します。
その結果,不確実性に基づく自己補正はPass@1を確実に改善できないこと,両ベンチマークで6つの設定のうち5つの設定で精度が低下すること,適応デコーディングは6つの設定で4つの設定で精度が低下すること,などの否定的な発見が予想された。
検証ベースの自己補正だけがPass@1を確実に改善し、HumanEvalの$6$から$+26$%、BigCodeBenchの$8$から$20$%%、ベースラインの強度で逆スケールする。
これらの結果は両ベンチマークで一貫して再現され、コード正確性を改善するために安価な不確実性推定器が単独では不十分であること、そしてそれらの実用的価値は、検証のためのスタンドアロンの代用としてではなく、コストの高い実行ベースの修正ループのゲーティング信号として機能することにあることを示唆している。
関連論文リスト
- $TCP_α$: Margin-Controlled Confidence estimation for reliable Music Information Retrieval [7.679660052685777]
ディープニューラルネットワークは、しばしば過信であり、誤った予測にも高い信頼を割り当てる。
既存のターゲットは、重複する信頼値を正しい予測と間違った予測に割り当てる一方、決定境界付近のエラーは正しい予測と区別できない信頼スコアを受け取る。
提案するTCP_$は,不特定サンプルに対してマージン制御されたペナルティを導入することで,これらの制限を解消する新しい信頼度ターゲットである。
論文 参考訳（メタデータ） (2026-08-20T17:58:50Z) - GradCuit: Credit-Assigned Gradient Flow Enables Robust and Interpretable Test-Time Latent Reasoning [61.67411833252235]
本稿では,プロンプトの隠蔽表現と生成された継続の間に,選択したTransformer層に最適化可能な潜在状態を挿入するGradCuitを紹介する。
5つの命令調整されたバックボーン、3つの推論ベンチマーク、2つの回答フォーマットで、GradCuitの平均精度は64.5%である。
解釈可能性について、トークンレベルの勾配属性は、遅延の影響が推論・接続子トークンに集中していることを明らかにする一方、層解析は、初期から中間のトランスフォーマー層を最も効果的な最適化空間として認識する。
論文 参考訳（メタデータ） (2026-08-03T17:55:24Z) - Escaping Confidence Trap: Evolutionary Decoding for Mathematical Reasoning in Diffusion LLMs [69.52853771994451]
我々はLLaDA 2.0の復号軌道を解析し、繰り返し拡散信頼トラップを同定する。
本稿では,拡散復号化を進化過程とみなす訓練不要なテスト時間スケーリングフレームワークである進化復号法を提案する。
論文 参考訳（メタデータ） (2026-08-01T11:48:25Z) - Do Uncertainty Signals Help? A Systematic Study of Uncertainty-Aware Decoding with Rollback Mechanisms [21.868021164923515]
本研究では、不確実性信号を用いて信頼できない生成領域を識別し、モデルを再訓練することなく、以前の有効なプレフィックスにロールバックする推論時戦略について検討する。
評価結果から,ロールバックフレームワークは評価ベンチマークとモデル設定において,等予算の再起動よりも改善されていることがわかった。
論文 参考訳（メタデータ） (2026-07-31T05:26:42Z) - SVR: Self-Verifying Refinement via Joint Verdict-Confidence Reinforcement Learning for Adaptive Test-Time Compute [62.3458279176813]
自己検証リファインメント(Self-Verifying Refinement)は、オラクルフリーのマルチターン強化学習フレームワークである。
自己検証を計算制御ポリシとして使用することを学ぶ。
マクロ平均精度は0.563で、平均で2.99回しか推測できない。
論文 参考訳（メタデータ） (2026-07-30T16:20:58Z) - Pause and Reflect: Conformal Aggregation for Chain-of-Thought Reasoning [8.024041325202612]
自己整合性を考慮した思考の連鎖(CoT)推論は、複数のサンプル推論パスを集約することで性能を向上させる。
集約不確実性に直接対処するCoT推論のコンフォメーション手順を導入する。
提案手法は,多数決を推理経路よりも重み付けしたスコアアグリゲーションに置き換え,共形リスク制御を用いた棄権規則を校正する。
論文 参考訳（メタデータ） (2026-05-13T20:33:59Z) - Reducing Hallucinations in LLM-Generated Code via Semantic Triangulation [2.8646222242803643]
我々はセマンティックトライアングルを導入し、解間の正確な検証可能なマッピングを保持する方法でプログラミング問題を変換する。
LiveCodeBenchとCodeEloのベンチマークでは、セマンティックトライアングルによって生成されたコードの信頼性が21%向上している。
また、複数の有効だが等価でない解を持つタスクに対して、真のコンセンサスを一貫して形成する唯一のアプローチでもある。
論文 参考訳（メタデータ） (2025-11-15T16:45:14Z) - Sample Smart, Not Hard: Correctness-First Decoding for Better Reasoning in LLMs [72.82403830490084]
我々は、復号規則は正確さによって校正されるべきであり、自信だけではならないと論じている。
Greedy-Threshold はこの目標を達成するための単純な戦略を提案します。
この結果から,不確実性の下での復号化が問題視され,数学や一般推論のベンチマークで有意な差がみられた。
論文 参考訳（メタデータ） (2025-10-07T14:46:12Z) - Towards Better Code Generation: Adaptive Decoding with Uncertainty Guidance [42.737012213197865]
AdaDecはアダプティブなデコーディングフレームワークで、ルックアヘッドベースで不確実性を認識した停止と再実行のメカニズムを採用している。
AdaDecは、greedyデコーディングと比較して、Pass@1の精度で20.9%の絶対的なゲインを達成する。
AdaDecは、必要に応じて再ランクを適用することで、計算オーバーヘッドとレイテンシを低減し、信頼性とともに効率を向上する。
論文 参考訳（メタデータ） (2025-06-10T16:49:46Z) - Uncertainty in Language Models: Assessment through Rank-Calibration [65.10149293133846]
言語モデル(LM)は、自然言語生成において有望な性能を示している。
与えられた入力に応答する際の不確実性を正確に定量化することは重要である。
我々は、LMの確実性と信頼性を評価するために、Rank$-$Calibration$と呼ばれる斬新で実用的なフレームワークを開発する。
論文 参考訳（メタデータ） (2024-04-04T02:31:05Z) - Self-Evaluation Guided Beam Search for Reasoning [61.523627290397556]
我々は,Large Language Model (LLM) の推論プロセスのガイドと校正を行うための段階的自己評価機構を導入する。
本稿では,ビームサーチによる自己評価ガイダンスを統合した復号アルゴリズムを提案する。
我々のアプローチは、GSM8K、AQuA、StrategyQAにおいて、対応するCodexバックボンドベースラインをわずかに精度6.34%、9.56%、および5.46%で上回る。
論文 参考訳（メタデータ） (2023-05-01T02:37:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。