論文の概要: Characterizing Overconfident Failure in LLM-Based Code Generation

• arxiv url: http://arxiv.org/abs/2610.11300v1
• Date: Thu, 08 Oct 2026 06:07:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.824027
• Title: Characterizing Overconfident Failure in LLM-Based Code Generation
• Title（参考訳）: LLMに基づくコード生成における過信欠陥の特徴付け
• Abstract要約: 大規模言語モデル(LLM)は、コードの自動生成にますます使われている。 しかし、生成したプログラムは、実行ベースの正当性チェックを失敗しながら、構文的に妥当であるように見える。 本稿では,不正なプログラムが正しいプログラムに匹敵するトークンレベルの信頼性でしばしば生成されるコードLLMにおける過信のジレンマについて検討する。
• 参考スコア（独自算出の注目度）: 11.136449698197174
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are increasingly used for automated code generation, but generated programs can appear syntactically plausible while still failing execution-based correctness checks. Existing validation methods, such as testing and program analysis, remain essential but are often incomplete, costly, or applied only after generation. Model-derived uncertainty is therefore a natural early reliability signal. This paper studies the dilemma of overconfidence in code LLMs where incorrect programs are often generated with token-level confidence comparable to correct programs. We study this dilemma across four open-source code models and three execution-based benchmarks. Our analysis begins by investigating whether existing uncertainty metrics provide reliable proxies for execution correctness in code generation. We then characterize overconfidence at both global and local token levels, asking whether incorrect programs remain indistinguishable from correct ones under confidence and entropy summaries, including selective generation and the limits of instruction tuning. Finally, we evaluate whether common mitigation strategies reduce this failure mode. Our study yields four findings. First, existing uncertainty signals provide only partial and model-dependent evidence of execution failure. Second, overconfidence persists at both program and token levels, and uncertainty-based selection does not consistently improve accepted-set accuracy. Third, instruction tuning can increase certainty on failing generations without consistently improving correctness discrimination. Fourth, common mitigation techniques improve specific aspects of reliability but do not reliably resolve overconfident failure. Our exploratory latent analysis suggests that hidden representations may encode correctness-related signals that output confidence does not expose.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、コードの自動生成にますます使われていますが、生成されたプログラムは、実行ベースの正確性チェックを失敗しながら、構文的に妥当に見えます。 テストやプログラム分析のような既存のバリデーション手法は依然として必須であるが、しばしば不完全でコストがかかるか、生成後にのみ適用される。 したがって、モデル由来の不確実性は自然な早期信頼性信号である。 本稿では,不正なプログラムが正しいプログラムに匹敵するトークンレベルの信頼性でしばしば生成されるコードLLMにおける過信のジレンマについて検討する。 我々はこのジレンマを4つのオープンソースコードモデルと3つの実行ベースのベンチマークで研究する。 私たちの分析は、既存の不確実性メトリクスがコード生成における実行の正確性に信頼できるプロキシを提供するかどうかを調査することから始まります。 次に、グローバルおよびローカルのトークンレベルでの過信を特徴付け、不正確なプログラムが、信頼とエントロピーの要約の下で、選択生成や命令チューニングの限界を含む正しいプログラムと区別できないかどうかを問う。 最後に、一般的な緩和策がこの障害モードを減少させるかどうかを評価する。 私たちの研究は4つの結果をもたらす。 まず、既存の不確実性信号は、部分的およびモデルに依存した実行失敗の証拠のみを提供する。 第二に、過信はプログラムレベルとトークンレベルの両方で持続し、不確実性に基づく選択は受け入れセットの精度を一貫して改善しない。 第三に、命令チューニングは、常に正しさの判定を改善することなく、失敗世代に対する確実性を高めることができる。 第4に、一般的な緩和技術は信頼性の特定の側面を改善するが、過信の失敗を確実に解決しない。 我々の探索的潜伏分析は、隠れ表現は、出力信頼度が露出しない正確性関連信号を符号化する可能性があることを示唆している。

関連論文リスト

• Escaping Confidence Trap: Evolutionary Decoding for Mathematical Reasoning in Diffusion LLMs [69.52853771994451]
  我々はLLaDA 2.0の復号軌道を解析し、繰り返し拡散信頼トラップを同定する。 本稿では,拡散復号化を進化過程とみなす訓練不要なテスト時間スケーリングフレームワークである進化復号法を提案する。
  論文  参考訳（メタデータ） (2026-08-01T11:48:25Z)
• When Uncertainty Isn't Enough: An Empirical Study of Self-Correction in Code Generation [3.657882835504143]
  本研究では、自然言語からコード生成への変換のために開発された不確実性推定手法と、選択的な自己補正によるコード生成を改善できるかどうかを検討する。 我々は,平均トークンエントロピー,言語的信頼度,$P(textTrue)$,エントロピーアンサンブル,意味エントロピープローブの5つの不確実性を評価した。 マルチサンプル$P(textTrue)$は正しさと最も強い相関を達成でき、セマンティックエントロピープローブを含む他のすべての手法は弱い相関しか得られない。
  論文  参考訳（メタデータ） (2026-07-31T21:13:02Z)
• Do Uncertainty Signals Help? A Systematic Study of Uncertainty-Aware Decoding with Rollback Mechanisms [21.868021164923515]
  本研究では、不確実性信号を用いて信頼できない生成領域を識別し、モデルを再訓練することなく、以前の有効なプレフィックスにロールバックする推論時戦略について検討する。 評価結果から,ロールバックフレームワークは評価ベンチマークとモデル設定において,等予算の再起動よりも改善されていることがわかった。
  論文  参考訳（メタデータ） (2026-07-31T05:26:42Z)
• Conformal Reliability: A New Evaluation Metric for Conditional Generation [62.761166941396844]
  条件付き生成モデルは、近年、様々な応用において顕著な成功を収めている。 本稿では,信頼度を事前に設定した予測値に基づいて,信頼度という新たな評価指標を提案する。 本稿では, 予測セットの構築と, (ii) 構築した予測セット内の信頼性スコアを正確に最適化するフレームワークであるConformal Reliability(CReL)を紹介する。
  論文  参考訳（メタデータ） (2026-05-29T03:52:44Z)
• Confidence-Aware Alignment Makes Reasoning LLMs More Reliable [65.44962502963378]
  CASPOは、トークンレベルの信頼度とステップワイドな論理的正しさを、個別の報酬モデルをトレーニングせずに整合させるフレームワークである。 推論中、信頼を意識した思考(CaT)を提案し、不確実な推論枝を無視可能なO(V)レイテンシで動的に生成する。 10のベンチマークと複数のモデルファミリでの実験では、CASPOは推論の信頼性と推論効率を一貫して改善している。
  論文  参考訳（メタデータ） (2026-05-08T07:08:25Z)
• Uncertainty-aware Generative Recommendation [52.0751022792023]
  Uncertainty-aware Generative Recommendation (UGR)は、適応最適化のための重要な信号として不確実性を利用する統一的なフレームワークである。 UGRは優れたレコメンデーション性能を得るだけでなく、トレーニングを根本的に安定化させ、標準手法でよく見られる性能劣化を防ぐ。
  論文  参考訳（メタデータ） (2026-02-12T08:48:51Z)
• ConfTuner: Training Large Language Models to Express Their Confidence Verbally [58.63318088243125]
  大規模言語モデル(LLM)は、科学、法律、医療といった高度な領域にますます展開されている。 LLMは、しばしば「過信」(overconfidence)として知られる、高い信頼で誤った答えを生成するために観察される。
  論文  参考訳（メタデータ） (2025-08-26T09:25:32Z)
• Towards Better Code Generation: Adaptive Decoding with Uncertainty Guidance [42.737012213197865]
  AdaDecはアダプティブなデコーディングフレームワークで、ルックアヘッドベースで不確実性を認識した停止と再実行のメカニズムを採用している。 AdaDecは、greedyデコーディングと比較して、Pass@1の精度で20.9%の絶対的なゲインを達成する。 AdaDecは、必要に応じて再ランクを適用することで、計算オーバーヘッドとレイテンシを低減し、信頼性とともに効率を向上する。
  論文  参考訳（メタデータ） (2025-06-10T16:49:46Z)
• Reliability-Aware Prediction via Uncertainty Learning for Person Image Retrieval [51.83967175585896]
  UALは、データ不確実性とモデル不確実性を同時に考慮し、信頼性に配慮した予測を提供することを目的としている。 データ不確実性はサンプル固有のノイズを捕捉する」一方、モデル不確実性はサンプルの予測に対するモデルの信頼を表現している。
  論文  参考訳（メタデータ） (2022-10-24T17:53:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。