論文の概要: Beyond Confidence: Rethinking Uncertainty Calibration in Deep Code Models

• arxiv url: http://arxiv.org/abs/2610.21248v1
• Date: Thu, 15 Oct 2026 04:43:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:16.182494
• Title: Beyond Confidence: Rethinking Uncertainty Calibration in Deep Code Models
• Title（参考訳）: 信頼を超えて - 深層コードモデルにおける不確かさの校正を再考する
• Abstract要約: 信頼性スコアや不確実性指標を含む既存の測定基準が選択予測の導出に有効かどうかを検討する。 7つのコードモデルを用いた欠陥予測と脆弱性検出の系統的研究を行う。 強い不確実性信号であっても、キャリブレーションが不十分で、高信頼度端での分離が限定的であることが判明した。
• 参考スコア（独自算出の注目度）: 11.136449698197174
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep learning models have shown significant promise in code-related tasks. While confidence calibration techniques have been proposed to improve model reliability, their effectiveness in real-world tasks with strict accuracy requirements remains uncertain. In this paper, we investigate two key questions: first, whether existing measurement metrics, including confidence scores and uncertainty metrics, are effective for guiding selective prediction; and second, whether existing calibration techniques can improve these metrics to better identify cases where model predictions are likely to succeed or fail. We conduct a systematic study on defect prediction and vulnerability detection using seven code models, evaluating thirteen uncertainty signals and three widely used post-hoc calibration methods. Our analysis reveals three major findings: (1) even strong uncertainty signals can remain poorly calibrated and provide limited separation at the high-confidence end, constraining selective prediction in practice; (2) standard post-hoc calibrators often improve calibration scores but do not consistently translate into better selective prediction behavior; and (3) commonly used calibration metrics can disagree with selective prediction performance, underscoring the need to evaluate both jointly. Moreover, our findings motivate a decision-oriented view of reliability in deep code models, where calibrated scores must be evaluated together with selective-prediction quality and retained-region risk before they can support accept--defer deployment.
• Abstract（参考訳）: ディープラーニングモデルは、コード関連のタスクにおいて大きな可能性を示しています。 モデルの信頼性を向上させるために信頼性校正手法が提案されているが、精度の厳しい実世界のタスクにおける有効性はいまだ不明である。 本稿では、信頼度スコアや不確実性指標を含む既存の測定基準が選択的予測の導出に有効であるかどうか、モデル予測が成功するか失敗する可能性のあるケースをよりよく識別するために、既存の校正手法がこれらの指標を改善することができるかどうか、という2つの主要な疑問について検討する。 本研究では、7つの符号モデルを用いて欠陥予測と脆弱性検出を行い、13個の不確実性信号と3つの広く使われているポストホックキャリブレーション手法を評価する。 分析の結果,(1) 強い不確実性信号であってもキャリブレーションが不十分で, 高い信頼度を保ち, 選択的予測を制約する,(2) 標準的なポストホックキャリブレータではキャリブレーションのスコアが向上するが, 常に選択的な予測行動に変換されない,(3) 一般的に使用されるキャリブレーションの指標は, 選択的な予測性能とは相容れないこと, 両者を共同で評価する必要があること, の3つが明らかになった。 さらに,本研究の結果は,評価スコアを選択予測品質と保持領域リスクとともに評価し,アセプション-遅延展開をサポートすることの可能なディープ・コード・モデルにおける信頼性に関する意思決定指向の視点を動機付けている。

関連論文リスト

• When to Answer and When to Defer: A Decision Framework for Reliable Code Predictions [11.136449698197174]
  この作業では、不確実性推定、モデルのキャリブレーション、およびコードモデルに対するツールベースの禁忌処理を統合する統一的なフレームワークを導入している。 提案設計では,信頼性の高い正当性確率を割り当てたり,不確実性の下で不確実性を排除したり,不確実性のあるケースを処理するための軽量なプログラム解析手順を実行することができる。
  論文  参考訳（メタデータ） (2026-05-19T05:04:42Z)
• Uncertainty-Aware Post-Hoc Calibration: Mitigating Confidently Incorrect Predictions Beyond Calibration Metrics [6.9681910774977815]
  本稿では、校正品質と不確実性を考慮した意思決定を向上させるためのポストホック校正フレームワークを提案する。 校正基準,不確実性認識性能測定,実証的コンフォメーションカバレッジを用いて総合評価を行った。 実験により,提案手法はイソトニックおよび焦点損失ベースラインと比較して,信頼性の低い予測精度と競合予測誤差を実現することが示された。
  論文  参考訳（メタデータ） (2025-10-19T23:55:36Z)
• Uncertainty-Driven Reliability: Selective Prediction and Trustworthy Deployment in Modern Machine Learning [1.2183405753834562]
  この論文は、不確実性推定が機械学習(ML)システムの安全性と信頼性を高める方法について考察する。 まず、モデルのトレーニング軌道は、アーキテクチャの変更や損失を伴わずに活用できるような、豊富な不確実性信号を含むことを示す。 本稿では,タスク間で動作し,深層アンサンブルのコストを回避し,最先端の選択的予測性能を実現する軽量なポストホック禁忌手法を提案する。
  論文  参考訳（メタデータ） (2025-08-11T02:33:53Z)
• Provably Reliable Conformal Prediction Sets in the Presence of Data Poisoning [53.42244686183879]
  コンフォーマル予測は、モデルに依存しない、分布のない不確実性定量化を提供する。 しかし、敵が訓練データと校正データを操作した場合の毒殺攻撃では、共形予測は信頼性が低い。 信頼性予測セット (RPS): 汚染下での信頼性保証を証明可能な共形予測セットを構築するための最初の効率的な方法を提案する。
  論文  参考訳（メタデータ） (2024-10-13T15:37:11Z)
• Two Sides of Miscalibration: Identifying Over and Under-Confidence Prediction for Network Calibration [1.192436948211501]
  安全クリティカルなタスクにおける信頼性予測には、ディープニューラルネットワークの信頼性校正が不可欠である。 ミススキャリブレーションは、過信と/または過信をモデル化する。 校正点とクラス別校正点を同定するために,新しい校正点である校正点を導入する。 クラスワイドの誤校正スコアをプロキシとして使用して,過度かつ過度に対処可能な校正手法を設計する。
  論文  参考訳（メタデータ） (2023-08-06T17:59:14Z)
• Toward Reliable Human Pose Forecasting with Uncertainty [51.628234388046195]
  我々は、複数のモデルを含む人間のポーズ予測のためのオープンソースのライブラリを開発し、複数のデータセットをサポートする。 我々は、パフォーマンスを高め、より良い信頼をもたらすために、問題の2つの不確実性を考案する。
  論文  参考訳（メタデータ） (2023-04-13T17:56:08Z)
• Reliability-Aware Prediction via Uncertainty Learning for Person Image Retrieval [51.83967175585896]
  UALは、データ不確実性とモデル不確実性を同時に考慮し、信頼性に配慮した予測を提供することを目的としている。 データ不確実性はサンプル固有のノイズを捕捉する」一方、モデル不確実性はサンプルの予測に対するモデルの信頼を表現している。
  論文  参考訳（メタデータ） (2022-10-24T17:53:20Z)
• Better Uncertainty Calibration via Proper Scores for Classification and Beyond [15.981380319863527]
  各校正誤差を適切なスコアに関連付ける適切な校正誤差の枠組みを導入する。 この関係は、モデルのキャリブレーションの改善を確実に定量化するために利用することができる。
  論文  参考訳（メタデータ） (2022-03-15T12:46:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。