論文の概要: Localized Calibrated Uncertainty in Code Language Models

• arxiv url: http://arxiv.org/abs/2512.24560v1
• Date: Wed, 31 Dec 2025 02:00:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-01 23:27:28.5322
• Title: Localized Calibrated Uncertainty in Code Language Models
• Title（参考訳）: コード言語モデルにおける局所校正不確かさ
• Authors: David Gros, Prem Devanbu,
• Abstract要約: 世代がユーザの意図と不一致する可能性のある場所をローカライズするための技術を提供します。 我々は,コードのどの部分が最小限のパッチで編集されるかを示すために,様々なテクニックが適切に校正された確率を割り振ることができるかを測定する。 最小限のスーパーバイザーモデルを用いたプローブは低いキャリブレーション誤差を達成でき、ブリアスキルスコアは数桁のモデルで生成されたコードに対して0.2の編集線を推定する。
• 参考スコア（独自算出の注目度）: 1.2733370160280995
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language models (LLMs) can generate complicated source code from natural language prompts. However, LLMs can generate output that deviates from what the user wants, requiring supervision and editing. To support this process, we offer techniques to localize where generations might be misaligned from user intent. We first create a dataset of "Minimal Intent Aligning Patches" of repaired LLM generated programs. Each program uses test cases to verify correctness. After creating a dataset of programs, we measure how well various techniques can assign a well-calibrated probability to indicate which parts of code will be edited in a minimal patch (i.e., give a probability that corresponds with empirical odds it is edited). We compare white-box probing (where we propose a technique for efficient arbitrary-span querying), against black-box reflective and self-consistency based approaches. We find probes with a small supervisor model can achieve low calibration error and Brier Skill Score of approx 0.2 estimating edited lines on code generated by models many orders of magnitude larger. We discuss the generalizability of the techniques, and the connections to AI oversight and control, finding a probe trained only on code shows some signs of generalizing to natural language errors if new probability scaling is allowed.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、自然言語プロンプトから複雑なソースコードを生成することができる。 しかし、LCMはユーザーが望むものから逸脱した出力を生成し、監督と編集を必要とする。 このプロセスをサポートするために、世代がユーザの意図と不一致している可能性のある場所をローカライズする技術を提供する。 まず,修復したLCM生成プログラムの「最小入出力パッチ」のデータセットを作成する。 各プログラムはテストケースを使用して正確性を検証する。 プログラムのデータセットを作成した後、さまざまなテクニックが、最小限のパッチ(すなわち、編集された経験的確率に対応する確率を与える)でどの部分が編集されるかを示すために、適切に校正された確率を割り振ることができるかを測定する。 我々は,ブラックボックスの反射と自己整合性に基づくアプローチに対して,ホワイトボックス探索(効率的な任意スパンクエリ手法を提案する)を比較した。 最小限のスーパーバイザーモデルを用いたプローブは、低いキャリブレーション誤差を達成し、多数のオーダーのモデルによって生成されたコードに対して、0.2の編集行を推定するBrier Skill Scoreを推定する。 提案手法の一般化可能性と,AIの監視と制御の関連性について考察し,新しい確率スケーリングが許された場合,コードのみにトレーニングされたプローブが自然言語エラーに一般化する兆候を示す。

関連論文リスト

• Zero-Shot Detection of LLM-Generated Code via Approximated Task Conditioning [8.571111167616165]
  LLM(Large Language Model)が生成するコードは、セキュリティ、知的財産権、学術的完全性に影響を及ぼす。 ゼロショットLLM生成符号検出における条件付き確率分布の役割について検討する。 与えられたコードスニペットを生成するのに使用される元のタスクを近似する新しいゼロショット検出手法を提案する。
  論文  参考訳（メタデータ） (2025-06-06T13:23:37Z)
• Fast Controlled Generation from Language Models with Adaptive Weighted Rejection Sampling [90.86991492288487]
  トークンの制約を評価するのは 違法にコストがかかる LCDは文字列上のグローバル分布を歪め、ローカル情報のみに基づいてトークンをサンプリングすることができる。 我々のアプローチは最先端のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-04-07T18:30:18Z)
• Pretraining Data Detection for Large Language Models: A Divergence-based Calibration Method [108.56493934296687]
  本研究では,乱数から発散する概念に触発された偏差に基づくキャリブレーション手法を導入し,プリトレーニングデータ検出のためのトークン確率のキャリブレーションを行う。 我々は,中国語テキスト上でのLLMの検出手法の性能を評価するために,中国語のベンチマークであるPatentMIAを開発した。
  論文  参考訳（メタデータ） (2024-09-23T07:55:35Z)
• Insights from Benchmarking Frontier Language Models on Web App Code Generation [1.7268889851975326]
  本稿では,WebApp1Kベンチマークによる16のフロンティア大言語モデル(LLM)の評価から得られた知見について述べる。 結果は、全てのモデルが類似した知識を持っているが、それらの性能は、それらが犯した誤りの頻度によって区別されることを示している。
  論文  参考訳（メタデータ） (2024-09-08T18:24:26Z)
• Developing Safe and Responsible Large Language Model : Can We Balance Bias Reduction and Language Understanding in Large Language Models? [2.089112028396727]
  本研究では,大規模言語モデルが知識や理解を犠牲にすることなく,安全でバイアスのないアウトプットを生成できるかどうかを考察する。 Safe and Responsible Large Language Model (textbfSR$_textLLM$)を紹介する。 textbfSR$_textLLM$は知識の整合性を保ちながらバイアスを効果的に軽減する。
  論文  参考訳（メタデータ） (2024-04-01T18:10:05Z)
• Zero-Shot Detection of Machine-Generated Codes [83.0342513054389]
  本研究は,LLMの生成したコードを検出するためのトレーニング不要な手法を提案する。 既存のトレーニングベースまたはゼロショットテキスト検出装置は、コード検出に効果がないことがわかった。 本手法は,リビジョン攻撃に対する堅牢性を示し,Javaコードによく適応する。
  論文  参考訳（メタデータ） (2023-10-08T10:08:21Z)
• LEVER: Learning to Verify Language-to-Code Generation with Execution [64.36459105535]
  本稿では,プログラムの実行結果の検証を学習することで,言語からコードへの生成を改善するシンプルな手法であるLEVERを提案する。 具体的には、LLMからサンプリングされたプログラムが、自然言語入力、プログラム自体とその実行結果に基づいて正しいか否かを判定するために、検証者を訓練する。 LEVER はベースコード LLMs (4.6% から 10.9% まで) を継続的に改善し、それらすべてに対して新しい最先端の結果を得る。
  論文  参考訳（メタデータ） (2023-02-16T18:23:22Z)
• Fault-Aware Neural Code Rankers [64.41888054066861]
  サンプルプログラムの正しさを予測できる故障認識型ニューラルネットワークローダを提案する。 我々のフォールト・アウェア・ローダは、様々なコード生成モデルのpass@1精度を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2022-06-04T22:01:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。