論文の概要: Calibration, Not Compilation: Detecting and Repairing Misspecified Probabilistic Programs Written by Language Models
- arxiv url: http://arxiv.org/abs/2606.31630v1
- Date: Tue, 30 Jun 2026 13:16:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-01 18:27:19.232255
- Title: Calibration, Not Compilation: Detecting and Repairing Misspecified Probabilistic Programs Written by Language Models
- Title（参考訳）: 校正・校正・補修:言語モデルによる不特定確率的プログラムの検出と修復
- Abstract要約: 言語モデルはますます確率的プログラムを書くようになる(NumPyro、Stan、Pyro)
すべてのユニットテストをコンパイルし、実行し、パスするプログラムは、偶数論的に間違っている。
したがって、正しい検証はテストスイートではなく、ベイズワークフロー自身である。
- 参考スコア（独自算出の注目度）: 31.082191748525137
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Language models increasingly write probabilistic programs (in NumPyro, Stan, or Pyro), but a program that compiles, runs, and passes every unit test can still be \emph{statistically} wrong -- a Gaussian likelihood for heavy-tailed data, a Poisson for over-dispersed counts, an invalid prior support, or a pathological parameterization. The right verifier is therefore not a test suite but the Bayesian workflow itself: posterior predictive checks, simulation-based calibration, sampler diagnostics ($\hat R$, divergences, ESS), and held-out predictive density. We study this calibration oracle along three axes. \textbf{Detection:} on a benchmark of $14$ misspecification types across $10$ model families ($200$ instances), it flags the bug with AUC $0.97$ ($88\%$ at $2\%$ FPR \emph{when handed the correct reference program, an upper bound}) -- and a fully \emph{reference-free} version that uses no correct program reaches $62$--$78\%$ (the upper figure from a small automated model search), versus $0\%$ for a unit-test oracle. \textbf{Repair:} used as feedback in an LLM repair loop across fifteen models, calibration significantly outperforms unit-test feedback -- which is itself \emph{significantly worse than no feedback at all}, a passing test inducing false confidence that suppresses repair -- and improves over no feedback on strong-but-unsaturated models (GPT-5.1 $33{\to}92\%$, Claude $75{\to}100\%$; paired McNemar, $n{=}228$). \textbf{Reality:} on programs LLMs write from scratch for neutral briefs, $15$--$47\%$ of runnable ones are statistically misspecified (unit tests catch none), and calibration-guided repair significantly beats LLM-as-judge review, a Bayesian-workflow checklist, and data-summary self-debug. Across all three, the lesson is the same: for probabilistic programs, correctness is calibration, not compilation.
- Abstract（参考訳）: 言語モデルは、確率的プログラム(NumPyro、Stan、Pyro)を書く傾向にあるが、すべてのユニットテストをコンパイル、実行、パスするプログラムは、依然として \emph{statistically} wrong -- 重み付きデータに対するガウス的可能性、過分散カウントに対するPoisson、無効な事前サポート、または病理学的パラメータ化である。
したがって、正しい検証はテストスイートではなく、ベイズワークフローそのものである: 後続の予測チェック、シミュレーションベースのキャリブレーション、サンプル診断($\hat R$, divergences, ESS)、保留の予測密度。
我々はこの校正オラクルを3つの軸に沿って研究する。
AUC $0.97$$$88\%$ at $2\%$ FPR \emph{when handed the correct reference program, an upper bound}) -- and a fully \emph{reference-free} version that using not correct program is reach 6,2$--78\%$ ( upper figure from a small automated model search) while $0\%$ for a unit-test oracle.
15モデルにわたるLLM修復ループのフィードバックとして使用される。キャリブレーションは、単体テストのフィードバック -- それ自体は、まったくのフィードバックよりもはるかに悪い -- を著しく上回り、リファクタリングを抑制する偽の信頼を誘導するパステストは、強いが不飽和なモデル(GPT-5.1 $33{\to}92\%$, Claude 7,5{\to}100\%$; ペア化されたMcNemar, $n{=}228$)に対するフィードバックを全く改善する。
プログラム上の LLM は、中立的なブリーフィングのためにゼロから書き、150$--47$% のランナブルなものは統計的に不特定であり(ユニットテストはキャッチなし)、キャリブレーションによる修復は LLM-as-judge レビュー、ベイジアン・ワークフローチェックリスト、データ・サマー・セルフデバッグを大きく上回っている。
確率的プログラムの場合、正確性は校正であり、コンパイルではない。
関連論文リスト
- Measuring in-context algorithmic reasoning in language models against an exact Bayes-optimal standard [0.010742675209112621]
F-ICLは、正しい帰納的推論のためのテキスト内学習ベンチマークである。
長さ15億のプログラム全てをLle13$で包含し、ベイズ最適後部を閉形式で計算する。
モデルはクエリの最大92%を正しく答えるが、46モデルのうち45モデルはキーストローク参照よりも最適な位置から分布を得る。
論文 参考訳（メタデータ） (2026-08-03T01:21:44Z) - Round-Trip Consistency: Bidirectional Diffusion Models Can Predict Their Own Rollout Errors [51.56484100374058]
自動回帰モデルは、長時間のロールアウトでエラーを蓄積しますが、デプロイ時には、それを測定するための基本的な真実はありません。
我々は、方向フラグを介して動的システムを前方または後方にステップする単一の条件付き潜在拡散モデルを訓練する。
この双方向性は測定不要なテスト時間誤差信号を提供することを示す。
論文 参考訳（メタデータ） (2026-08-01T13:49:46Z) - Future Validity is the Missing Statistic: From Impossibility to $Φ$-Estimation for Grammar-Faithful Speculative Decoding [21.074583041375888]
文法制約付き生成は、しばしば局所的な語彙マスキングと投機的復号化と組み合わせられる。
局所マスクアクセスを持つ投機的デコーダ,レバイアサン拒絶,および局所予測分布$mathrmproj$からのロールバック音質サンプルは,文法条件分布$star$ではなく,いずれかを示す。
論文 参考訳（メタデータ） (2026-05-08T13:08:18Z) - Correction and Corruption: A Two-Rate View of Error Flow in LLM Protocols [51.56484100374058]
そこで本研究では,単一プロトコルステップを正確なマッチングタスクで監査するためのペアアウトカム計測インタフェースを提案する。
各インスタンスについて、インターフェースはベースラインの正当性ビットと後ステップの正当性ビットを記録する。
これらのレートは精度の変化を予測し、種、混合物、パイプライン間でテスト可能な再利用可能な経験的インターフェースを定義する。
論文 参考訳（メタデータ） (2026-04-20T13:25:40Z) - Separating Oblivious and Adaptive Models of Variable Selection [13.61388474201292]
最適$ell_infty$誤差は、ほぼ直線時間で$gtrsim k2$サンプルで達成可能であることを示す。
本研究は,一括適応型 $ モデルの予備試験で結論付ける。
論文 参考訳（メタデータ） (2026-02-18T16:10:35Z) - INC: An Indirect Neural Corrector for Auto-Regressive Hybrid PDE Solvers [61.84396402100827]
本稿では,学習した補正を支配方程式に統合する間接ニューラルコレクタ(mathrmINC$)を提案する。
$mathrmINC$は、$t-1 + L$の順番でエラー増幅を減らし、$t$はタイムステップ、$L$はリプシッツ定数である。
大規模なベンチマークで$mathrmINC$をテストし、1Dカオスシステムから3D乱流まで、多くの異なる解法、神経バックボーン、テストケースをカバーした。
論文 参考訳（メタデータ） (2025-11-16T20:14:28Z) - CarBoN: Calibrated Best-of-N Sampling Improves Test-time Reasoning [62.56541355300587]
本稿では,高逆推論経路に向けてモデルを適応的に修正する一般的なテスト時間校正フレームワークを提案する。
本フレームワークでは,まず解空間を探索し,次にロジットの校正を学習する二相法であるCarBoNを提案する。
MATH-500とAIME-2024の実験では、CarBoNは効率を向上し、同じ精度に達するために最大4倍のロールアウトが可能である。
論文 参考訳（メタデータ） (2025-10-17T14:04:37Z) - Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers [90.50039419576807]
RLVR(Reinforcement Learning with Verifiable Rewards)は、人為的なラベル付けを避けるために、自動検証に対するポリシーを訓練する。
認証ハッキングの脆弱性を軽減するため、多くのRLVRシステムはトレーニング中にバイナリ$0,1$の報酬を破棄する。
この選択にはコストがかかる:textitfalse negatives(正しい回答、FNを拒絶)とtextitfalse positives(間違った回答、FPを受け入れる)を導入する。
論文 参考訳（メタデータ） (2025-10-01T13:56:44Z) - Distribution-Independent Regression for Generalized Linear Models with
Oblivious Corruptions [49.69852011882769]
一般化線形モデル (GLMs) の重畳雑音の存在下での回帰問題に対する最初のアルゴリズムを示す。
本稿では,この問題に最も一般的な分布非依存設定で対処するアルゴリズムを提案する。
これは、サンプルの半分以上を任意に破損させる難聴ノイズを持つGLMレグレッションに対する最初の新しいアルゴリズムによる結果である。
論文 参考訳（メタデータ） (2023-09-20T21:41:59Z) - REAL: A Representative Error-Driven Approach for Active Learning [15.477921200056887]
$REAL$は、$underlineR$epresentative $underlineE$rrors for $underlineA$ctive $underlineL$でデータインスタンスを選択する新しいアプローチである。
クラスタ内のEmphpseudoエラーとしてマイノリティ予測を識別し、推定エラー密度に基づいてクラスタの適応的なサンプリング予算を割り当てる。
論文 参考訳（メタデータ） (2023-07-03T12:39:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。