論文の概要: Which Signals of Code Correctness Survive Distribution Shift? Hidden-State and Causal Predictors of Program and Verdict Correctness

• arxiv url: http://arxiv.org/abs/2611.07876v1
• Date: Thu, 05 Nov 2026 11:57:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 21:50:50.671977
• Title: Which Signals of Code Correctness Survive Distribution Shift? Hidden-State and Causal Predictors of Program and Verdict Correctness
• Title（参考訳）: コード正当性保証分布シフトの信号 : プログラムの隠れ状態と因果予測器と検証正当性
• Abstract要約: 大規模な言語モデルはますますコードを判断するが、外部からのフィードバックがなければ、そのような判断は信頼できない。 実行自由正当性予測器は、モデルの出力確率、サンプリングされた解、あるいは隠れた状態からの信号を使用して、さらなる検証を保証している判断を識別する。 Qwen3-Coder-30B と 4 つのファミリの6つの実行不要予測器を比較した。 gpt-oss-20b のベンチマークシフト。
• 参考スコア（独自算出の注目度）: 0.3568466510804538
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models increasingly judge code, yet without external feedback such judgments are unreliable, and verifying them by executing tests or by extended reasoning is costly. Instead, execution-free correctness predictors use signals from the model's output probabilities, sampled solutions, or hidden states to identify judgments that warrant further verification. However, these predictors may degrade under distribution shifts when generalizing across projects and languages. We compare six execution-free predictors from four families on Qwen3-Coder-30B and gpt-oss-20b under benchmark shift between LiveCodeBench and BigCodeBench and language shift across Python, C++ and Java. We evaluate two targets: whether the model's own verdict on a program can be trusted, and whether the program itself is correct. Besides established approaches, we adapt two novel causal localization methods to code, which have been shown to be more robust out-of-distribution on natural language tasks. For verdict correctness, causal localization improves robustness to language shift. For Qwen3-Coder a probe on the causally localized subspace stays 0.09 AUROC ahead of output confidence under language shift (0.11 in distribution), significantly outperforming the best non-causal predictor by 0.04 AUROC on average. This advantage, however, does not generalize consistently to gpt-oss or to benchmark shift. For program correctness, predictors transfer more successfully between benchmarks, largely by identifying problems on which the model tends to fail. However, their ability to rank candidates within the same problem is limited.
• Abstract（参考訳）: 大規模な言語モデルはますますコードを判断するが、外部からのフィードバックがなければ、そのような判断は信頼できない。 代わりに、実行不要の正当性予測器は、モデルの出力確率、サンプリングされたソリューション、あるいは隠れた状態からの信号を使用して、さらなる検証を保証している判断を識別する。 しかしながら、これらの予測子は、プロジェクトや言語をまたいで一般化する際に、分散シフトの下で劣化する可能性がある。 我々は、LiveCodeBenchとBigCodeBenchのベンチマークシフトとPython、C++、Java間の言語シフトの下で、Qwen3-Coder-30Bとgpt-oss-20bの4つのファミリからの実行不要予測を6つ比較した。 我々は,プログラムに対するモデル自身の判断が信頼できるかどうか,プログラム自体が正しいかどうかの2つの目標を評価する。 確立されたアプローチの他に、我々は2つの新しい因果ローカライズ手法をコードに適用し、これは自然言語のタスクに対するより堅牢なアウト・オブ・ディストリビューションであることが示されている。 判断の正確性のために、因果的局所化は言語シフトに対する堅牢性を改善する。 Qwen3-Coderでは、因果局所化部分空間のプローブは、言語シフト(0.11)の出力信頼度よりも0.09 AUROCの方が高く、平均0.04 AUROCよりも優れた非因果予測器である。 しかし、この利点は一貫してgpt-ossやベンチマークシフトに一般化しない。 プログラムの正確性のために、予測器はベンチマーク間でより成功し、主にモデルが失敗する傾向にある問題を識別する。 しかし、同じ問題の中で候補者をランク付けする能力は限られている。

関連論文リスト

• Characterizing Overconfident Failure in LLM-Based Code Generation [11.136449698197174]
  大規模言語モデル(LLM)は、コードの自動生成にますます使われている。 しかし、生成したプログラムは、実行ベースの正当性チェックを失敗しながら、構文的に妥当であるように見える。 本稿では,不正なプログラムが正しいプログラムに匹敵するトークンレベルの信頼性でしばしば生成されるコードLLMにおける過信のジレンマについて検討する。
  論文  参考訳（メタデータ） (2026-10-08T06:07:44Z)
• PyINE: A Framework for Scalable Elicitation and Oversight via Code Execution [68.74093425009342]
  推論モデルは、コストが安いが誤解を招くショートカットにデフォルトを保ちながら、タスクを解決できる。 PyINEはPythonのインスツルメンテーションプログラムを使ってスケーラブルなエレケーションと監視を行うフレームワークである。 PyINE-v1は100万近い決定論的実行トレースから構築された最初のリリースです。
  論文  参考訳（メタデータ） (2026-10-03T20:03:43Z)
• When Uncertainty Isn't Enough: An Empirical Study of Self-Correction in Code Generation [3.657882835504143]
  本研究では、自然言語からコード生成への変換のために開発された不確実性推定手法と、選択的な自己補正によるコード生成を改善できるかどうかを検討する。 我々は,平均トークンエントロピー,言語的信頼度,$P(textTrue)$,エントロピーアンサンブル,意味エントロピープローブの5つの不確実性を評価した。 マルチサンプル$P(textTrue)$は正しさと最も強い相関を達成でき、セマンティックエントロピープローブを含む他のすべての手法は弱い相関しか得られない。
  論文  参考訳（メタデータ） (2026-07-31T21:13:02Z)
• Using Semantic Distance to Estimate Uncertainty in LLM-Based Code Generation [1.1470070927586018]
  LLMはコード生成において高い性能を示すが、その出力は正確性を保証するものではない。 我々はこれらの選択を混乱させる分類法を導入し、セマンティックな距離認識の不確実性推定という、欠落した設計点を明らかにした。 我々のメトリクスは、正確性に関する強力なプロキシを提供し、一貫して最先端のサンプルベースラインより優れています。
  論文  参考訳（メタデータ） (2026-05-09T16:02:54Z)
• Adapting Language Balance in Code-Switching Speech [60.296574524609575]
  大規模な基礎モデルは、コードスイッチングテストケースといまだに苦労しています。 我々は、世代間のコンテキストバイアスを軽減するために、微分可能なサロゲートを使用します。 アラビア語と中国語による実験では、モデルの切り替え位置をより正確に予測できることが示されている。
  論文  参考訳（メタデータ） (2025-10-21T15:23:55Z)
• Multilingual Contrastive Decoding via Language-Agnostic Layers Skipping [60.458273797431836]
  対照的なレイヤ(DoLa)によるデコーディングは、大規模言語モデルの生成品質を改善するために設計されている。 このアプローチは英語以外のタスクではうまくいきません。 モデルの前方通過における言語遷移に関する従来の解釈可能性の研究から着想を得て,改良されたコントラスト復号アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-07-15T15:14:01Z)
• Uncertainty Awareness of Large Language Models Under Code Distribution Shifts: A Benchmark Study [14.507068647009602]
  大規模言語モデル(LLM)は、人間の生産性を高めるために、プログラム言語分析に広く用いられている。 その信頼性は、さまざまなコード分散シフトによって損なわれ、一貫性のない出力につながる。 確率法は不確実性キャリブレーションと推定によってそのような影響を軽減することが知られている。
  論文  参考訳（メタデータ） (2024-01-12T00:00:32Z)
• Teaching Large Language Models to Self-Debug [62.424077000154945]
  大規模言語モデル(LLM)は、コード生成において素晴らしいパフォーマンスを達成した。 本稿では,大規模言語モデルで予測プログラムを数発のデモでデバッグする自己デバッグを提案する。
  論文  参考訳（メタデータ） (2023-04-11T10:43:43Z)
• Fault-Aware Neural Code Rankers [64.41888054066861]
  サンプルプログラムの正しさを予測できる故障認識型ニューラルネットワークローダを提案する。 我々のフォールト・アウェア・ローダは、様々なコード生成モデルのpass@1精度を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2022-06-04T22:01:05Z)
• Natural Language to Code Translation with Execution [82.52142893010563]
  実行結果-プログラム選択のための最小ベイズリスク復号化。 そこで本研究では,自然言語からコードへのタスクにおいて,事前訓練されたコードモデルの性能を向上することを示す。
  論文  参考訳（メタデータ） (2022-04-25T06:06:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。