論文の概要: Verification Trap: Understanding Test-Time Selection Failures under False Premises in Code Generation
- arxiv url: http://arxiv.org/abs/2610.05170v1
- Date: Sun, 04 Oct 2026 12:28:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 22:54:56.501056
- Title: Verification Trap: Understanding Test-Time Selection Failures under False Premises in Code Generation
- Title（参考訳）: 検証のトラップ:コード生成における偽の前提の下でのテスト時間選択失敗を理解する
- Abstract要約: テスト時の計算は、コード生成を改善する中心的な方法になっている。
検証者が生成元から独立して補正信号を提供するという仮定に挑戦する。
私たちはこの障害モードを検証トラップと呼んでいる。
- 参考スコア（独自算出の注目度）: 10.05347468916821
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Test-time compute has become a central way to improve code generation: systems sample multiple candidate programs and use verifier-visible evidence to select the final output. This paradigm implicitly assumes that the verifier provides a corrective signal independent from the generator. We challenge this assumption under misleading task premises. When the generator and verifier share a false premise, they become coupled through a mistaken belief: the generator produces premise-consistent shortcuts, while the verifier supplies evidence that fails to expose them. Consequently, the selector may choose a hidden-test-wrong candidate even when a hidden-test-correct program exists in the pool. We call this failure mode Verification Trap. Across three code-generation benchmarks and five code models, false premises consistently degrade first-sample correctness, reduce selector-chosen correctness after 64-sample test-time selection, and amplify recoverable mis-selection. Mechanistically, verifier-written tests inherit the premise-level blind spot, reshaping verifier-visible candidate space away from hidden-test correctness. These traces make Verification Trap predictable before hidden execution: a lightweight gold-free predictor using verifier-visible features reaches 0.846 AUROC. Our results identify decoupled evidence as a key mitigation axis: coupled scaling provides limited recovery, whereas premise-agnostic robustness auditors recover substantial oracle headroom.
- Abstract（参考訳）: システムは複数の候補プログラムをサンプリングし、検証可能な証拠を使用して最終的な出力を選択する。
このパラダイムは、検証者がジェネレータから独立して補正信号を提供すると暗黙的に仮定する。
我々は誤解を招くタスク前提の下でこの仮定に挑戦する。
ジェネレータと検証器が偽の前提を共有すると、それらは誤った信念によって結合される:ジェネレータは前提に一貫性のあるショートカットを生成し、検証器はそれらを公開するのに失敗する証拠を提供する。
これにより、プール内に隠蔽テスト誤りプログラムが存在する場合でも、セレクタは隠蔽テスト誤り候補を選択することができる。
私たちはこの障害モードを検証トラップと呼んでいる。
3つのコード生成ベンチマークと5つのコードモデルにまたがって、偽の前提が一貫したファーストサンプルの正しさを低下させ、64サンプルのテスト時間選択後のセレクタ・チョーゼンの正しさを低下させ、回復可能なミス選択を増幅する。
機械的には、検証者記述テストは前提レベルの盲点を継承し、検証者可視の候補空間を隠れテストの正しさから切り離す。
これらのトレースは、隠れた実行の前に検証トラップを予測可能とし、検証可能特徴を用いた軽量な金フリー予測器は0.846 AUROCに達する。
その結果,分離された証拠を重要な緩和軸として認識し,結合スケーリングは限定的な回復をもたらす一方,前提に依存しない頑健性監査者は実質的なオラクルのヘッドルームを回復することがわかった。
関連論文リスト
- Valid Stopping in Adaptive Generator-Verifier Loops [53.28176049547449]
本研究では,提案提案の誤り発見率を制御しながら,ジェネレータ検証ループをいつ停止させるかを検討する。
提案手法は,分布自由な統計テストと共形リスク制御に独立して関心を持つツールを導入している。
論文 参考訳（メタデータ） (2026-10-05T14:42:26Z) - Controlled Decoding Attacks on Black-Box LLMs [68.46062477706256]
Methodは、繰り返しサンプリングとアシスタント-継続を可能にする、テキストのみの継続インターフェイスを通じてジェイルブレイクを行うためのフレームワークである。
Risk-Gated Residual Controlは、進化する応答プレフィックスを使用して、配布の再構築と修正をいつ行うかを決定する。
Speculative Multi-Token Executionは、介入を必要としないドラフトプレフィックスの検証と受け入れによって、さらにターゲットコールを償却する。
論文 参考訳（メタデータ） (2026-09-29T07:58:49Z) - Certifying Model Upgrades with Slice-Wise Non-Regression and Incumbent Fallback [2.8716825293247665]
本研究では,非回帰寛容性を考慮したチェックポイント選択について検討した。
提案手法では,候補探索を独立したペア評価から分離する再現可能なリリース手順を提案する。
共同リリース決定は、スライス数のボンフェロニのペナルティを必要としないが、スライス数によって認定能力は低下する可能性がある。
論文 参考訳（メタデータ） (2026-09-12T05:00:50Z) - Generative Verification: Rethinking the Uncertainty Signal for Active Learning of Object Detection [14.738453379093961]
生成検証において、独立生成モデルは、予測ボックス内の画素から検出されたラベルを再導出する。
交換された箱、背景の箱、間違ったラベルを持つ正しい箱は、すべて検証に失敗する作物を生み出します。
検証器は検出器の信頼性を決して観測しないため、確実な誤り検出が最高となる。
論文 参考訳（メタデータ） (2026-07-28T20:10:23Z) - Fail-Aware and Explainable Test Oracle Prediction [4.6927139685668315]
新たなコードLLMに基づく識別オラクル予測器であるFOCALを提案する。
テスト中のテストプレフィックスとメソッドのラベル付きペアから学習し、トレーニング中に失敗するケースを強調する損失を採用し、ステートメントレベルの行動証拠にその予測を根拠とする。
ベースライン手法SEERと比較すると,未確認プロジェクトのフェールケースの性能は著しく向上する。
論文 参考訳（メタデータ） (2026-07-13T10:04:36Z) - Bayesian control for coding agents [63.64172141184361]
本稿では,コーディングエージェントのためのコスト依存型シーケンシャル仮説テストフレームワークを提案する。
ベイズ管制官は、正確性に対する信念を維持し、より多くの証拠を集め、候補者を精査し、検証し、停止するかを決定する。
本研究では, 信頼状態が, 不確実性定量化のためのトークン確率と生ツール・サクセスベースラインを上回り, 解釈可能な正当性スコアを得ることを示す。
論文 参考訳（メタデータ） (2026-06-23T11:41:32Z) - The Hidden Signal of Verifier Strictness: Controlling and Improving Step-Wise Verification via Selective Latent Steering [67.8271652641864]
我々は,隠蔽状態の介入によって検証の厳密性を制御できるかどうかを検討した。
VerifySteerは、サンプルレベルのルーティングに潜時補正信号を使用し、段落境界に選択的に介入する。
論文 参考訳（メタデータ） (2026-05-20T05:48:16Z) - Stress-Testing Neural Network Verifiers with Provably Robust Instances [10.017475431603389]
我々は,地中構造ラベルを用いた検証インスタンス生成のための再利用可能なフレームワークを提案する。
また、インスタンスの硬さの異なるソースを推定可能な量の集合であるDifficulty Profileについても紹介する。
我々のフレームワークとこれらのプロファイルを用いて、5つの最先端検証ツールを評価し、異なるインスタンスが検証パイプラインの異なる側面を強調していることを示す。
論文 参考訳（メタデータ） (2026-05-16T20:56:52Z) - Scaling Agentic Verifier for Competitive Coding [66.11758166379092]
大規模言語モデル(LLM)は強力なコーディング能力を示しているが、1回の試行で競合するプログラミング問題を正しく解くのに苦戦している。
実行ベースの再ランク付けは、有望なテスト時間スケーリング戦略を提供するが、既存のメソッドは、難しいテストケースの生成または非効率的なランダム入力サンプリングによって制約される。
本稿では,プログラムの動作を積極的に推論し,高い差別性のあるテスト入力を検索するエージェント検証手法を提案する。
論文 参考訳（メタデータ） (2026-02-04T06:30:40Z) - COIN: Uncertainty-Guarding Selective Question Answering for Foundation Models with Provable Risk Guarantees [51.5976496056012]
COINは、統計的に有効な閾値を校正し、質問毎に1つの生成された回答をフィルタリングする不確実性保護選択フレームワークである。
COINはキャリブレーションセット上で経験的誤差率を推定し、信頼区間法を適用して真誤差率に高い確率上界を確立する。
リスク管理におけるCOINの堅牢性,許容回答を維持するための強いテストタイムパワー,キャリブレーションデータによる予測効率を実証する。
論文 参考訳（メタデータ） (2025-06-25T07:04:49Z) - Shrinking the Generation-Verification Gap with Weak Verifiers [42.538675831498715]
検証者は、生成された候補から応答をスコア付けしてランク付けすることで、言語モデル機能を改善することができる。
Weaverは、複数の弱い不完全な検証器を組み合わせることで、強力な検証器を設計するためのフレームワークである。
論文 参考訳（メタデータ） (2025-06-22T23:38:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。