論文の概要: Certified by Abstention: Distribution-Free Guarantees for Chain-of-Thought Verifiers at Small Calibration Budgets

• arxiv url: http://arxiv.org/abs/2610.09541v1
• Date: Wed, 07 Oct 2026 06:40:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.75405
• Title: Certified by Abstention: Distribution-Free Guarantees for Chain-of-Thought Verifiers at Small Calibration Budgets
• Title（参考訳）: 留保による認定:小規模校正予算におけるチェーンオブソート検証のための配当不要保証
• Abstract要約: 数十から数百のラベル付き問題の現実的なキャリブレーション予算において,CoT検証者に対して分布自由選択保証がもたらすものは何であるかを問う。 既知のリスクを伴うシミュレーションでは、標準証明書はキャリブレーションの少なくとも0.3%のドローで失敗するが、発射される場合の最大69%で失敗する。 次に、単調な仮定なしで有効なフロアスタート固定シーケンス証明書を与え、すべてのモデル信号ペア上のボンフェロニ証明書以上のものをカバーします。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Signals that predict whether a chain-of-thought (CoT) trace is correct are compared by AUC, but deploying one requires a threshold with a guarantee. We ask what distribution-free selective guarantees deliver for CoT verifiers at realistic calibration budgets of tens to a few hundred labelled problems, using seven open models, five verifier signals and 37,000 graded traces. The central observation is validity by abstention: an $(α,δ)$-valid procedure that issues a certificate with probability $P_{\rm fire}$ bounds the failure probability of an issued certificate only by $δ/P_{\rm fire}$, so a certificate that rarely fires can be valid and wrong every time it is used. In a simulation with known risk the standard certificate fails in at most 0.3% of calibration draws but in up to 69% of those in which it fires. A certification floor and a lattice condition for Benjamini-Hochberg conformal selection explain why certificates abstain at these budgets, and the data bear them out: the standard certificate returns nothing or a large accepted set, and an unreadable residual-stream probe buys two to three times the coverage of the readable signals, an edge a cross-fitted reconstruction cannot recover linearly from the readable features. We then give a floor-started fixed-sequence certificate, valid without monotonicity assumptions, that covers more than the Bonferroni certificate on every model-signal pair and raises coverage at the non-vacuous target $0.75π_0$ from 0.05 to 0.16, although the floor keeps absolute coverage small. Finally, a certificate cannot see what matters after deployment: under benchmark shift the error among accepted traces tracks the new task's base error, and under best-of-$n$ selection against the verifier it rises past the target while the empirical failure frequency stays below $δ$, because abstention absorbs the failures.
• Abstract（参考訳）: チェーンオブソート(CoT)トレースが正しいかどうかを予測する信号はAUCで比較されるが、デプロイには保証されたしきい値が必要である。 我々は,CoT検証器が現実的なキャリブレーション予算で10～数百のラベル付き問題に対して,7つのオープンモデル,5つの検証信号,37,000のグレード付きトレースを用いて,分散自由選択保証を提供することを問う。 A $(α,δ)$-valid procedure that issue a certificate with probability $P_{\rm fire}$ bounds the failure probability of a certificate only by $δ/P_{\rm fire}$。 既知のリスクを伴うシミュレーションでは、標準証明書はキャリブレーションの少なくとも0.3%のドローで失敗するが、発射される場合の最大69%で失敗する。 標準的な証明書は、何も返さないか、あるいは大きな受理セットを持ち、読み出し不能な残留ストリームプローブは、読み出し可能な信号の2倍から3倍のカバレッジを購入し、整合した再構成のエッジは、読み出し可能な特徴から線形に回復できない。 次に、単調性仮定なしで有効となるフロアスタート固定シーケンス証明書を与え、すべてのモデル信号対上のボンフェロニ証明より多くをカバーし、フロアは絶対的なカバレッジを保ちながら、空でないターゲットである0.75π_0$を0.05から0.16までカバーする。 ベンチマークの下では、承認されたトレース間のエラーは、新しいタスクのベースエラーを追跡し、試験的な障害頻度がδ$以下である間、ターゲットを通り過ぎている検証子に対するベスト・オブ・n$選択では、停止が障害を吸収する。

関連論文リスト

• Finite-Sample Coverage Audits for High-Recall Candidate Generation: Certification and Learning-Theoretic Design [0.0]
  本研究は, 有限サンプル有効性を有する監査ラベルの証明に必要な数について検討し, この欠落した関連質量が小さいことを示す。 まず、候補集合の内部からラベルのみを使用する手順は、欠落した質量上の非自明な境界を証明できないことを示す。 近似よりも二項的・超幾何的逆転を用いた正確な有限サンプルツールキットを開発し,質量不足を証明した。
  論文  参考訳（メタデータ） (2026-07-23T16:21:30Z)
• Error Certificates for KV-Cache Eviction via Randomized Design [3.860898721527665]
  KV-cacheの無効化は、トークンのトップ$kを重要なスコアで保持し、残りを削除します。 我々は、この設計が何を破壊したかを理解できないことを証明している。 ランダム化消去は識別可能性の回復を示す。
  論文  参考訳（メタデータ） (2026-07-23T16:16:59Z)
• Auditing CoT Answer-Hijack Patches: Source-Control Certificates with Type-I Guarantees [0.0]
  Chain-of- Thought (CoT) の回答ハイジャックテンプレートは GSM8K または MATH-500 上で 7B-8B 言語モデルの最終数値を反転させることができる。 クリーンソースパッチの成功は、しばしば、パッチされたアクティベーションが回復したコンテンツを運ぶ証拠として読まれる。 我々は,各候補パッチを事前登録されたType-I保証付きソース制御証明書に変換する監査を構築する。
  論文  参考訳（メタデータ） (2026-06-03T10:49:43Z)
• Correction and Corruption: A Two-Rate View of Error Flow in LLM Protocols [51.56484100374058]
  そこで本研究では,単一プロトコルステップを正確なマッチングタスクで監査するためのペアアウトカム計測インタフェースを提案する。 各インスタンスについて、インターフェースはベースラインの正当性ビットと後ステップの正当性ビットを記録する。 これらのレートは精度の変化を予測し、種、混合物、パイプライン間でテスト可能な再利用可能な経験的インターフェースを定義する。
  論文  参考訳（メタデータ） (2026-04-20T13:25:40Z)
• Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers [90.50039419576807]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、人為的なラベル付けを避けるために、自動検証に対するポリシーを訓練する。 認証ハッキングの脆弱性を軽減するため、多くのRLVRシステムはトレーニング中にバイナリ$0,1$の報酬を破棄する。 この選択にはコストがかかる:textitfalse negatives(正しい回答、FNを拒絶)とtextitfalse positives(間違った回答、FPを受け入れる)を導入する。
  論文  参考訳（メタデータ） (2025-10-01T13:56:44Z)
• Robust Conformal Prediction with a Single Binary Certificate [58.450154976190795]
  コンフォーマル予測(CP)は、任意のモデルの出力を、真のラベルを(調整可能な)高い確率でカバーすることを保証した予測セットに変換する。 我々は,MCサンプルが著しく低い場合でも,より小さな集合を生成する頑健な共形予測を提案する。
  論文  参考訳（メタデータ） (2025-03-07T08:41:53Z)
• Adaptive Hierarchical Certification for Segmentation using Randomized Smoothing [87.48628403354351]
  機械学習の認証は、特定の条件下では、敵対的なサンプルが特定の範囲内でモデルを回避できないことを証明している。 セグメンテーションの一般的な認証方法は、平らな粒度のクラスを使い、モデルの不確実性による高い断続率をもたらす。 本稿では,複数レベルの階層内で画素を認証し,不安定なコンポーネントに対して粗いレベルに適応的に認証を緩和する,新しい,より実用的な設定を提案する。
  論文  参考訳（メタデータ） (2024-02-13T11:59:43Z)
• Getting a-Round Guarantees: Floating-Point Attacks on Certified Robustness [19.380453459873298]
  敵の例は、わずかな入力摂動によって機械学習分類器の決定を変更できるため、セキュリティリスクを引き起こす。 これらの保証は、ラウンドエラーを引き起こす浮動小数点表現の制限により無効化可能であることを示す。 この攻撃は、正確な認証保証を持つ線形分類器や、保守的な認証を持つニューラルネットワークに対して実行可能であることを示す。
  論文  参考訳（メタデータ） (2022-05-20T13:07:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。