論文の概要: Selection Without Signal, Recovery Through Expression: A Measurement Study of Post-Hoc Falsification Operators for Frozen Small Code Models

• arxiv url: http://arxiv.org/abs/2606.16999v1
• Date: Mon, 15 Jun 2026 17:36:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 18:36:05.110351
• Title: Selection Without Signal, Recovery Through Expression: A Measurement Study of Post-Hoc Falsification Operators for Frozen Small Code Models
• Title（参考訳）: 信号なし, 表現によるリカバリによる選択:凍結型小型符号モデルにおけるホック後のファルシフィケーション演算子の測定
• Authors: Mehmet Iscan,
• Abstract要約: 小型のコードモデルは、しばしばプラルーシブル・ブライト・プログラムを出力する。 意味論的ポストホック演算子が役立つかどうかを測定する。 ここで唯一の精度向上である式層リカバリ(M1)は、標準抽出器が破棄した正しいプログラムを復元する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Frozen small code models (<=1.5B parameters, run locally without fine-tuning) suit offline and privacy-constrained use, but often emit plausible-but-wrong programs. A natural remedy is a post-hoc operator that selects, verifies, repairs, or re-processes the model's samples without retraining; in principled form it is Popperian: attack each candidate with a severe test, keep what survives. We measure whether such operators help. Under one deterministic execution oracle and a leakage-free, matched-compute protocol, 26 semantic post-hoc operators (selection, verification, repair, elimination, portfolios, sound vetoes, generation conditioning) are evaluated against Best-of-N (BoN); on the cells and benchmarks tested, none improves held-out accuracy over BoN. The negative is mechanistic: a coverage wall (systematic hard-task failures deeper sampling does not rescue), a capability scissors (a competent generator leaves almost no discriminable error among visible-test passers), and a near-empty consensus trap (the visible-pass-but-hidden-wrong majority a leakage-free selector needs rarely co-occurs with a correct alternative). A distribution-free do-no-harm bound cannot certify a harm rate <=alpha at zero observed harm unless n>=45. Two operators help on a different axis, outside the semantic output space. An expression-layer recovery (M1), the only accuracy gain here, recovers correct programs the standard extractor discards (robust extraction and public-test signature alignment); it does no harm (b10=0), is leakage-free, and lifts DeepSeek-Coder-1.3B by +12 tasks on HumanEval+ (p=2.4e-4). An adaptive consensus early-stop (ACE) is a calibrated compute-saving control (~19% saving, zero harm). M1 and the selection negative replicate on HumanEval+ and MBPP+ across three model cells. The lesson: fix the harness and measure coverage before blaming semantic post-hoc reasoning.
• Abstract（参考訳）: 凍結された小さなコードモデル(<=1.5Bパラメータ、微調整なしでローカルに実行される)は、オフラインとプライバシに制約のある使用に適しているが、多くの場合、プラウチブルなプログラムを出力する。 自然療法は、再トレーニングせずにモデルのサンプルを選択し、検証し、修復し、再処理するポストホック演算子である。 そのようなオペレーターが役立つかどうかを測定する。 1つの決定論的実行オラクルと、マッチした計算プロトコルにより、26のセマンティックポストホック演算子(選択、検証、修復、除去、ポートフォリオ、サウンドベトー、生成条件)がBest-of-N(BoN)に対して評価される。 陰性は機械的であり、カバーウォール(システム的なハードタスク障害は深いサンプリングが救われることはない)、機能シザー(有能なジェネレータは可視性テストの通行者間でほとんど識別可能なエラーを残さない)、およびほぼ空のコンセンサストラップ(可視性パスだが隠蔽されたコンセンサスの大部分)である。 分布自由なdo-no-harm境界は、n>=45でない限り、観測された害のゼロでのハーモレート<=アルファを証明できない。 2つの演算子は、意味的な出力空間の外側の異なる軸で助ける。 式層リカバリ(M1)は、ここで唯一の精度向上であり、標準的な抽出器の破棄(ロバスト抽出と公開テストのシグネチャアライメント)の正しいプログラムを復元する; 害は発生せず(b10=0)、リークフリーで、HumanEval+(p=2.4e-4)の+12タスクでDeepSeek-Coder-1.3Bを起動する。 アダプティブコンセンサスアーリーストップ(ACE)は、調整された計算節約制御(約19%の節約、無害)である。 3つのモデル細胞にまたがるHumanEval+およびMBPP+上のM1および選択陰性複製 教訓: ハーネスを修正して、セマンティックなポストホック推論を非難する前にカバレッジを測定する。

関連論文リスト

• A prior-free blind detection of information leakage from model predictions [0.0]
  本稿では,リーク診断が予測リスク/アウトカム則の関数となる決定論的枠組みを提案する。 正当モデルの校正と識別に適合する校正されたリークは、予測の空白関数により、正直な性能と区別できない。 ほぼ決定論的部分群は、非決定論的結果の正当な予測者が製造できない持続的単位純度ヘッドを生成する。
  論文  参考訳（メタデータ） (2026-06-09T05:13:03Z)
• An Embarrassingly Simple Detector for Model Extraction Attacks in Large Language Model API Traffic [16.151531550259993]
  大規模言語モデル(LLM)はホストAPIを通じてますますデプロイされ、モデルの抽出がモデルのオーナシップとサービスのセキュリティに対する現実的な脅威となる。 我々は、良性キャリブレーションされた交通窓分布試験としてモデル抽出監視を定式化する。 入力クエリをセマンティック空間に埋め込み、それらの集合分布が過去の良性トラフィックから逸脱するかどうかをテストする。
  論文  参考訳（メタデータ） (2026-06-04T05:33:49Z)
• Fundamental Limits of Black-Box Safety Evaluation: Information-Theoretic and Computational Barriers from Latent Context Conditioning [1.9290392443571385]
  AIシステムのブラックボックス安全性評価では、テストディストリビューションのモデル動作がデプロイメントのパフォーマンスを確実に予測していると仮定する。 我々は、この仮定を、潜伏した文脈条件のポリシーによって定式化し、挑戦する。 ブラックボックス評価者が配置リスクを確実に見積もることができないという基本的な制限を確立します。
  論文  参考訳（メタデータ） (2026-02-19T01:03:11Z)
• LEC: Linear Expectation Constraints for False-Discovery Control in Selective Prediction and Routing Systems [95.35293543918762]
  大規模言語モデル(LLM)はしばしば信頼できない答えを生成するが、不確実性のある手法は誤った予測と完全に区別することができない。 我々は、この問題を、偽発見率(FDR)制御のレンズを通して解決し、全ての許容された予測のうち、エラーの割合が目標のリスクレベルを超えないことを保証する。 本稿では,線形期待制約を強制することで,選択予測を制約付き決定問題として再解釈するLECを提案する。
  論文  参考訳（メタデータ） (2025-12-01T11:27:09Z)
• A Granular Study of Safety Pretraining under Model Abliteration [64.24346997570275]
  本稿では,リフレクションに敏感な方向を除去する軽量プロジェクション技術であるモデルアブリーブレーションについて検討する。 我々は、バランスのとれた有害かつ無害なケースで100のプロンプトを発行し、複数の判断を用いて**Refusal*または***Non-Refusal*として応答を分類し、判断の忠実さを検証する。 本研究は,データ中心の安全コンポーネントが失語中も頑健であるチェックポイントレベルの特徴付けを行う。
  論文  参考訳（メタデータ） (2025-10-03T07:01:45Z)
• Robust Conformal Prediction with a Single Binary Certificate [58.450154976190795]
  コンフォーマル予測(CP)は、任意のモデルの出力を、真のラベルを(調整可能な)高い確率でカバーすることを保証した予測セットに変換する。 我々は,MCサンプルが著しく低い場合でも,より小さな集合を生成する頑健な共形予測を提案する。
  論文  参考訳（メタデータ） (2025-03-07T08:41:53Z)
• Inference Scaling fLaws: The Limits of LLM Resampling with Imperfect Verifiers [13.823743787003787]
  近年の研究では、推論スケーリングにより、より弱い言語モデルがより強力なモデルの精度に適合または超えることを期待している。 より弱いモデルの推論スケーリングの量は、十分に強いモデルの単一サンプル精度に匹敵することができないことを示す。 また、精度以上の偽陽性には、コーディングスタイルの慣行への順守の欠如など、他の望ましくない性質があることも示している。
  論文  参考訳（メタデータ） (2024-11-26T15:13:06Z)
• Conservative Prediction via Data-Driven Confidence Minimization [70.93946578046003]
  機械学習の安全性クリティカルな応用においては、モデルが保守的であることが望ましいことが多い。 本研究では,不確実性データセットに対する信頼性を最小化するデータ駆動信頼性最小化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-08T07:05:36Z)
• Rethinking Missing Data: Aleatoric Uncertainty-Aware Recommendation [59.500347564280204]
  本稿では, Aleatoric Uncertainty-aware Recommendation (AUR) フレームワークを提案する。 AURは、新しい不確実性推定器と通常のレコメンデータモデルで構成されている。 誤ラベルの可能性がペアの可能性を反映しているため、AURは不確実性に応じてレコメンデーションを行う。
  論文  参考訳（メタデータ） (2022-09-22T04:32:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。