論文の概要: A prior-free blind detection of information leakage from model predictions

• arxiv url: http://arxiv.org/abs/2606.11267v1
• Date: Tue, 09 Jun 2026 05:13:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-11 16:42:38.097739
• Title: A prior-free blind detection of information leakage from model predictions
• Title（参考訳）: モデル予測による情報漏洩の事前検出
• Authors: Laurence A. Jacobs,
• Abstract要約: 本稿では,リーク診断が予測リスク/アウトカム則の関数となる決定論的枠組みを提案する。 正当モデルの校正と識別に適合する校正されたリークは、予測の空白関数により、正直な性能と区別できない。 ほぼ決定論的部分群は、非決定論的結果の正当な予測者が製造できない持続的単位純度ヘッドを生成する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Data leakage -- contamination of a model with information unavailable at baseline -- is the dominant reproducibility failure in machine-learning-based science, yet detection tools require training code, external data, or domain expertise. None operates on the artifact an auditor most often holds: the model's output. We ask what can be decided about leakage from predictions and outcomes alone. We give a decision-theoretic framework in which leakage diagnostics are functionals of the predicted-risk/outcome law, parameterized by a threshold-weighting linked to proper scoring rules and decision-curve analysis. We prove a sharp impossibility: a recalibrated leak matching an honest model's calibration and discrimination is indistinguishable from honest performance by \emph{any} function of the predictions, so the broad class is detectable only against an externally supplied ceiling on achievable discrimination. We then prove what leakage cannot hide: a near-deterministic subgroup -- the signature of a near-label leak -- produces a sustained unit-purity head that no legitimate predictor of a non-deterministic outcome can manufacture, yielding a prior-free test. These results organize leakage into a trichotomy -- miscalibrated, broad-calibrated, and deterministic -- each with a matched detector and failure mode. We validate on UK Biobank using time-windowed comorbidity leakage with known, graded severity, measuring a detection floor of $Δ\cstar \approx 0.007$ on this endpoint, below which residual leakage is undetectable from output and too small to alter conclusions. The numerical floor is cohort- and endpoint-specific; the structural lesson is general: output-only detection fails where residual leakage is indistinguishable from an honestly stronger predictor. The test returns a verdict on a prediction vector in under a second on commodity hardware.
• Abstract（参考訳）: データ漏洩 -- ベースラインで入手できない情報を持つモデルの汚染 -- は、マシンラーニングベースの科学において、主要な再現性障害であると同時に、検出ツールにはトレーニングコード、外部データ、ドメインの専門知識が必要です。 監査官がよく持っているアーティファクト(モデル出力)は、誰も操作しません。 予測と結果のリークについてのみ、何ができるのかを問う。 本稿では,リーク診断が予測リスク/アウトカム法則の関数であり,適切なスコアリングルールと判定曲線解析に関連付けられたしきい値重み付けによってパラメータ化される決定理論フレームワークを提案する。 正当なモデルの校正と識別に適合する校正されたリークは、予測の「emph{any}」関数による正直な性能と区別できないため、広範クラスは、達成可能な判別において外部から供給された天井に対してのみ検出できる。 ほぼ決定論的サブグループ -- ラベルに近いリークの署名 -- が持続的な単位純度ヘッドを生成し、非決定論的結果の正当な予測者が生成できないため、事前のフリーなテストが得られます。 これらの結果は,リークを,それぞれが一致した検出器と障害モードを備えた,誤校正,広い校正,決定的な三分法にまとめる。 本研究は, 英国バイオバンクにおいて, 残余漏洩が出力から検出不能であり, 結論を変えるには小さすぎる, Δ\cstar \approx 0.007$の検出フロアを計測し, 評価を行った。 計算フロアはコホートとエンドポイントに特有であり、構造的な教訓は一般的なものである: 出力のみの検出は、真に強い予測器から残留リークが識別できない場合に失敗する。 テストは、コモディティハードウェア上で1秒未満で予測ベクトルの判定を返す。

関連論文リスト

• Testing the Test: Score-Direction Instability in Class-Split Anomaly Detection [56.362776482614976]
  データセット内のクラス分割評価は、完全に非条件のアウト・オブ・ディストリビューション異常検出のプロキシとして広く利用されている。 このプロトコルは、保持された異常クラスが表現空間の通常の混合と重なり合う場合、悪用される可能性があることを示す。 そこで本研究では,Fashion-MNIST,CIFAR-10,Imagenette間のスコア方向不安定性を予測する。
  論文  参考訳（メタデータ） (2026-05-23T06:27:42Z)
• World Model Failure Classification and Anomaly Detection for Autonomous Inspection [23.48742973289626]
  教師付き障害分類と異常検出を組み合わせたハイブリッドフレームワークを提案する。 我々のアプローチは、圧縮されたビデオ入力を持つ世界モデルバックボーンを使用する。 実験では、成功、失敗、およびOODケースの区別において90%以上の精度が示されている。
  論文  参考訳（メタデータ） (2026-02-18T04:41:14Z)
• Calibrated Prediction Set in Fault Detection with Risk Guarantees via Significance Tests [3.500936878570599]
  本稿では,形式的リスク保証を提供するために,コンフォメーション予測フレームワークと重要度テストを統合した新しい故障検出手法を提案する。 提案手法は,名目レベル以上の経験的カバレッジ率(1-alpha$)を一貫して達成する。 その結果、ユーザ定義のリスクレベル(alpha$)と効率の間のコントロール可能なトレードオフが明らかとなり、より高いリスク耐性が平均予測セットのサイズを小さくする。
  論文  参考訳（メタデータ） (2025-08-02T05:49:02Z)
• Fault detection and diagnosis for the engine electrical system of a space launcher based on a temporal convolutional autoencoder and calibrated classifiers [0.0]
  本稿では,次世代再利用可能な宇宙ランチャーの故障検出・診断機能開発に向けた第一歩を概説する。 文献における既存のアプローチとは異なり、我々のソリューションはより広い範囲の重要な要件を満たすように設計されています。 提案手法は、時間畳み込みオートエンコーダに基づいて、原センサデータから低次元特徴を自動的に抽出する。
  論文  参考訳（メタデータ） (2025-07-17T11:50:29Z)
• COIN: Uncertainty-Guarding Selective Question Answering for Foundation Models with Provable Risk Guarantees [51.5976496056012]
  COINは、統計的に有効な閾値を校正し、質問毎に1つの生成された回答をフィルタリングする不確実性保護選択フレームワークである。 COINはキャリブレーションセット上で経験的誤差率を推定し、信頼区間法を適用して真誤差率に高い確率上界を確立する。 リスク管理におけるCOINの堅牢性,許容回答を維持するための強いテストタイムパワー,キャリブレーションデータによる予測効率を実証する。
  論文  参考訳（メタデータ） (2025-06-25T07:04:49Z)
• Conformal Segmentation in Industrial Surface Defect Detection with Statistical Guarantees [2.0257616108612373]
  工業環境では、鋼の表面欠陥はサービス寿命を著しく損なうことができ、潜在的な安全リスクを高めることができる。 従来の欠陥検出手法は主に手動検査に依存しており、これは低効率と高コストに悩まされている。 ユーザ定義のリスクレベルに基づいて統計的に厳密なしきい値を作成し、テスト画像の高確率欠陥画素を同定する。 種々のキャリブレーションとテストの比率で予測されるテストセット誤差率に対する頑健かつ効率的な制御を実証する。
  論文  参考訳（メタデータ） (2025-04-24T16:33:56Z)
• Provably Reliable Conformal Prediction Sets in the Presence of Data Poisoning [53.42244686183879]
  コンフォーマル予測は、モデルに依存しない、分布のない不確実性定量化を提供する。 しかし、敵が訓練データと校正データを操作した場合の毒殺攻撃では、共形予測は信頼性が低い。 信頼性予測セット (RPS): 汚染下での信頼性保証を証明可能な共形予測セットを構築するための最初の効率的な方法を提案する。
  論文  参考訳（メタデータ） (2024-10-13T15:37:11Z)
• Conservative Prediction via Data-Driven Confidence Minimization [70.93946578046003]
  機械学習の安全性クリティカルな応用においては、モデルが保守的であることが望ましいことが多い。 本研究では,不確実性データセットに対する信頼性を最小化するデータ駆動信頼性最小化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-08T07:05:36Z)
• Unsupervised Anomaly Detection with Rejection [19.136286864839846]
  異常検知器は直観を用いて決定境界を学習するが、実際に検証することは困難である。 これに対抗する方法の1つは、検出器が高い不確実性のある例を拒否できるようにすることである。 これは、決定境界までの距離を捉え、低信頼の予測を拒否するために拒絶しきい値を設定する信頼度基準を用いる必要がある。
  論文  参考訳（メタデータ） (2023-05-22T16:22:32Z)
• CertainNet: Sampling-free Uncertainty Estimation for Object Detection [65.28989536741658]
  ニューラルネットワークの不確実性を推定することは、安全クリティカルな設定において基本的な役割を果たす。 本研究では,オブジェクト検出のための新しいサンプリング不要不確実性推定法を提案する。 私たちはそれをCertainNetと呼び、各出力信号に対して、オブジェクト性、クラス、位置、サイズという、別の不確実性を提供するのは、これが初めてです。
  論文  参考訳（メタデータ） (2021-10-04T17:59:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。