論文の概要: The Exceedance Design Effect: Effective Sample Size for Thresholds under Clustering

• arxiv url: http://arxiv.org/abs/2608.21262v1
• Date: Fri, 21 Aug 2026 16:19:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-24 14:49:32.636431
• Title: The Exceedance Design Effect: Effective Sample Size for Thresholds under Clustering
• Title（参考訳）: エクセダンスデザイン効果:クラスタリングにおける閾値の有効サンプルサイズ
• Abstract要約: 多くの機械学習システムは、キャリブレーションセットの定量値にしきい値を設定する。 しきい値に異なるカウントが必要であることを示す。 得られた有効試料サイズについて閉形式法則を証明した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many machine-learning systems set a threshold at a quantile of a calibration set: conformal predictors that promise 90% coverage by drawing their cutoff at the calibration set's 90th percentile, abstention gates that decline to answer when a model's score falls below the calibration set's tenth percentile, safety filters that block any output scoring above the 99th percentile of a reference set. All of them promise that the threshold will hold at the stated rate on new data. The promise assumes the calibration examples are independent, and in modern pipelines they usually are not: they share a prompt, a document, a reasoning trace. Survey statistics has known how to discount correlated data since 1965, by counting how many independent observations a sample is worth, but only for averages. We show that a threshold needs a different count. The count depends on how often clustered scores land on the same side of the threshold, and that changes with where the threshold is set. How similar the scores are as numbers does not enter. We prove a closed-form law for the resulting effective sample size and for the spread of the coverage a deployed system actually sees. Three consequences follow. The correction now used in the conformal literature is the wrong quantity, and can miss in either direction. A dataset has no single effective sample size. It has one for each level the threshold is set at. And the damage is invisible in coverage averaged over many runs, and fully felt by whoever deploys once. On a released calibration set of 25,028 examples, we measure the reliability of about 1,300.
• Abstract（参考訳）: 多くの機械学習システムは、キャリブレーションセットの定量値にしきい値を設定した: キャリブレーションセットの90%のパーセンタイルでカットオフを描画することで90%のカバレッジを約束するコンフォメーション予測器、モデルのスコアがキャリブレーションセットの10番目のパーセンタイル以下に落ちたときに解答が減少するアブテンションゲート、参照セットの99番目のパーセンタイル以上のアウトプットをブロックする安全フィルタ。 いずれも、新しいデータに対するしきい値が、記載されたレートで保持されることを約束する。 キャリブレーションの例は独立していると仮定し、現代のパイプラインでは、通常はそうではない:プロンプト、ドキュメント、推論トレースを共有する。 調査統計は、1965年以降、サンプルの独立した観測値がいくつあるかを数えて、相関データの割り引き方を知っているが、これは平均値のみである。 しきい値に異なるカウントが必要であることを示す。 このカウントは、クラスタ化されたスコアがしきい値の同じ側にどれだけの頻度で着陸するかに依存し、しきい値が設定された場所によって変化する。 数字が入力されないため、スコアはどの程度似ていますか。 実効的なサンプルサイズと、デプロイされたシステムが実際に見るカバレッジの拡散について、クローズドな法則を証明します。 3つの結果が続く。 現在、同型文献で使われている補正は間違った量であり、どちらの方向でも見逃すことができる。 データセットは、単一の有効なサンプルサイズを持っていません。 閾値が設定されているレベル毎に1つずつ設定されている。 そしてダメージは、多くのランニングで平均的なカバレッジで見えず、一度デプロイした人に完全に感じられる。 25,028例のキャリブレーションセットで約1,300の信頼性を測定した。

関連論文リスト

• Anchoring Bias in LLM-as-a-Judge Systems: Prior Scores Compromise Evaluation Independence [0.7340017786387767]
  先行スコアは,文脈メタデータにのみ含まれていても,判断をアンカーし,評価を評価値に体系的にシフトすることを示す。 人間のラベル付き地上真実によるカテゴリー産業データでは、アンカーされたメタデータは誤り訂正の48%をブロックし、割り当てられた間違ったラベルに対して正しい判断の10.18%をフリップする。
  論文  参考訳（メタデータ） (2026-08-26T14:41:24Z)
• Post-Hoc Trajectory-Risk Certification for Modular LLM-Based Security Agents [1.4915002678801434]
  ボンフェロニ配置は分布自由であるが,相関誤差下では保守的であることを示す。 粗いラベルの選択は、学習された依存なしにほぼ完璧な相関関係を作ることができる。 ステージ単位の証明書とペアの重なり合うバウンドを用いたモジュール証明書は、正の平均利得が0.6%となる。
  論文  参考訳（メタデータ） (2026-08-04T23:48:36Z)
• Conformal Tradeoffs: Guarantees Beyond Coverage [0.02648566468224904]
  配置されたコンフォーマル予測器は、有限操作ウィンドウ上で稼働する長期間の意思決定基盤である。 マージのカバレッジは、デプロイメントに直面する量を特定しません。 私たちは、範囲を超えて運用の認証と計画のためのフレームワークを提供しています。
  論文  参考訳（メタデータ） (2026-02-20T07:58:25Z)
• Robust Conformal Prediction with a Single Binary Certificate [58.450154976190795]
  コンフォーマル予測(CP)は、任意のモデルの出力を、真のラベルを(調整可能な)高い確率でカバーすることを保証した予測セットに変換する。 我々は,MCサンプルが著しく低い場合でも,より小さな集合を生成する頑健な共形予測を提案する。
  論文  参考訳（メタデータ） (2025-03-07T08:41:53Z)
• Conformal Prediction Sets with Improved Conditional Coverage using Trust Scores [52.92618442300405]
  有限サンプルにおいて、正確に分布のない条件付きカバレッジを達成することは不可能である。 本稿では,最も重要となる範囲を対象とするコンフォメーション予測アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-01-17T12:01:56Z)
• Reducing Biases in Record Matching Through Scores Calibration [1.5530839016602822]
  スコアバイアスの測定と低減のためのしきい値に依存しないフレームワークを提案する。 基準しきい値に基づく基準値の下では公平に見えても,いくつかの最先端マッチング手法がかなりのスコアバイアスを示すことを示す。 本稿では,2つのポストプロセッシングスコアキャリブレーションアルゴリズムを導入する。第1のキャリブは,ワッサーシュタイン・バリセンタを用いてグループワイズスコアの分布を調整し,人口統計学的パーティを目標とする。 第2のカラリブは、ラベルに依存したバイアス、例えば平等な機会を減らそうと予測されたラベルの条件である。
  論文  参考訳（メタデータ） (2024-11-03T21:01:40Z)
• Robust Yet Efficient Conformal Prediction Sets [53.78604391939934]
  コンフォーマル予測(CP)は、任意のモデルの出力を真のラベルを含むことが保証された予測セットに変換することができる。 整合性スコアの最悪のケース変化をバウンドすることで、証明可能なロバストな集合を導出する。
  論文  参考訳（メタデータ） (2024-07-12T10:59:44Z)
• Efficient Online Set-valued Classification with Bandit Feedback [10.882001129426726]
  クラス固有の粒度のカバレッジ保証を提供するBandit Class-specific Conformal Prediction (BCCP)を提案する。 BCCPは、各イテレーションで少ないラベルでラベル付けされたデータの課題を克服し、オンライン意思決定環境への適合予測の信頼性と適用性を一般化する。
  論文  参考訳（メタデータ） (2024-05-07T15:14:51Z)
• Sequential Kernelized Independence Testing [77.237958592189]
  我々は、カーネル化依存度にインスパイアされたシーケンシャルなカーネル化独立試験を設計する。 シミュレーションデータと実データの両方にアプローチのパワーを実証する。
  論文  参考訳（メタデータ） (2022-12-14T18:08:42Z)
• Improving Conditional Coverage via Orthogonal Quantile Regression [12.826754199680472]
  特徴空間のすべての領域にまたがるユーザ指定のカバレッジレベルを持つ予測区間を生成する手法を開発した。 我々は損失関数を変更し、間隔の大きさと誤発見イベントの指標との間の独立性を促進する。 いくつかの指標から, 改良された損失関数が条件付きカバレッジの向上につながることを実証的に示す。
  論文  参考訳（メタデータ） (2021-06-01T11:02:29Z)
• Distribution-free uncertainty quantification for classification under label shift [105.27463615756733]
  2つの経路による分類問題に対する不確実性定量化(UQ)に焦点を当てる。 まず、ラベルシフトはカバレッジとキャリブレーションの低下を示すことでuqを損なうと論じる。 これらの手法を, 理論上, 分散性のない枠組みで検討し, その優れた実用性を示す。
  論文  参考訳（メタデータ） (2021-03-04T20:51:03Z)
• Individual Calibration with Randomized Forecasting [116.2086707626651]
  予測値がランダムに設定された場合,各サンプルのキャリブレーションは回帰設定で可能であることを示す。 我々は、個別の校正を強制する訓練目標を設計し、それをランダム化された回帰関数の訓練に使用する。
  論文  参考訳（メタデータ） (2020-06-18T05:53:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。