論文の概要: A Closed-Form Estimator and Diagnostic Battery for Anchor-Judge Error Correlation, Under a Single-Common-Factor Model
- arxiv url: http://arxiv.org/abs/2609.08826v1
- Date: Tue, 08 Sep 2026 14:49:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.680014
- Title: A Closed-Form Estimator and Diagnostic Battery for Anchor-Judge Error Correlation, Under a Single-Common-Factor Model
- Title（参考訳）: 単要素モデルに基づくアンカー・ジャッジ誤差相関のための閉じた形状推定器と診断電池
- Abstract要約: 外部参照セットを使用して、LCM-judgeパネルのエラーを品質信号と共有共通モードエラーに分解する。
我々は、その仮定がいつ降ろされ、見積もりに置き換えられるかを研究する。
クリーンアンカー推定器は、汚染されたコンパニオンアンカーが、信頼されたアンカー自体が汚染されると完全にクリーンであると報告する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: When an external reference set (an anchor) is used to decompose an LLM-judge panel's error into a quality signal and a shared common-mode error, standard practice assumes the anchor is uncontaminated: its error uncorrelated with the judges' shared error. We study when that assumption can be dropped and replaced by an estimate. Under a single-common-factor model, >=2 judges and >=2 anchors point-identify the quality variance, the common-mode variance, and each anchor's contamination correlation rho_k in closed form, with an exact per-anchor-pair failure boundary; a designated clean-anchor estimator, by contrast, reports a contaminated companion anchor as fully clean once its trusted anchor is itself contaminated. Because the single-common-factor assumption is itself untestable, the estimator ships gated behind a calibrated diagnostic battery (judge-covariance dispersion; over-identification; a family-block test from judge metadata, with a family-blocked estimator that removes family-level shared-residual bias exactly), bootstrap confidence intervals with measured coverage, and a weak-identification screen. A proposition maps which violations bias rho_k, in which direction, and which evade detection. For ordinal scores we show an identification hierarchy: with all variables ordinal, rho_k is not identified at any number of anchors; with ordinal judges and >=3 continuous anchors it is, and we give an estimator for that case. On real data the validation is asymmetric, and we say so plainly: the diagnostics are validated in the rejecting direction (both real panels we test are correctly rejected by the model-adequacy pre-test), while the estimator is validated in simulation and stress-tested semi-synthetically under oracle calibration; no real panel has yet passed the pre-test, and the pre-test exists precisely to say so. All results replay offline from shipped, checksummed artifacts.
- Abstract（参考訳）: 外部参照セット(アンカー)を使用して、LCM-judgeパネルのエラーを品質信号と共有共有モードエラーに分解する場合、標準慣行はアンカーが非汚染であると仮定する。
我々は、その仮定がいつ降ろされ、見積もりに置き換えられるかを研究する。
単一共通要素モデルの下では, >=2 と>=2 のアンカーは, 品質分散, 共通モード分散, および各アンカーの汚染相関rho_k を, 正確なアンカーペア当たりの故障境界で閉じた形で同定し, 逆に, 指定されたクリーンアンカー推定器は, 汚染された同伴アンカーを, 信頼されたアンカー自体が汚染されると完全にクリーンであると報告する。
単一の共通要素の仮定自体が検証不可能であるため、推定器は、校正された診断バッテリー(ジャッジ共分散分散、過剰識別、判断メタデータからのファミリーブロックテスト、家族レベルの共有残差を正確に除去するファミリーブロック付き推定器)、ブートストラップの信頼区間、測定されたカバレッジと弱い識別画面の背後にゲートされる。
提案はバイアスrho_kに違反する方向と検出を回避する方向をマップする。
すべての変数が順序付きである場合、rho_kは任意の数のアンカーで識別されない; 順序付きジャッジと >=3 連続アンカーで、その場合の推定器を与える。
実データでは、検証は非対称であり、概略すると、診断は拒絶方向で検証される(両方の実パネルはモデル精度の事前試験によって正しく拒否される)が、推定器はシミュレーションと半合成で評価され、オラクルの校正の下では半合成され、実際のパネルはまだ事前試験に合格していない。
すべての結果は、出荷されたチェックサムされたアーティファクトからオフラインで再生されます。
関連論文リスト
- A distribution-free certification framework for trustworthy crash-severity prediction [1.089614199781423]
厳密なモデルを修正せずにラップする認証層を開発します。
テキサス州の7つのベースモデルにまたがる520万件の記録では、同層は同一の妥当性を持つ。
フレームワークは定理レベルのテストを備えたオープンソースパッケージとしてリリースされている。
論文 参考訳（メタデータ） (2026-09-10T14:20:08Z) - Verdict Instability of OOD Scores under Reference Resampling [4.260015792110957]
ポストホック・アウト・オブ・ディストリビューション検出器は有限基準セットに収まるので、それらが生成するすべてのスコアは推定値である。
基準セットを再サンプリングし、スコアのブートストラップ標準偏差を記録することにより、検証の不安定性を測定する。
ラベルのない1つの相関から任意のスコアに対するこのサインを予測するルールを与え、間違った符号付きスコアによって駆動される棄権は、テストするデータセット毎にランダムに棄権するよりもひどい結果となる。
論文 参考訳（メタデータ） (2026-09-01T04:12:15Z) - EDGE: a closed-form directed test for the calibration of probabilistic binary classifiers [0.0]
本稿では,正規確率分類器の校正テストであるEDGEを提案し,ロジスティック回帰法を提案する。
EDGEは、同一のビン付き予測観測テーブルを信頼性図のプロットとして読み出し、その標準化されたビン残差をスムーズなキャリブレーション歪みの小さな前提に投影する。
リンクと特徴の相違により、既定のデフォルトが22のシナリオのうち、19のシナリオで全ての競合するビン付きテストに導かれるか、あるいは結び付けられ、再適合ベースのStukelスコアテストが20%から28%のサンプルで分離される場合、計算可能のままであった。
論文 参考訳（メタデータ） (2026-08-20T19:06:05Z) - Evaluator Ensembles Under Reward Hacking: Covariance Geometry and Finite-Search Guarantees [1.0742675209112622]
有限の最適化は、応答品質を改善するのではなく、評価器のエラーを利用することができる。
我々は,内部の判定結果だけでは共通モード誤差が特定できないことを証明した。
有限探索誤差と後悔に対する有界な2アンカーベルンシュタイン証明書を提案する。
論文 参考訳（メタデータ） (2026-08-08T08:28:55Z) - The C-index illusion: discrimination without calibration in published survival models [0.0]
我々は3つの構造的に異なる領域にまたがって3つのサバイバル-MLモデルを再現する。
ホルム補正された家族的誤り率の下で,5つの事前登録仮説を検証した。
論文 参考訳（メタデータ） (2026-07-21T19:13:54Z) - A prior-free blind detection of information leakage from model predictions [0.0]
本稿では,リーク診断が予測リスク/アウトカム則の関数となる決定論的枠組みを提案する。
正当モデルの校正と識別に適合する校正されたリークは、予測の空白関数により、正直な性能と区別できない。
ほぼ決定論的部分群は、非決定論的結果の正当な予測者が製造できない持続的単位純度ヘッドを生成する。
論文 参考訳（メタデータ） (2026-06-09T05:13:03Z) - Testing the Test: Score-Direction Instability in Class-Split Anomaly Detection [56.362776482614976]
データセット内のクラス分割評価は、完全に非条件のアウト・オブ・ディストリビューション異常検出のプロキシとして広く利用されている。
このプロトコルは、保持された異常クラスが表現空間の通常の混合と重なり合う場合、悪用される可能性があることを示す。
そこで本研究では,Fashion-MNIST,CIFAR-10,Imagenette間のスコア方向不安定性を予測する。
論文 参考訳（メタデータ） (2026-05-23T06:27:42Z) - Discovery of Hidden Miscalibration Regimes [52.452902154360565]
モデルは何らかの入力を体系的に過信し、他人を過信することがある。
対応する誤校正分野を定義し,それを推定するための診断フレームワークを提案する。
提案手法は,入力空間のキャリブレーションを意識した表現を学習し,学習幾何学におけるカーネルの平滑化による符号付き局所的誤校正を推定する。
論文 参考訳（メタデータ） (2026-05-13T13:07:50Z) - CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。
エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。
CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
論文 参考訳（メタデータ） (2025-12-22T16:34:21Z) - LEC: Linear Expectation Constraints for False-Discovery Control in Selective Prediction and Routing Systems [95.35293543918762]
大規模言語モデル(LLM)はしばしば信頼できない答えを生成するが、不確実性のある手法は誤った予測と完全に区別することができない。
我々は、この問題を、偽発見率(FDR)制御のレンズを通して解決し、全ての許容された予測のうち、エラーの割合が目標のリスクレベルを超えないことを保証する。
本稿では,線形期待制約を強制することで,選択予測を制約付き決定問題として再解釈するLECを提案する。
論文 参考訳（メタデータ） (2025-12-01T11:27:09Z) - COIN: Uncertainty-Guarding Selective Question Answering for Foundation Models with Provable Risk Guarantees [51.5976496056012]
COINは、統計的に有効な閾値を校正し、質問毎に1つの生成された回答をフィルタリングする不確実性保護選択フレームワークである。
COINはキャリブレーションセット上で経験的誤差率を推定し、信頼区間法を適用して真誤差率に高い確率上界を確立する。
リスク管理におけるCOINの堅牢性,許容回答を維持するための強いテストタイムパワー,キャリブレーションデータによる予測効率を実証する。
論文 参考訳（メタデータ） (2025-06-25T07:04:49Z) - Distribution-free binary classification: prediction sets, confidence
intervals and calibration [106.50279469344937]
分布自由条件における二項分類のための不確実性定量化(キャリブレーション、信頼区間、予測セット)の3つの概念について検討する。
固定幅と一様質量の両双対の双対確率に対する信頼区間を導出する。
我々の「三脚」定理の結果として、双有理確率に対するこれらの信頼区間は分布自由キャリブレーションに繋がる。
論文 参考訳（メタデータ） (2020-06-18T14:17:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。