論文の概要: VFR-Audit: Verdict-Level Reliability for Fairness Audits in Hospital Length-of-Stay Prediction
- arxiv url: http://arxiv.org/abs/2608.30846v1
- Date: Mon, 31 Aug 2026 14:14:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:31.438093
- Title: VFR-Audit: Verdict-Level Reliability for Fairness Audits in Hospital Length-of-Stay Prediction
- Title（参考訳）: VFR-Audit: 病院長予測におけるフェアネス監査の検証・レベル信頼性
- Abstract要約: 臨床人工知能におけるフェアネス監査は、連続したフェアネス指標を、運用しきい値に対するバイナリパスまたはフェイル判定に変換する。
本稿では,VFR(Verdict Flip Rate)を中心に構築されたフレームワークであるVFR-Auditを提案する。
VFR-AuditはVFRを3つの信頼性軸と共に報告している。
- 参考スコア（独自算出の注目度）: 1.1087735229999816
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Fairness audits in clinical Artificial Intelligence convert continuous fairness metrics into binary pass-or-fail verdicts against operational thresholds, where hospital governance boards, payers, and regulators act on the resulting verdicts. Such audits are repeated over time and across hospital sites, thus the same verdict can flip between pass and fail across audits. Existing uncertainty methods such as Bayesian posteriors, bootstrap confidence intervals, and permutation tests address verdict instability only at the continuous-metric level. Converting metric-level uncertainty into a verdict-stability claim remains a manual step that scales poorly across the (model, metric, attribute) cells an audit covers. Existing uncertainty methods also leave open whether bias-mitigation steps, such as reweighing or per-group threshold shifts, yield a stable passing verdict at the cost of model discrimination measured as AUROC or AUPRC.To address this verdict-stability gap, we propose VFR-Audit, a framework built around the Verdict Flip Rate (VFR), a scalar bounded between 0 and 0.5 that measures the probability of verdict reversal under stratified bootstrap resampling. VFR-Audit reports VFR alongside three reliability axes, namely within-cohort resampling stability, audit-size sensitivity, and cross-hospital verdict agreement via Fleiss' kappa.
- Abstract（参考訳）: 臨床人工知能におけるフェアネス監査は、連続したフェアネス指標を、病院の運営委員会、給与、規制当局が結果の判断を行う、運用しきい値に対するバイナリパスまたはフェイル判定に変換する。
このような監査は、時間をかけて、病院の現場で繰り返されるので、同じ判決は監査でパスとフェールを切り替えることができる。
ベイズの後部、ブートストラップの信頼区間、置換試験などの既存の不確実性手法は、連続度レベルのみの予測不安定性に対処する。
計量レベルの不確かさを評定安定性の主張に変換することは、監査がカバーする(モデル、メートル法、属性)セルにわたって低いスケールのマニュアルステップのままである。
既存の不確実性手法は, AUROC や AUPRC のようなモデル判別のコストにおいて, 偏差緩和の段階を保ち, 集団ごとの閾値シフトなどのバイアス緩和の段階を保ち, モデル判別のコストを安定に保ち, この判定安定性のギャップに対処するために, 階層化ブートストラップ再サンプリング下での検証の確率を測定するスカラーであるVFR-Auditを提案する。
VFR-AuditはVFRを3つの信頼性軸と共に報告している。
関連論文リスト
- Judge, Retrieve, or Abstain: Uncertainty-Guarded LLM Judging with Provable Risk Guarantees [16.73004625486562]
LLMを審査員として使用することは、大規模にモデル出力を評価するための標準的なプラクティスとなっている。
基準回答がない場合、審査員はパラメトリック知識またはツール拡張を通じて事実の正しさを評価する。
提案するリスク管理フレームワークは,不確実性のしきい値の正当性を判定し,ユーザの特定レベル以下で検証できる。
論文 参考訳（メタデータ） (2026-08-18T16:42:02Z) - SVR: Self-Verifying Refinement via Joint Verdict-Confidence Reinforcement Learning for Adaptive Test-Time Compute [62.3458279176813]
自己検証リファインメント(Self-Verifying Refinement)は、オラクルフリーのマルチターン強化学習フレームワークである。
自己検証を計算制御ポリシとして使用することを学ぶ。
マクロ平均精度は0.563で、平均で2.99回しか推測できない。
論文 参考訳（メタデータ） (2026-07-30T16:20:58Z) - Conformal Changepoint Localization and Root Cause Analysis with Corrupted Observations [55.76952683833966]
本稿では,データ破損時の信頼性設定サイズを低減するために,重み付きCONCH(W-CONCH)と重み付きCROC(W-CROC)を提案する。
画像ベースおよび実世界の変化点と根本原因ベンチマークの実験は、不確実性ベースの重み付けが信頼性セットのサイズを大幅に減少させることを示している。
論文 参考訳（メタデータ） (2026-07-29T05:16:59Z) - Denoised Conformal Alignment for Reliable Selection of Conditional Average Treatment Effect Predictions [10.945117945979566]
ブラックボックスCATE予測器の信頼性の選択について検討する。
疑似アウトカムから2つの堅牢なプロキシエラーを構築する。
定式化コンフォーマルアライメントを提案する。
論文 参考訳（メタデータ） (2026-07-03T10:00:28Z) - Beyond Output-Space Calibration: Spectral Evidence Bundling for Selective Reliability Estimation in Time-Series Classification [26.80740674805048]
時系列分類のポストホック校正は通常、出力スコアを再マップするが、配置決定は現在の時間信号によって確実な予測が支持されるかどうかに依存する。
同一の信頼値が異なる時間的サポートを隠蔽し、平均キャリブレーションは偽の高信頼誤差を見逃し、出力空間再校正は限られた入力リンク監査性を提供する。
信頼すべきかどうかを推定しながら、バックボーンの予測を一定に保ちつつ、バリデーション付き固定ラベル信頼性ポリシーを導入する。
論文 参考訳（メタデータ） (2026-06-29T01:31:00Z) - Stability vs. Manipulability: Evaluating Robustness Under Post-Decision Interaction in LLM Judges [0.519554837386174]
本研究では, 意思決定後の操作性について検討し, 審査員との会話を通じて評価結果が変更できる程度について検討した。
LLM審査員は、反復的かつ中立的な再評価の下で非常に安定しているが、目標決定後の課題下では、かなり可逆的になる。
これらの逆転は、人間の嗜好との合意を低下させ、ベンチマークのランクをシフトさせ、自己報告の信頼性が高いにもかかわらず有害な評価変更を発生させるという、実践的な結果をもたらす。
論文 参考訳（メタデータ） (2026-06-03T19:37:23Z) - RISED: A Pre-Deployment Safety Evaluation Framework for Clinical AI Decision-Support Systems [0.0]
本稿では,信頼性,指数性,感度,等価性,展開性に関する5次元事前デプロイ評価を提案する。
RISEDはオープンソースのPythonパッケージとしてリリースされ、既存の臨床AIレポート標準の量的検証を提供する。
論文 参考訳（メタデータ） (2026-05-13T02:17:13Z) - A Coin Flip for Safety: LLM Judges Fail to Reliably Measure Adversarial Robustness [57.510025257780306]
既存の検証プロトコルは、レッドチーム固有の分散シフトを考慮できないことを示す。
我々は、より一貫して判断可能な振る舞いのベンチマークであるReliableBenchと、判断失敗を公開するために設計されたデータセットであるJiceStressTestを提案する。
論文 参考訳（メタデータ） (2026-02-04T15:13:35Z) - LEC: Linear Expectation Constraints for False-Discovery Control in Selective Prediction and Routing Systems [95.35293543918762]
大規模言語モデル(LLM)はしばしば信頼できない答えを生成するが、不確実性のある手法は誤った予測と完全に区別することができない。
我々は、この問題を、偽発見率(FDR)制御のレンズを通して解決し、全ての許容された予測のうち、エラーの割合が目標のリスクレベルを超えないことを保証する。
本稿では,線形期待制約を強制することで,選択予測を制約付き決定問題として再解釈するLECを提案する。
論文 参考訳（メタデータ） (2025-12-01T11:27:09Z) - TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。
スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。
我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
論文 参考訳（メタデータ） (2025-09-25T13:04:29Z) - COIN: Uncertainty-Guarding Selective Question Answering for Foundation Models with Provable Risk Guarantees [51.5976496056012]
COINは、統計的に有効な閾値を校正し、質問毎に1つの生成された回答をフィルタリングする不確実性保護選択フレームワークである。
COINはキャリブレーションセット上で経験的誤差率を推定し、信頼区間法を適用して真誤差率に高い確率上界を確立する。
リスク管理におけるCOINの堅牢性,許容回答を維持するための強いテストタイムパワー,キャリブレーションデータによる予測効率を実証する。
論文 参考訳（メタデータ） (2025-06-25T07:04:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。