論文の概要: The C-index illusion: discrimination without calibration in published survival models

• arxiv url: http://arxiv.org/abs/2607.19526v2
• Date: Thu, 23 Jul 2026 13:01:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-24 14:12:06.746815
• Title: The C-index illusion: discrimination without calibration in published survival models
• Title（参考訳）: C-インデックス錯覚--公表された生存モデルにおける校正なしでの識別
• Abstract要約: 我々は3つの構造的に異なる領域にまたがって3つのサバイバル-MLモデルを再現する。 ホルム補正された家族的誤り率の下で,5つの事前登録仮説を検証した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent work has argued normatively, on synthetic data, that evaluating survival models by discrimination alone (concordance index) yields systematically misleading model comparisons, because the metric ignores calibration and time-dependent accuracy. Whether this matters for real, published, non-clinical models has not been tested. We reproduce three published survival-ML models across three structurally distinct domains -- hard-drive failure prediction, peer-to-peer credit default, and user disengagement on digital platforms -- validate our instrument against the anchor paper's own synthetic experiment, and test five pre-registered hypotheses under a Holm-corrected family-wise error rate. Three of five reject (though one pre-registered threshold clears by a narrow margin). A model reproducing the published literature's discrimination almost exactly (C = 0.9595 vs. 0.958 reported) fails a formal calibration test at p < 0.001; a broad feature-ablation search finds no single attribute responsible for its discrimination, so the calibration failure is not a trivial shortcut artifact. A lender's estimated default risk is biased upward by roughly two percentage points, growing to nearly four in the riskiest segment, when loan prepayment is treated as non-informative censoring rather than a competing risk. A platform's churn model shows probability estimates that degrade with the horizon even as global discrimination stays within the pre-registered C-index band. A direct test of whether metric choice inverts model preference does not reject, though with limited power given two to three models per domain; the failure mode we document is better characterized as misplaced confidence in a chosen model than as choosing the wrong one. We release a pre-registered evaluation harness with full code and an annotated notebook, so these results can be verified independently and the audit extended.
• Abstract（参考訳）: 近年の研究では、判別のみによる生存モデルの評価(一致指数)は、校正と時間依存の精度を無視するため、体系的に間違ったモデル比較をもたらすと、合成データに基づいて論じられている。 これが実際の、公開された、非クリニカルなモデルにとって重要なのかは、まだテストされていない。 我々は,3つの構造的に異なる領域 – ハードドライブ障害予測,ピアツーピアクレジットデフォルト,デジタルプラットフォームへのユーザ統合 – にわたる3つのサバイバルMLモデルを再現し,アンカーペーパーの合成実験に対して我々の計器を検証し,ホルム補正されたファミリーワイドエラー率で事前登録された5つの仮説を検証した。 5つのうち3つが拒絶する(ただし1つの登録済み閾値は狭いマージンでクリアされる)。 論文の識別をほぼ正確に再現するモデル(C = 0.9595 vs. 0.958)は、p < 0.001で公式な校正試験に失敗する。 ローンのデフォルトリスクは、競合するリスクではなく、非インフォームティブな検閲として扱われる場合、最もリスクの高いセグメントで4つ近くまで増加する。 プラットフォームのチャーンモデルでは、グローバルな差別が登録済みのC-インデックスバンド内に留まっているとしても、水平線で劣化する確率の推定値が示される。 メトリック選択がモデル選択を逆転させるかどうかの直接テストでは、ドメイン毎に2から3つのモデルが与えられた限られたパワーで拒否されない。 完全コードと注釈付ノートを備えた事前登録評価ハーネスを公開し、これらの結果を独立して検証し、監査を拡張した。

関連論文リスト

• ConfidenceBench: Evaluating Confidence Calibration in Large Language Models [14.831793255747181]
  ConfidenceBenchは、大規模言語モデルのキャリブレーションベンチマークである。 15のフロンティア大言語モデルにおいて、言語化された信頼度の評価を行う。 信頼性はプロンプトを通じて引き起こされ、モデルロジットへのアクセスは不要である。
  論文  参考訳（メタデータ） (2026-07-10T01:56:30Z)
• Modeling Normal Is All You Need: Joint Latent Clustering for Anomaly Detection in Multimodal Cyber-Physical Systems [47.027290803102666]
  通常の行動は、多くの不均衡で、曲がりくねった、細い範囲の運営体制の結合である。 我々は正規法則を、共同学習された潜在表現と明示的なガウス混合モードクラスタリングでモデル化する。 ポイント調整のない生のポイントワイドメトリクス、自明な検出困難分割、頻度整合F1、列車正規化のみのキャリブレーションを意図的に評価する。
  論文  参考訳（メタデータ） (2026-07-07T10:10:00Z)
• CaliDist: Calibrating Large Language Models via Behavioral Robustness to Distraction [51.56484100374058]
  既存のLLM(Large Language Models)のキャリブレーション手法は、しばしば信頼性の重要な次元、すなわちモデルの振舞いの堅牢性を見落としている。 我々は,モデルが注意をそらす可能性を直接測定し,罰する,新しいポストホックキャリブレーション手法であるtextscCaliDistを紹介した。 textscCaliDistは、強いベースラインと比較して、期待の低いエラー(ECE)とBrier Scoreを一貫して達成します。
  論文  参考訳（メタデータ） (2026-06-04T07:27:53Z)
• What Single-Prompt Accuracy Misses: A Multi-Variant Reliability Audit of Language Models [0.0]
  シングルプロンプト精度は、言語モデルをベンチマークする主要な方法であるが、重要な信頼性障害を見逃す可能性がある。 15モデルオープンウェイトコーパスの評価を行い,5つの分類と推論ベンチマークによる10のインストラクトモデルに着目した信頼性解析を行った。 まず、評価設計は結論を根本的に変えることができる。 第2に、信頼信号は脆弱である。MMLU-Proでは、各プライマリモデルは、その精度と同一行上のトークン確率信頼の両方よりもかなり高い信頼度を言語的に報告し、単一のプロンプト変種における単一のモデルに対して、動詞のパースレートが崩壊する可能性がある。
  論文  参考訳（メタデータ） (2026-05-03T20:05:08Z)
• VAE-Inf: A statistically interpretable generative paradigm for imbalanced classification [8.677199689027772]
  生成的モデリングと識別的分類のギャップを埋める2段階の枠組みを提案する。 推論のために、自然な仮説テストの解釈を受け入れるプロジェクションベースのスコアを導入する。 様々な実世界のベンチマークの実験は、我々のフレームワークが他のアプローチと競合する性能を達成していることを示している。
  論文  参考訳（メタデータ） (2026-04-28T07:50:56Z)
• Adversarial Stress Tests for Quantum Certification [0.0]
  古典的なベンチマークの明らかな違反は、真の非古典的な振る舞いを示唆する必要はない。 マーチンゲールセーフな低信頼境界に基づくプロトコルに依存しないアライメント原理を定式化する。 適応学習に基づく古典的エージェントは許容可能な古典的集合を拡大しないことを示す。
  論文  参考訳（メタデータ） (2026-03-13T03:49:58Z)
• CDRRM: Contrast-Driven Rubric Generation for Reliable and Interpretable Reward Modeling [61.75914342638658]
  CDRRM(Contrast-Driven Reward Model)は、高品質なルーリック生成と優先判断のためのフレームワークである。 この作業は、報酬モデリングのためのスケーラブルで解釈可能で、データ効率のよいパスを提供する。
  論文  参考訳（メタデータ） (2026-03-09T07:15:23Z)
• Deterministic Fuzzy Triage for Legal Compliance Classification and Evidence Retrieval [0.0]
  法律チームはますます、大量の契約上の証拠をトリアージするために機械学習を使用している。 多くのモデルは不透明で非決定論的であり、HIPAAやNERC-CIPのようなフレームワークと整合するのは難しい。 決定論的双対エンコーダと透明なファジィトリアージバンドに基づく簡単な再現可能な代替法について検討する。
  論文  参考訳（メタデータ） (2026-03-08T00:31:34Z)
• Towards Anytime-Valid Statistical Watermarking [63.02116925616554]
  我々は、任意の時間価推論で最適なサンプリングを統一する、最初のe-value-based watermarking frameworkであるAnchored E-Watermarkingを開発した。 本フレームワークはサンプル効率を大幅に向上させ,最先端のベースラインに対して,検出に必要な平均トークン予算を13～15%削減する。
  論文  参考訳（メタデータ） (2026-02-19T18:32:26Z)
• When LLMs get significantly worse: A statistical approach to detect model degradations [33.63321816712603]
  基礎モデルの推論コストと遅延を最小化することが重要な研究領域となっている。 モデル劣化を効率的に検出できる,McNemarのテストに基づく統計的に健全な仮説テストフレームワークを提案する。 実験の結果,0.3%の精度劣化でも,ノイズよりも実際の劣化が確実な原因であることが判明した。
  論文  参考訳（メタデータ） (2026-02-09T10:45:13Z)
• Measuring Language Model Hallucinations Through Distributional Correctness [7.106986689736826]
  この問題を解決するために,新しい評価基準である分布補正スコア(DCS)を導入した。 DCSは、誤った回答における有害な過信と、棄権によって表される不確実性を区別し、解釈可能なデフォルト範囲でスコアを提供する。 DCSは、推測よりも真に不確実性を表現するモデルにインセンティブを与える、よりニュアンスで整列した評価パラダイムを提供する。
  論文  参考訳（メタデータ） (2025-10-05T17:50:42Z)
• The NazoNazo Benchmark: A Cost-Effective and Extensible Test of Insight-Based Reasoning in LLMs [3.9977256267361754]
  そこで本研究では,日本人児童のライドルから構築した費用効果評価指標であるNazonazoについて紹介する。 GPT-5以外のモデルは人間の性能に匹敵せず、平均精度は52.9%である。
  論文  参考訳（メタデータ） (2025-09-18T07:50:04Z)
• Evaluating AI systems under uncertain ground truth: a case study in dermatology [43.8328264420381]
  不確実性を無視することは、モデル性能の過度に楽観的な推定につながることを示す。 皮膚状態の分類では,データセットの大部分が重大な真理不確実性を示すことが判明した。
  論文  参考訳（メタデータ） (2023-07-05T10:33:45Z)
• Conservative Prediction via Data-Driven Confidence Minimization [70.93946578046003]
  機械学習の安全性クリティカルな応用においては、モデルが保守的であることが望ましいことが多い。 本研究では,不確実性データセットに対する信頼性を最小化するデータ駆動信頼性最小化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-08T07:05:36Z)
• Robust Outlier Rejection for 3D Registration with Variational Bayes [70.98659381852787]
  我々は、ロバストアライメントのための新しい変分非局所ネットワークベース外乱除去フレームワークを開発した。 そこで本稿では, 投票に基づく不整合探索手法を提案し, 変換推定のための高品質な仮説的不整合をクラスタリングする。
  論文  参考訳（メタデータ） (2023-04-04T03:48:56Z)
• Reliability-Aware Prediction via Uncertainty Learning for Person Image Retrieval [51.83967175585896]
  UALは、データ不確実性とモデル不確実性を同時に考慮し、信頼性に配慮した予測を提供することを目的としている。 データ不確実性はサンプル固有のノイズを捕捉する」一方、モデル不確実性はサンプルの予測に対するモデルの信頼を表現している。
  論文  参考訳（メタデータ） (2022-10-24T17:53:20Z)
• Approaching Neural Network Uncertainty Realism [53.308409014122816]
  自動運転車などの安全クリティカルなシステムには、定量化または少なくとも上限の不確実性が不可欠です。 マハラノビス距離に基づく統計的テストにより、厳しい品質基準である不確実性リアリズムを評価します。 自動車分野に採用し、プレーンエンコーダデコーダモデルと比較して、不確実性リアリズムを大幅に改善することを示した。
  論文  参考訳（メタデータ） (2021-01-08T11:56:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。