論文の概要: The Hidden Costs of 99% Accuracy: A Trustworthiness Audit of the Telco Customer Churn Benchmark

• arxiv url: http://arxiv.org/abs/2610.00118v1
• Date: Wed, 09 Sep 2026 12:05:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-05 14:48:16.375669
• Title: The Hidden Costs of 99% Accuracy: A Trustworthiness Audit of the Telco Customer Churn Benchmark
• Title（参考訳）: 隠れたコスト99%の正確性:Telco Customer Churn Benchmarkの信頼性調査
• Abstract要約: Telco Customer Churnベンチマークの顧客チャーン予測では、95%以上のテスト精度が定期的に報告されている。 このベンチマークは、正確さとF1セントのレポートに見えない4つの信頼性障害について評価する。
• 参考スコア（独自算出の注目度）: 4.152774504513197
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Customer churn prediction on the IBM Telco Customer Churn benchmark (n = 7,043) routinely reports test accuracies above 95%, with the most cited published study reporting 99.01%. We audit this benchmark for four trustworthiness failures invisible to the accuracy- and F1-centred reporting that dominates the literature. First, pre-split SMOTE inflates churn-class F1 by 13.1 percentage points across ten classifiers and fifteen seeds (Wilcoxon p < 10^-4 per classifier); the same leaky pipeline ordering paired with class weighting yields no inflation, isolating the effect to SMOTE's geometric construction. We measure the mechanism directly: approximately 36% of synthetic training points are nearest-neighbour interpolations of test-set instances. Second, the TotalCharges field is approximately determined by tenure multiplied by MonthlyCharges (R2 = 0.999); removing it changes accuracy by less than 0.2 percentage points, yet TreeSHAP ranks it ninth in mean absolute attribution - a pattern that materially corrupts SHAP-based interpretation. We propose an R2 > 0.95 pre-modelling diagnostic. Third, in a 15-seed calibration audit, isotonic regression is the strongest default; temperature scaling fails on class-weighted tree ensembles whose predicted-probability distribution is bimodal. Fourth, the cost-optimal decision threshold (under a 50 USD retention offer and 24-month CLV proxy) is approximately 5-10 times lower than the F1-optimal threshold, saving approximately 77,000 USD per 1,000 customers. We replicate F1 and F2 on Iranian Telecom Churn (within domain) and Bank Customer Churn (across domain): F1 generalises; F2 generalises only within telecom. We synthesise these findings into a four-component reporting checklist - pipeline disclosure, redundancy diagnostic, calibration audit, and cost-sensitive thresholds - and release a reproducible implementation.
• Abstract（参考訳）: IBM Telco Customer Churnベンチマーク(n = 7,043)の顧客チャーン予測は95%以上で、最も引用された調査は99.01%である。 このベンチマークは、文献を支配している正確度とF1セントのレポートには見えない4つの信頼性障害について評価する。 まず、分別前のSMOTEは10の分類器と15の種(Wilcoxon p < 10^-4 per classifier)でチャーンクラスF1を13.1ポイント膨らませる(Wilcoxon p < 10^-4 per classifier)。 合成訓練ポイントの約36%は、テストセットインスタンスの最も近い隣りの補間である。 第2に、TotalChargesフィールドは、MathlyCharges (R2 = 0.999) の乗算によって決定され、精度を0.2パーセント未満に変更するが、TreeSHAPは、SHAPベースの解釈を実質的に損なうパターンである平均絶対属性で9位にランク付けする。 R2 > 0.95 の事前モデリング診断を提案する。 第3に, 予測確率分布がバイモーダルなクラス重み木アンサンブルでは, 温度スケーリングが失敗する。 第4に、コスト最適決定しきい値(50USDの保持提案と24ヶ月のCLVプロキシ)は、F1最適しきい値よりも約5～10倍低く、1,000ユーザ当たり約77,000USDを節約します。 イランのテレコム・チャーン(ドメイン)とバンク・顧客・チャーン(ドメイン)でF1とF2を複製する:F1は一般化し、F2はテレコム内でのみ一般化する。 これらの知見を,パイプライン開示,冗長性診断,校正監査,コスト依存しきい値といった4成分のレポートチェックリストに合成し,再現可能な実装をリリースする。

関連論文リスト

• CredWise: A Controlled Agentic Decision-Intelligence Framework for Explainable and Auditable Credit-Risk Assessment [0.0]
  CredWiseは、信用リスク予測、確率キャリブレーション、説明可能な人工知能、ポリシー検索、制御されたエージェントベースの分析を統合する、意思決定支援フレームワークである。 2007-2016年、トレーニング用、2017年、テスト用、2018年。 結果は、CredWiseが予測、説明、ポリシーエビデンス、構造化分析をひとつのワークフローで組み合わせることができることを示している。
  論文  参考訳（メタデータ） (2026-09-29T10:38:53Z)
• Beyond Average Error through Oracle-Informed Stress Tests for Time-Series Forecasting [34.76483563088126]
  平均二乗誤差は、予測性能が低下するのは、未来が予測不可能になるためなのか、あるいは、予測が条件平均から遠く離れているためなのかを明らかにすることができない。 本研究では,各リード時間における2乗誤差の変化を環境リスクと予測軌道距離に分解する機構制御型ストレステストを導入する。
  論文  参考訳（メタデータ） (2026-09-19T06:42:49Z)
• Domain-Specific Hallucination Detection in Large Language Models [0.0]
  大規模言語モデルは、不誠実なクレームを含むことができる流動的なテキストを生成する。 微調整されたDeBERTa-v3分類, Monte Carlo (MC) Dropoutの不確実性定量化を組み合わせた多信号検出パイプラインを提案する。
  論文  参考訳（メタデータ） (2026-09-10T17:45:36Z)
• Accurate Ensembles, Fragile Narratives: Multi-Scale Stacking and a Fidelity Audit of LLM-Generated Explanations for Credit Risk [0.0]
  クレジットスコアリングは、決定ロジックをパラメータから読み取ることができないモデルに依存している。 共通する提案は、言語モデルとのギャップを埋める: 特徴属性を計算し、それらを LLM に渡し、合理的に記述させる。 このようなシステムをエンド・ツー・エンドに構築し、約束の後半が成立するかどうかをテストします。
  論文  参考訳（メタデータ） (2026-08-08T13:22:14Z)
• Explainable Artificial Intelligence for Customer Churn Prediction in Telecommunications: A Framework for CRM Integration [0.0]
  リスクスコアとベクトルを階層化されたセグメンテーションに変換する4層CRM統合アーキテクチャを導入する。 最高リスクのクインタイルを目標にすると、全体のチャーンを3.3～5.3ポイント削減し、キャンペーンサイクル当たり199K〜319Kと見積もられている。
  論文  参考訳（メタデータ） (2026-07-01T15:30:16Z)
• Knowledge Index of Noah's Ark [63.143852586221534]
  KINAは,261分野にわたる899項目のベンチマークである。 ボーナス・オン・バートーナメントがFOSDを弱く支配していることを示す。 トップモデルであるGemini-3.1-Pro-Previewは53.17%、Claude-Opus-4.6は49.92%、GPT-5.4は48.55%に達した。
  論文  参考訳（メタデータ） (2026-06-03T17:06:49Z)
• Let the Results Speak: A Replication-First Paradigm for LLM Behavioral Benchmarking [22.825786049667602]
  本稿では,1つのヒト・ラタのコンセンサスに有効性を確保するために,複製第一パラダイムを提案する。 楽器を4つの特性で認証する - Kランの信頼性、アーキテクチャ的に異なる審査員間のクロスインストラクトレプリケーション、以前のトレーニングコホートからの審査員による歴史的フットプリントキャリブレーション、事前登録された予測。 本研究は, 自己発達型データ駆動による情緒的伴奏で, 次元は事前に決められず, 手順は9次元に安定化する。
  論文  参考訳（メタデータ） (2026-05-27T03:41:11Z)
• Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
  大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。 個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。 構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
  論文  参考訳（メタデータ） (2026-05-15T17:08:27Z)
• Multi-Dimensional Behavioral Evaluation of Agentic Stock Prediction Systems Using Large Language Model Judges with Closed-Loop Reinforcement Learning Feedback [1.2362187555287152]
  ファイナンスにおける予測評価は、ポイント予測エラーに基づく集計精度測定と予測精度テストに依存している。 本稿では,中間決定プロセス自体を評価することによって,精度試験を補完する行動予測評価手法を提案する。
  論文  参考訳（メタデータ） (2026-05-07T06:31:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。