論文の概要: The Illusion of Improvement: Reject Inference Strategies in Credit Scoring
- arxiv url: http://arxiv.org/abs/2606.18479v1
- Date: Tue, 16 Jun 2026 20:43:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-18 17:16:50.896517
- Title: The Illusion of Improvement: Reject Inference Strategies in Credit Scoring
- Title(参考訳): 改善のイラシオン:クレジットスコーリングにおける推論戦略の拒絶
- Authors: Bruno Scarone, Ricardo Baeza-Yates,
- Abstract要約: リジェクト推論法は、クレジットスコアリングにおける生存バイアスを軽減するために広く用いられている。
自然なリトレーニングサイクルでは、リコール崩壊時に精度が向上するモデルが改善の錯覚を生み出す。
統計的仮定なしでフィードバックループを破る制御された探索戦略を提案する。
- 参考スコア(独自算出の注目度): 10.82789277277678
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Reject inference methods are widely used to mitigate survival bias in credit scoring, yet their effectiveness remains poorly understood. We systematically evaluate several such methods and uncover a structural failure mode: in a natural retraining cycle, models whose accuracy improves while recall collapses create an illusion of improvement that leads practitioners to believe the system is getting better when, in fact, its rejection quality -- the ability to correctly screen out defaulters -- is deteriorating. We then propose a controlled exploration strategy that breaks the feedback loop without statistical assumptions: the lender deliberately approves a fraction of rejected applicants and observes their true outcomes. We show that accuracy and rejection quality give opposite recommendations on whether to explore: accuracy favors no exploration, while rejection quality improves with it, confirming that standard evaluation metrics are misleading under selection bias. Even minimal exploration rates (2--5\%) prove sufficient in our experiments to diagnose the severity of the feedback loop at near-zero cost. Our findings are consistent across two machine learning methods and three real-world datasets, and suggest that standard evaluation protocols are inadequate for assessing models trained under survival bias.
- Abstract(参考訳): リジェクション推論法は、クレジットスコアリングにおける生存バイアスを軽減するために広く用いられているが、その効果はよく分かっていない。
このような手法を体系的に評価し、構造的障害モードを明らかにする。自然なリトレーニングサイクルでは、リコールの崩壊時に精度が向上するモデルが改善の錯覚を引き起こします。
次に,統計的仮定なしにフィードバックループを破る制御された探索戦略を提案する。
精度は探索を好まないが、拒絶品質はそれで改善し、標準評価指標が選択バイアスの下で誤解を招くことを確認する。
最小探査率(2~55%)さえも、ほぼゼロのコストでフィードバックループの重症度を診断するのに十分である。
この結果は,2つの機械学習手法と3つの実世界のデータセットで一致しており,生存バイアス下で訓練されたモデルの評価には標準評価プロトコルが不十分であることが示唆された。
関連論文リスト
- Reward Bias Substitution: Single-Axis Bias Mitigations Redirect Optimization Pressure [23.021647176206972]
報酬モデルバイアスの単一軸緩和は、最適化圧力をそれを取り除くのではなく、相関したプロキシに回転させることができる。
この障害は、監査と政策によって引き起こされる分布の計測と最適化のギャップによって実現される。
我々は緩和の結果を制度分類に定式化し、緩和、偏見置換、過補正が同じ観測結果を生み出すことを証明した。
論文 参考訳(メタデータ) (2026-05-27T05:40:22Z) - Time to REFLECT: Can We Trust LLM Judges for Evidence-based Research Agents? [61.49434544687523]
本稿では,エージェント環境におけるきめ細かい故障検出を目的としたメタ評価ベンチマークREFLECTを紹介する。
REFLECTはプロセスレベルの障害モードと結果レベルの障害モードの詳細な分類を定義し、制御および局所的な介入を実行することでインスタンス化する。
私たちの実験では、最高のパフォーマンスモデルでさえ、推論、ツール使用、レポート品質の失敗に対して、全体的なアキュラシーを55%以下に達成しています。
論文 参考訳(メタデータ) (2026-05-18T23:55:08Z) - Socrates Loss: Unifying Confidence Calibration and Classification by Leveraging the Unknown [4.503897051444244]
ディープニューラルネットワークは、高い精度にもかかわらず、しばしば信頼性のキャリブレーションが低く、高い精度のアプリケーションでの信頼性を制限している。
現在のアドホック信頼度校正法は、トレーニング中にこれを修正しようとするが、基本的なトレードオフに直面している。
本稿では、この安定性と性能のトレードオフに対処し緩和する。
補助的未知のクラスを組み込むことにより、不確実性を明確に活用する、新規で統一された損失関数であるSocrates Lossを提案する。
論文 参考訳(メタデータ) (2026-04-14T03:43:15Z) - Observationally Informed Adaptive Causal Experimental Design [55.998153710215654]
本稿では,観測モデルを基礎的先行として活用する新たなパラダイムであるアクティブ残留学習を提案する。
このアプローチは、実験的な焦点を、目標因果量の学習から、観察バイアスの補正に必要な残差を効率的に推定するへとシフトさせる。
合成および半合成ベンチマークの実験は、R-Designがベースラインを大幅に上回ることを示した。
論文 参考訳(メタデータ) (2026-03-04T06:52:37Z) - Recycling Failures: Salvaging Exploration in RLVR via Fine-Grained Off-Policy Guidance [39.88432082145946]
本稿では,プロセス・リワード・モデルを用いた新しいフレームワークSCOPEを提案する。
本手法は,部分的正しいロールアウトに精密な改良を加えて,部分的正しい軌道を効果的に回収し,多様性スコアを13.5%向上させる。
提案手法は,数学推論において平均46.6%の精度を達成し,分布外推論タスクにおいて53.4%の精度でロバストな一般化を示す。
論文 参考訳(メタデータ) (2026-02-27T15:49:23Z) - Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。
次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。
ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
論文 参考訳(メタデータ) (2025-09-29T12:15:52Z) - Aurora: Are Android Malware Classifiers Reliable and Stable under Distribution Shift? [51.12297424766236]
AURORAは、その信頼性と運用上のレジリエンスに基づいて、マルウェア分類器を評価するためのフレームワークである。
AURORAは、ポイント・イン・タイムのパフォーマンスを超えるように設計されたメトリクスのセットによって補完される。
さまざまなドリフトのデータセットにわたるSOTAフレームワークの脆弱性は、ホワイトボードへの復帰の必要性を示唆している。
論文 参考訳(メタデータ) (2025-05-28T20:22:43Z) - TrustLoRA: Low-Rank Adaptation for Failure Detection under Out-of-distribution Data [62.22804234013273]
本稿では,共変量および意味的シフトの両条件下での拒絶による分類を統一し,促進する,単純な故障検出フレームワークを提案する。
キーとなる洞察は、障害固有の信頼性知識を低ランクアダプタで分離し、統合することにより、障害検出能力を効果的かつ柔軟に向上できるということです。
論文 参考訳(メタデータ) (2025-04-20T09:20:55Z) - Fighting Sampling Bias: A Framework for Training and Evaluating Credit Scoring Models [2.918530881730374]
本稿では,サンプリングバイアスがモデルトレーニングおよび評価に与える影響について考察する。
スコアカード評価のためのバイアス認識型自己学習と拒絶推論フレームワークを提案する。
その結果,ベイズ評価を用いて受入率を決定する場合,利益率が約8%向上することが示唆された。
論文 参考訳(メタデータ) (2024-07-17T20:59:54Z) - Revisiting Confidence Estimation: Towards Reliable Failure Prediction [53.79160907725975]
多くの信頼度推定法は誤分類誤りを検出するのに有害である。
本稿では, 最先端の故障予測性能を示す平坦な最小値を求めることにより, 信頼性ギャップを拡大することを提案する。
論文 参考訳(メタデータ) (2024-03-05T11:44:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。