論文の概要: Measuring the Driving Forces of Predictive Performance: Application to Credit Scoring

• arxiv url: http://arxiv.org/abs/2212.05866v4
• Date: Tue, 21 Jan 2025 09:21:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-23 16:52:29.053925
• Title: Measuring the Driving Forces of Predictive Performance: Application to Credit Scoring
• Title（参考訳）: 予測性能の駆動力の測定:クレジット・スコーリングへの応用
• Authors: Hué Sullivan, Hurlin Christophe, Pérignon Christophe, Saurin Sébastien,
• Abstract要約: 本稿では,予測モデルに関連するコントリビューションに性能指標を分解するXPER手法を紹介する。 XPERは理論上はShapley値に基づいており、モデル非依存とパフォーマンスメトリック非依存の両方である。 モデル性能の驚くほど大きな部分を、少数の機能が説明できることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: As they play an increasingly important role in determining access to credit, credit scoring models are under growing scrutiny from banking supervisors and internal model validators. These authorities need to monitor the model performance and identify its key drivers. To facilitate this, we introduce the XPER methodology to decompose a performance metric (e.g., AUC, $R^2$) into specific contributions associated with the various features of a forecasting model. XPER is theoretically grounded on Shapley values and is both model-agnostic and performance metric-agnostic. Furthermore, it can be implemented either at the model level or at the individual level. Using a novel dataset of car loans, we decompose the AUC of a machine-learning model trained to forecast the default probability of loan applicants. We show that a small number of features can explain a surprisingly large part of the model performance. Notably, the features that contribute the most to the predictive performance of the model may not be the ones that contribute the most to individual forecasts (SHAP). Finally, we show how XPER can be used to deal with heterogeneity issues and improve performance.
• Abstract（参考訳）: クレジット・スコアリング・モデルは、銀行監督官や内部モデル検証官からの精査を受けており、クレジット・スコアリング・モデルへのアクセスを決定する上で、ますます重要な役割を担っている。 これらの当局はモデルのパフォーマンスを監視し、その重要なドライバを特定する必要がある。 これを容易にするために、予測モデルの様々な特徴に関連する特定の貢献にパフォーマンス指標(例えば、AUC、$R^2$)を分解するXPER手法を導入する。 XPERは理論上はShapley値に基づいており、モデル非依存とパフォーマンスメトリック非依存の両方である。 さらに、モデルレベルでも、個々のレベルでも実装できます。 自動車ローンの新たなデータセットを用いて、ローン申請者のデフォルト確率を予測するために訓練された機械学習モデルのAUCを分解する。 モデル性能の驚くほど大きな部分を、少数の機能が説明できることを示す。 特に、モデルの予測性能に最も貢献する機能は、個々の予測(SHAP)に最も貢献する機能ではないかもしれない。 最後に、不均一性問題に対処し、性能を改善するためにXPERをどのように利用できるかを示す。

関連論文リスト

• Explanatory Model Monitoring to Understand the Effects of Feature Shifts on Performance [61.06245197347139]
  そこで本研究では,機能シフトによるブラックボックスモデルの振る舞いを説明する新しい手法を提案する。 本稿では,最適輸送と共有値の概念を組み合わせた提案手法について,説明的性能推定として紹介する。
  論文  参考訳（メタデータ） (2024-08-24T18:28:19Z)
• Observational Scaling Laws and the Predictability of Language Model Performance [51.2336010244645]
  本稿では、モデルトレーニングを回避し、100のパブリックモデルからスケーリング法則を構築する観察的アプローチを提案する。 いくつかの創発現象が滑らかでシグモダルな挙動を辿り、小さなモデルから予測可能であることを示す。 言語モデル機能の改善が進むにつれて、Chain-of-ThoughtやSelf-Consistencyといったポストトレーニング介入の影響を予測する方法を示す。
  論文  参考訳（メタデータ） (2024-05-17T17:49:44Z)
• Decomposing and Editing Predictions by Modeling Model Computation [75.37535202884463]
  コンポーネントモデリングというタスクを導入します。 コンポーネントモデリングの目標は、MLモデルの予測をコンポーネントの観点から分解することだ。 コンポーネント属性を推定するスケーラブルなアルゴリズムであるCOARを提案する。
  論文  参考訳（メタデータ） (2024-04-17T16:28:08Z)
• On the Foundations of Shortcut Learning [20.53986437152018]
  予測と可用性が形状モデルの特徴的利用とどのように相互作用するかを考察する。 線形モデルは比較的偏りがないが、ReLUやTanhの単位を持つ単一の隠蔽層を導入するとバイアスが生じる。
  論文  参考訳（メタデータ） (2023-10-24T22:54:05Z)
• Cross Feature Selection to Eliminate Spurious Interactions and Single Feature Dominance Explainable Boosting Machines [0.0]
  解釈性は法的、倫理的、実践的な理由において不可欠である。 高性能モデルは、冗長な特徴と単一機能支配との素早い相互作用に悩まされることがある。 本稿では,これらの課題に対処するための新しいアプローチとして,代替のクロスフィーチャー選択,アンサンブル機能,モデル構成変更手法について検討する。
  論文  参考訳（メタデータ） (2023-07-17T13:47:41Z)
• Predicting is not Understanding: Recognizing and Addressing Underspecification in Machine Learning [47.651130958272155]
  下位仕様とは、ドメイン内の精度で区別できない複数のモデルの存在を指す。 我々は、不特定概念を形式化し、それを特定し、部分的に対処する方法を提案する。
  論文  参考訳（メタデータ） (2022-07-06T11:20:40Z)
• Feeding What You Need by Understanding What You Learned [54.400455868448695]
  Machine Reading (MRC)は、与えられたテキストパスを理解し、それに基づいて質問に答える機能を明らかにする。 MRCの既存の研究は、Exact Matchのようなメトリクスによって評価されたパフォーマンスを改善するために、大規模なモデルとコーパスに大きく依存している。 モデル機能とデータ特性の深い理解は、適切なトレーニングデータでモデルをフィードするのに役立ちます。
  論文  参考訳（メタデータ） (2022-03-05T14:15:59Z)
• Post-hoc Models for Performance Estimation of Machine Learning Inference [22.977047604404884]
  さまざまなシナリオにおいて、推論中に機械学習モデルがどれだけうまく機能するかを推定することが重要である。 性能評価をさまざまなメトリクスやシナリオに体系的に一般化する。 提案したポストホックモデルは標準信頼ベースラインを一貫して上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-10-06T02:20:37Z)
• Models, Pixels, and Rewards: Evaluating Design Trade-offs in Visual Model-Based Reinforcement Learning [109.74041512359476]
  視覚的MBRLアルゴリズムにおける予測モデルの設計決定について検討する。 潜在空間の使用など、しばしば重要と見なされる設計上の決定は、タスクのパフォーマンスにはほとんど影響しないことが分かりました。 我々は,この現象が探索とどのように関係しているか,および標準ベンチマークにおける下位スコーリングモデルのいくつかが,同じトレーニングデータでトレーニングされた場合のベストパフォーマンスモデルと同等の性能を発揮するかを示す。
  論文  参考訳（メタデータ） (2020-12-08T18:03:21Z)
• Model Embedding Model-Based Reinforcement Learning [4.566180616886624]
  モデルベース強化学習(MBRL)は、モデルフリー強化学習(MFRL)よりもサンプル効率が優れていることを示す。 しかし、データ生成の容易さとモデルのバイアスとの間には、依然としてトレードオフがある。 本稿では,確率的強化学習の枠組みとして,シンプルでエレガントなモデル埋め込み型強化学習(MEMB)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-16T15:10:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。