論文の概要: Explainable Performance
- arxiv url: http://arxiv.org/abs/2212.05866v1
- Date: Mon, 12 Dec 2022 13:09:46 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-13 15:53:25.755645
- Title: Explainable Performance
- Title(参考訳): 説明可能なパフォーマンス
- Authors: Hu\'e Sullivan, Hurlin Christophe, P\'erignon Christophe and Saurin
S\'ebastien
- Abstract要約: 本稿では,モデルの予測的・経済的性能に対する入力特徴の具体的な寄与を測定するためのXPER手法を提案する。
XPERの分解はメトリクス間でかなり安定していますが、いくつかの機能コントリビューションはメトリクス間でサインを切り替えます。
分析の結果,モデル予測とモデル性能は2つの異なる課題であることがわかった。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce the XPER (eXplainable PERformance) methodology to measure the
specific contribution of the input features to the predictive or economic
performance of a model. Our methodology offers several advantages. First, it is
both model-agnostic and performance metric-agnostic. Second, XPER is
theoretically founded as it is based on Shapley values. Third, the
interpretation of the benchmark, which is inherent in any Shapley value
decomposition, is meaningful in our context. Fourth, XPER is not plagued by
model specification error, as it does not require re-estimating the model.
Fifth, it can be implemented either at the model level or at the individual
level. In an application based on auto loans, we find that performance can be
explained by a surprisingly small number of features. XPER decompositions are
rather stable across metrics, yet some feature contributions switch sign across
metrics. Our analysis also shows that explaining model forecasts and model
performance are two distinct tasks.
- Abstract(参考訳): 本稿では,モデルの予測的・経済的性能に対する入力特徴の具体的な寄与を測定するために,XPER手法を提案する。
我々の方法論にはいくつかの利点がある。
第一に、モデル非依存とパフォーマンス指標非依存の両方です。
第2に、XPERはShapley値に基づいて理論的に確立されている。
第3に、Shapley値の分解に固有のベンチマークの解釈は、私たちのコンテキストにおいて有意義である。
第4に、XPERはモデルの再見積を必要としないため、モデル仕様のエラーに悩まされない。
5つ目は、モデルレベルでも、個々のレベルでも実装できます。
オートローンに基づくアプリケーションでは、驚くほど少数の機能によってパフォーマンスが説明できることがわかった。
XPERの分解はメトリクス間でかなり安定していますが、いくつかの機能はメトリクス間でサインを切り替えます。
また,モデル予測とモデル性能が2つの異なる課題であることを示す。
関連論文リスト
- KACDP: A Highly Interpretable Credit Default Prediction Model [2.776411854233918]
本稿では,KAN(Kolmogorov-Arnold Networks)に基づく手法を提案する。
Kansは学習可能なアクティベーション機能を持ち、線形重みを持たない新しいタイプのニューラルネットワークアーキテクチャである。
実験により、KACDPモデルは、パフォーマンス指標において、メインストリームの信用デフォルト予測モデルより優れていることが示された。
論文 参考訳(メタデータ) (2024-11-26T12:58:03Z) - Explanatory Model Monitoring to Understand the Effects of Feature Shifts on Performance [61.06245197347139]
そこで本研究では,機能シフトによるブラックボックスモデルの振る舞いを説明する新しい手法を提案する。
本稿では,最適輸送と共有値の概念を組み合わせた提案手法について,説明的性能推定として紹介する。
論文 参考訳(メタデータ) (2024-08-24T18:28:19Z) - Characterizing Disparity Between Edge Models and High-Accuracy Base Models for Vision Tasks [5.081175754775484]
XDELTAは、高精度ベースモデルと計算効率が良いが低精度エッジモデルの違いを説明する、説明可能な新しいAIツールである。
我々は、XDELTAのモデル不一致を説明する能力をテストするための総合的な評価を行い、120万以上の画像と24のモデルを使用し、6人の参加者による実世界の展開を評価する。
論文 参考訳(メタデータ) (2024-07-13T22:05:58Z) - Decomposing and Editing Predictions by Modeling Model Computation [75.37535202884463]
コンポーネントモデリングというタスクを導入します。
コンポーネントモデリングの目標は、MLモデルの予測をコンポーネントの観点から分解することだ。
コンポーネント属性を推定するスケーラブルなアルゴリズムであるCOARを提案する。
論文 参考訳(メタデータ) (2024-04-17T16:28:08Z) - Fine-Tuning Enhances Existing Mechanisms: A Case Study on Entity
Tracking [53.66999416757543]
本研究では,微調整が言語モデルに実装された内部メカニズムに与える影響について検討する。
微調整はモデルの機械的操作を変えるのではなく、強化する。
論文 参考訳(メタデータ) (2024-02-22T18:59:24Z) - Cross Feature Selection to Eliminate Spurious Interactions and Single
Feature Dominance Explainable Boosting Machines [0.0]
解釈性は法的、倫理的、実践的な理由において不可欠である。
高性能モデルは、冗長な特徴と単一機能支配との素早い相互作用に悩まされることがある。
本稿では,これらの課題に対処するための新しいアプローチとして,代替のクロスフィーチャー選択,アンサンブル機能,モデル構成変更手法について検討する。
論文 参考訳(メタデータ) (2023-07-17T13:47:41Z) - Feeding What You Need by Understanding What You Learned [54.400455868448695]
Machine Reading (MRC)は、与えられたテキストパスを理解し、それに基づいて質問に答える機能を明らかにする。
MRCの既存の研究は、Exact Matchのようなメトリクスによって評価されたパフォーマンスを改善するために、大規模なモデルとコーパスに大きく依存している。
モデル機能とデータ特性の深い理解は、適切なトレーニングデータでモデルをフィードするのに役立ちます。
論文 参考訳(メタデータ) (2022-03-05T14:15:59Z) - Characterizing Fairness Over the Set of Good Models Under Selective
Labels [69.64662540443162]
同様の性能を実現するモデルセットに対して,予測公正性を特徴付けるフレームワークを開発する。
到達可能なグループレベルの予測格差の範囲を計算するためのトラクタブルアルゴリズムを提供します。
選択ラベル付きデータの実証的な課題に対処するために、我々のフレームワークを拡張します。
論文 参考訳(メタデータ) (2021-01-02T02:11:37Z) - Models, Pixels, and Rewards: Evaluating Design Trade-offs in Visual
Model-Based Reinforcement Learning [109.74041512359476]
視覚的MBRLアルゴリズムにおける予測モデルの設計決定について検討する。
潜在空間の使用など、しばしば重要と見なされる設計上の決定は、タスクのパフォーマンスにはほとんど影響しないことが分かりました。
我々は,この現象が探索とどのように関係しているか,および標準ベンチマークにおける下位スコーリングモデルのいくつかが,同じトレーニングデータでトレーニングされた場合のベストパフォーマンスモデルと同等の性能を発揮するかを示す。
論文 参考訳(メタデータ) (2020-12-08T18:03:21Z) - PSD2 Explainable AI Model for Credit Scoring [0.0]
本研究の目的は、信用リスクモデルの予測精度を向上させるための高度な分析手法の開発と試験である。
このプロジェクトは、銀行関連のデータベースに説明可能な機械学習モデルを適用することに焦点を当てている。
論文 参考訳(メタデータ) (2020-11-20T12:12:38Z) - Model Embedding Model-Based Reinforcement Learning [4.566180616886624]
モデルベース強化学習(MBRL)は、モデルフリー強化学習(MFRL)よりもサンプル効率が優れていることを示す。
しかし、データ生成の容易さとモデルのバイアスとの間には、依然としてトレードオフがある。
本稿では,確率的強化学習の枠組みとして,シンプルでエレガントなモデル埋め込み型強化学習(MEMB)アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-06-16T15:10:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。