論文の概要: Statistical Significance of Feature Importance Rankings
- arxiv url: http://arxiv.org/abs/2401.15800v4
- Date: Thu, 30 Jan 2025 23:25:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-03 10:39:53.762464
- Title: Statistical Significance of Feature Importance Rankings
- Title（参考訳）: 重要度ランキングの統計的意義
- Authors: Jeremy Goldwasser, Giles Hooker,
- Abstract要約: 高確率保証で最も重要な機能が正しいことを確実にするテクニックを考案する。
これらは、上位機能のセットと要素の順序をK$で評価する。
次に、2つの効率的なサンプリングアルゴリズムを導入し、おそらくは1-alpha$を超える確率で、K$の最も重要な特徴を識別する。
- 参考スコア（独自算出の注目度）: 3.8642937395065124
- License:
- Abstract: Feature importance scores are ubiquitous tools for understanding the predictions of machine learning models. However, many popular attribution methods suffer from high instability due to random sampling. Leveraging novel ideas from hypothesis testing, we devise techniques that ensure the most important features are correct with high-probability guarantees. These assess the set of $K$ top-ranked features, as well as the order of its elements. Given a set of local or global importance scores, we demonstrate how to retrospectively verify the stability of the highest ranks. We then introduce two efficient sampling algorithms that identify the $K$ most important features, perhaps in order, with probability exceeding $1-\alpha$. The theoretical justification for these procedures is validated empirically on SHAP and LIME.
- Abstract（参考訳）: 特徴重要度スコアは、機械学習モデルの予測を理解するためのユビキタスツールである。
しかし、多くの一般的な帰属法は、ランダムサンプリングによる高い不安定性に悩まされている。
仮説テストから新しいアイデアを活用することで、最も重要な機能が高い確率保証で正しいことを保証するテクニックを考案します。
これらは、上位機能のセットと要素の順序をK$で評価する。
地域的・世界的重要性のスコアが与えられた場合、最高位の安定性をふりかえりに検証する方法を実証する。
次に、2つの効率的なサンプリングアルゴリズムを導入し、おそらくは1-\alpha$を超える確率で、K$最も重要な特徴を識別する。
これらの手順の理論的正当性は、SHAPとLIMEで実証的に検証される。
関連論文リスト
- Probably Approximately Precision and Recall Learning [62.912015491907994]
精度とリコールは機械学習の基本的な指標である。
一方的なフィードバック – トレーニング中にのみ肯定的な例が観察される – は,多くの実践的な問題に固有のものだ。
PAC学習フレームワークでは,各仮説をグラフで表現し,エッジは肯定的な相互作用を示す。
論文 参考訳（メタデータ） (2024-11-20T04:21:07Z) - The Certainty Ratio $C_ρ$: a novel metric for assessing the reliability of classifier predictions [0.0]
本稿では,任意の分類性能指標に対する信頼性(確実性)と不確実性(不確実性)の寄与を定量化する新しい尺度であるCertainty Ratio(C_rho$)を紹介する。
21のデータセットと複数の分類器(Decision Trees、Naive-Bayes、 3-Nearest Neighbors、Random Forestsなど)にまたがる実験の結果、$C_rho$rhoは従来のメトリクスがしばしば見落としているという重要な洞察を明らかにしている。
論文 参考訳（メタデータ） (2024-11-04T10:50:03Z) - A Probabilistic Perspective on Unlearning and Alignment for Large Language Models [48.96686419141881]
大規模言語モデル(LLM)のための最初の形式的確率的評価フレームワークを紹介する。
すなわち,モデルの出力分布に関する確率保証の高い新しい指標を提案する。
私たちのメトリクスはアプリケーションに依存しないので、デプロイ前にモデル機能についてより信頼性の高い見積を行うことができます。
論文 参考訳（メタデータ） (2024-10-04T15:44:23Z) - Online non-parametric likelihood-ratio estimation by Pearson-divergence
functional minimization [55.98760097296213]
iid 観測のペア $(x_t sim p, x'_t sim q)$ が時間の経過とともに観測されるような,オンラインな非パラメトリック LRE (OLRE) のための新しいフレームワークを提案する。
本稿では,OLRE法の性能に関する理論的保証と,合成実験における実証的検証について述べる。
論文 参考訳（メタデータ） (2023-11-03T13:20:11Z) - Confident Feature Ranking [2.0564549686015594]
本稿では,グローバルな重要性値の不確実性を定量化する枠組みを提案する。
本稿では,特徴値のポストホック解釈のための新しい手法を提案する。
論文 参考訳（メタデータ） (2023-07-28T07:23:01Z) - Generalized Differentiable RANSAC [95.95627475224231]
$nabla$-RANSACは、ランダム化された堅牢な推定パイプライン全体を学ぶことができる、微分可能なRANSACである。
$nabla$-RANSACは、精度という点では最先端のシステムよりも優れているが、精度は低い。
論文 参考訳（メタデータ） (2022-12-26T15:13:13Z) - Don't Explain Noise: Robust Counterfactuals for Randomized Ensembles [50.81061839052459]
我々は確率論的問題として、堅牢な対実的説明の生成を定式化する。
アンサンブルモデルのロバスト性とベース学習者のロバスト性との関係を示す。
本手法は, 反実的説明から初期観測までの距離をわずかに増加させるだけで, 高いロバスト性を実現する。
論文 参考訳（メタデータ） (2022-05-27T17:28:54Z) - On the Trustworthiness of Tree Ensemble Explainability Methods [0.9558392439655014]
特徴重要度法(ゲインやSHAPなど)は、このニーズに対処する最も一般的な説明可能性法の一つである。
信頼できる、意味のある説明可能性のテクニックは、正確で安定した説明を提供する必要があります。
シミュレーションと4つの実世界のデータセットを用いた包括的実験により,グローバルな特徴重要度手法の精度と安定性を評価する。
論文 参考訳（メタデータ） (2021-09-30T20:56:37Z) - Learning to Rank Anomalies: Scalar Performance Criteria and Maximization
of Two-Sample Rank Statistics [0.0]
本稿では,観測結果の異常度を反映した特徴空間上で定義されたデータ駆動スコアリング関数を提案する。
このスコアリング関数は、よく設計された二項分類問題を通じて学習される。
本稿では,予備的な数値実験による方法論について解説する。
論文 参考訳（メタデータ） (2021-09-20T14:45:56Z) - Causal Feature Selection for Algorithmic Fairness [61.767399505764736]
データ管理の統合コンポーネントにおける公平性について検討する。
本稿では,データセットの公平性を保証する特徴のサブコレクションを同定する手法を提案する。
論文 参考訳（メタデータ） (2020-06-10T20:20:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。