論文の概要: Inference for Interpretable Machine Learning: Fast, Model-Agnostic
Confidence Intervals for Feature Importance
- arxiv url: http://arxiv.org/abs/2206.02088v1
- Date: Sun, 5 Jun 2022 03:14:48 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-07 15:24:33.134618
- Title: Inference for Interpretable Machine Learning: Fast, Model-Agnostic
Confidence Intervals for Feature Importance
- Title（参考訳）: 解釈可能な機械学習の推論:特徴重要度に対する高速でモデルに依存しない信頼区間
- Authors: Luqin Gan, Lili Zheng, Genevera I. Allen
- Abstract要約: 我々は、機械学習の解釈の広く使われている形態、すなわち特徴の重要性に対する信頼区間を発達させる。
ランダムな観察とミニパッチアンサンブルと呼ばれる特徴サブサンプリングの形式を活用することで実現している。
推論に必要な計算が、アンサンブル学習プロセスの一部としてほぼ無償で提供されるため、私たちのアプローチは高速です。
- 参考スコア（独自算出の注目度）: 1.2891210250935146
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: In order to trust machine learning for high-stakes problems, we need models
to be both reliable and interpretable. Recently, there has been a growing body
of work on interpretable machine learning which generates human understandable
insights into data, models, or predictions. At the same time, there has been
increased interest in quantifying the reliability and uncertainty of machine
learning predictions, often in the form of confidence intervals for predictions
using conformal inference. Yet, there has been relatively little attention
given to the reliability and uncertainty of machine learning interpretations,
which is the focus of this paper. Our goal is to develop confidence intervals
for a widely-used form of machine learning interpretation: feature importance.
We specifically seek to develop universal model-agnostic and assumption-light
confidence intervals for feature importance that will be valid for any machine
learning model and for any regression or classification task. We do so by
leveraging a form of random observation and feature subsampling called
minipatch ensembles and show that our approach provides assumption-light
asymptotic coverage for the feature importance score of any model. Further, our
approach is fast as computations needed for inference come nearly for free as
part of the ensemble learning process. Finally, we also show that our same
procedure can be leveraged to provide valid confidence intervals for
predictions, hence providing fast, simultaneous quantification of the
uncertainty of both model predictions and interpretations. We validate our
intervals on a series of synthetic and real data examples, showing that our
approach detects the correct important features and exhibits many computational
and statistical advantages over existing methods.
- Abstract（参考訳）: 機械学習を高い精度の問題を信頼するためには、信頼性と解釈可能なモデルが必要です。
近年、データ、モデル、予測に対する人間の理解可能な洞察を生成する、解釈可能な機械学習に関する研究が増えている。
同時に、共形推論を用いた予測に対する信頼区間という形で、機械学習予測の信頼性と不確実性を定量化することへの関心も高まっている。
しかし、この論文の焦点である機械学習解釈の信頼性と不確実性には、比較的注意が向けられていない。
私たちの目標は、広く使われている機械学習解釈の信頼区間を開発することです。
具体的には、どんな機械学習モデルでも、回帰や分類タスクでも有効になるような、普遍的なモデル非依存で前提に満ちた信頼区間を開発しようとしている。
我々は、ミニパッチアンサンブルと呼ばれるランダムな観察と特徴サブサンプリングの形式を活用し、我々のアプローチが任意のモデルの特徴重要度スコアに対して仮定光漸近的カバレッジを提供することを示す。
さらに, この手法は, アンサンブル学習プロセスの一環として, 推論に必要な計算がほぼ無料で行えるため, 高速である。
最後に,モデル予測と解釈の両方の不確かさを迅速かつ同時に定量化することにより,予測に有効な信頼区間を提供できることを示す。
その結果,本手法が正しい重要な特徴を検知し,既存の手法よりも多くの計算・統計上の利点を示すことが示された。
関連論文リスト
- Improving Adaptive Conformal Prediction Using Self-Supervised Learning [72.2614468437919]
我々は、既存の予測モデルの上に自己教師付きプレテキストタスクを持つ補助モデルを訓練し、自己教師付きエラーを付加的な特徴として用いて、非整合性スコアを推定する。
合成データと実データの両方を用いて、効率(幅)、欠陥、共形予測間隔の超過といった付加情報の利点を実証的に実証する。
論文 参考訳（メタデータ） (2023-02-23T18:57:14Z) - Trust, but Verify: Using Self-Supervised Probing to Improve
Trustworthiness [29.320691367586004]
我々は、訓練されたモデルに対する自信の過剰な問題をチェックおよび緩和することのできる、自己教師型探索の新しいアプローチを導入する。
既存の信頼性関連手法に対して,プラグイン・アンド・プレイ方式で柔軟に適用可能な,シンプルで効果的なフレームワークを提供する。
論文 参考訳（メタデータ） (2023-02-06T08:57:20Z) - Prediction-Powered Inference [68.97619568620709]
予測を用いた推論は、実験データセットに機械学習システムからの予測を補足した場合に有効な統計的推論を行うためのフレームワークである。
このフレームワークは、手段、量子、線形およびロジスティック回帰係数などの量に対して証明可能な信頼区間を計算するための単純なアルゴリズムを生成する。
予測による推論により、研究者は機械学習を使用して、より有効な、よりデータ効率の高い結論を導き出すことができる。
論文 参考訳（メタデータ） (2023-01-23T18:59:28Z) - Robustness of Machine Learning Models Beyond Adversarial Attacks [0.0]
本稿では,MLモデルのロバスト性を決定する上で,敵対的ロバスト性や近縁なメトリクスが必ずしも有効な指標ではないことを示す。
アプリケーション毎に個別に入力データの摂動をモデル化するフレキシブルなアプローチを提案する。
これは、現実の摂動が予測を変える可能性を計算する確率論的アプローチと組み合わせられる。
論文 参考訳（メタデータ） (2022-04-21T12:09:49Z) - Masked prediction tasks: a parameter identifiability view [49.533046139235466]
マスク付きトークンの予測に広く用いられている自己教師型学習手法に着目する。
いくつかの予測タスクは識別可能性をもたらすが、他のタスクはそうではない。
論文 参考訳（メタデータ） (2022-02-18T17:09:32Z) - A Gentle Introduction to Conformal Prediction and Distribution-Free
Uncertainty Quantification [1.90365714903665]
このハンズオン導入は、配布不要なUQの実践的な実装に関心のある読者を対象としている。
PyTorch構文で、Pythonで説明的なイラストやサンプル、コードサンプルを多数含みます。
論文 参考訳（メタデータ） (2021-07-15T17:59:50Z) - Learning Accurate Dense Correspondences and When to Trust Them [161.76275845530964]
2つの画像に関連する密度の高い流れ場と、堅牢な画素方向の信頼度マップの推定を目指しています。
フロー予測とその不確実性を共同で学習するフレキシブルな確率的アプローチを開発する。
本手法は,幾何学的マッチングと光フローデータセットに挑戦する最新の結果を得る。
論文 参考訳（メタデータ） (2021-01-05T18:54:11Z) - Trust but Verify: Assigning Prediction Credibility by Counterfactual
Constrained Learning [123.3472310767721]
予測信頼性尺度は統計学と機械学習において基本的なものである。
これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。
この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
論文 参考訳（メタデータ） (2020-11-24T19:52:38Z) - Accurate and Robust Feature Importance Estimation under Distribution
Shifts [49.58991359544005]
PRoFILEは、新しい特徴重要度推定法である。
忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
論文 参考訳（メタデータ） (2020-09-30T05:29:01Z) - Towards a More Reliable Interpretation of Machine Learning Outputs for
Safety-Critical Systems using Feature Importance Fusion [0.0]
我々は新しい融合距離を導入し、それを最先端技術と比較する。
我々のアプローチは、地上の真実が知られている合成データで検証される。
その結果、我々の機能重要度アンサンブルフレームワークは、既存の方法に比べて、機能重要度エラーが15%少ないことがわかった。
論文 参考訳（メタデータ） (2020-09-11T15:51:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。