論文の概要: Towards a More Reliable Interpretation of Machine Learning Outputs for
Safety-Critical Systems using Feature Importance Fusion
- arxiv url: http://arxiv.org/abs/2009.05501v1
- Date: Fri, 11 Sep 2020 15:51:52 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-19 20:57:11.943757
- Title: Towards a More Reliable Interpretation of Machine Learning Outputs for
Safety-Critical Systems using Feature Importance Fusion
- Title（参考訳）: 特徴量融合を用いた安全クリティカルシステムのための機械学習出力の信頼性向上に向けて
- Authors: Divish Rengasamy, Benjamin Rothwell, Grazziela Figueredo
- Abstract要約: 我々は新しい融合距離を導入し、それを最先端技術と比較する。
我々のアプローチは、地上の真実が知られている合成データで検証される。
その結果、我々の機能重要度アンサンブルフレームワークは、既存の方法に比べて、機能重要度エラーが15%少ないことがわかった。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: When machine learning supports decision-making in safety-critical systems, it
is important to verify and understand the reasons why a particular output is
produced. Although feature importance calculation approaches assist in
interpretation, there is a lack of consensus regarding how features' importance
is quantified, which makes the explanations offered for the outcomes mostly
unreliable. A possible solution to address the lack of agreement is to combine
the results from multiple feature importance quantifiers to reduce the variance
of estimates. Our hypothesis is that this will lead to more robust and
trustworthy interpretations of the contribution of each feature to machine
learning predictions. To assist test this hypothesis, we propose an extensible
Framework divided in four main parts: (i) traditional data pre-processing and
preparation for predictive machine learning models; (ii) predictive machine
learning; (iii) feature importance quantification and (iv) feature importance
decision fusion using an ensemble strategy. We also introduce a novel fusion
metric and compare it to the state-of-the-art. Our approach is tested on
synthetic data, where the ground truth is known. We compare different fusion
approaches and their results for both training and test sets. We also
investigate how different characteristics within the datasets affect the
feature importance ensembles studied. Results show that our feature importance
ensemble Framework overall produces 15% less feature importance error compared
to existing methods. Additionally, results reveal that different levels of
noise in the datasets do not affect the feature importance ensembles' ability
to accurately quantify feature importance, whereas the feature importance
quantification error increases with the number of features and number of
orthogonal informative features.
- Abstract（参考訳）: 機械学習が安全クリティカルシステムにおける意思決定をサポートする場合、特定の出力が生成される理由を検証し理解することが重要である。
特徴重要度計算のアプローチは解釈を補助するが、特徴の重要性の定量化に関するコンセンサスが欠如しており、結果に対する説明はほとんど信頼できない。
合意の欠如に対処する可能な解決策は、複数の特徴重要量化器の結果を組み合わせることで、見積もりのばらつきを減らすことである。
私たちの仮説は、各機能が機械学習の予測に寄与する、より堅牢で信頼できる解釈につながる、ということです。
この仮説をテストするために,4つの部分に分かれた拡張可能なフレームワークを提案する。
一 従来のデータ前処理及び予測機械学習モデルの準備
(ii)予測機械学習
(iii)特徴量化及び
(iv)アンサンブル戦略を用いた特徴的重要度決定融合。
また,新しい融合計量を導入し,最新技術と比較する。
我々のアプローチは、地上の真実が知られている合成データで検証される。
異なる融合アプローチと、トレーニングセットとテストセットの両方の結果を比較します。
また,データセット内の特徴の違いが特徴重要度アンサンブルに与える影響についても検討した。
その結果、機能重要度アンサンブルフレームワークは、従来の方法に比べて、全体の機能重要度エラーが15%少ないことが分かりました。
さらに,データセット内のノイズレベルの違いは,特徴重要度を正確に定量化する特徴重要度に影響を与えないが,特徴重要度定量化誤差は特徴数と直交情報的特徴数によって増加することが明らかになった。
関連論文リスト
- Matched Machine Learning: A Generalized Framework for Treatment Effect
Inference With Learned Metrics [87.05961347040237]
我々は、機械学習ブラックボックスの柔軟性とマッチングの解釈可能性を組み合わせたフレームワークであるMatched Machine Learningを紹介する。
我々のフレームワークは機械学習を用いて、一致した単位を学習し、結果を推定する最適な指標を学習する。
一致機械学習のインスタンスはブラックボックスの機械学習手法と同等に動作し、類似した問題に対する既存のマッチング手法よりも優れていることを実証的に示す。
論文 参考訳（メタデータ） (2023-04-03T19:32:30Z) - Prediction-Powered Inference [68.97619568620709]
予測を用いた推論は、実験データセットに機械学習システムからの予測を補足した場合に有効な統計的推論を行うためのフレームワークである。
このフレームワークは、手段、量子、線形およびロジスティック回帰係数などの量に対して証明可能な信頼区間を計算するための単純なアルゴリズムを生成する。
予測による推論により、研究者は機械学習を使用して、より有効な、よりデータ効率の高い結論を導き出すことができる。
論文 参考訳（メタデータ） (2023-01-23T18:59:28Z) - EFI: A Toolbox for Feature Importance Fusion and Interpretation in
Python [1.593222804814135]
Ensemble Feature Importance (EFI)は、機械学習(ML)研究者、ドメインエキスパート、意思決定者のためのオープンソースのPythonツールボックスである。
EFIは、頑健で正確な特徴重要性の定量化と、予測問題に対する特徴重要性のより信頼性の高い機械的解釈を提供する。
論文 参考訳（メタデータ） (2022-08-08T18:02:37Z) - Inherent Inconsistencies of Feature Importance [6.02357145653815]
特徴重要度は、予測結果に対する個々の特徴の寄与にスコアを割り当てる手法である。
本稿では,特徴重要度スコアの異なる文脈間のコヒーレントな関係を確立するために設計された公理的枠組みを提案する。
論文 参考訳（メタデータ） (2022-06-16T14:21:51Z) - Sample-Efficient Reinforcement Learning in the Presence of Exogenous
Information [77.19830787312743]
実世界の強化学習アプリケーションでは、学習者の観察空間は、その課題に関する関連情報と無関係情報の両方でユビキタスに高次元である。
本稿では,強化学習のための新しい問題設定法であるExogenous Decision Process (ExoMDP)を導入する。
内因性成分の大きさのサンプル複雑度で準最適ポリシーを学習するアルゴリズムであるExoRLを提案する。
論文 参考訳（メタデータ） (2022-06-09T05:19:32Z) - Inference for Interpretable Machine Learning: Fast, Model-Agnostic
Confidence Intervals for Feature Importance [1.2891210250935146]
我々は、機械学習の解釈の広く使われている形態、すなわち特徴の重要性に対する信頼区間を発達させる。
ランダムな観察とミニパッチアンサンブルと呼ばれる特徴サブサンプリングの形式を活用することで実現している。
推論に必要な計算が、アンサンブル学習プロセスの一部としてほぼ無償で提供されるため、私たちのアプローチは高速です。
論文 参考訳（メタデータ） (2022-06-05T03:14:48Z) - Mechanistic Interpretation of Machine Learning Inference: A Fuzzy
Feature Importance Fusion Approach [0.39146761527401425]
機能の重要性を定量化するべきかについては、合意が得られていない。
現在の最先端のアンサンブル特徴量融合は、異なるアプローチによる結果を融合するためにクリップ技術を使用する。
ここでは、ファジィデータ融合法が、クリプス融合法のいくつかの重要な限界を克服する方法について述べる。
論文 参考訳（メタデータ） (2021-10-22T11:22:21Z) - Bayesian Importance of Features (BIF) [11.312036995195594]
ディリクレ分布を用いて入力特徴の重要性を定義し、近似ベイズ推論により学習する。
学習された重要性は確率論的解釈を持ち、モデルの出力に対する各入力特徴の相対的な重要性を提供する。
本手法は, 各種合成および実データに対する有効性を示す。
論文 参考訳（メタデータ） (2020-10-26T19:55:58Z) - Counterfactual Representation Learning with Balancing Weights [74.67296491574318]
観察データによる因果推論の鍵は、それぞれの治療タイプに関連する予測的特徴のバランスを達成することである。
近年の文献では、この目標を達成するために表現学習を探求している。
因果効果を柔軟かつスケーラブルかつ正確に推定するアルゴリズムを開発した。
論文 参考訳（メタデータ） (2020-10-23T19:06:03Z) - Accurate and Robust Feature Importance Estimation under Distribution
Shifts [49.58991359544005]
PRoFILEは、新しい特徴重要度推定法である。
忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
論文 参考訳（メタデータ） (2020-09-30T05:29:01Z) - Causal Feature Selection for Algorithmic Fairness [61.767399505764736]
データ管理の統合コンポーネントにおける公平性について検討する。
本稿では,データセットの公平性を保証する特徴のサブコレクションを同定する手法を提案する。
論文 参考訳（メタデータ） (2020-06-10T20:20:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。