論文の概要: Comparing Explanation Methods for Traditional Machine Learning Models
Part 1: An Overview of Current Methods and Quantifying Their Disagreement
- arxiv url: http://arxiv.org/abs/2211.08943v1
- Date: Wed, 16 Nov 2022 14:45:16 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-17 13:52:37.241470
- Title: Comparing Explanation Methods for Traditional Machine Learning Models
Part 1: An Overview of Current Methods and Quantifying Their Disagreement
- Title（参考訳）: 従来型機械学習モデルにおける説明法の比較 その1:現在の手法の概要と不一致の定量化
- Authors: Montgomery Flora, Corey Potvin, Amy McGovern, Shawn Handler
- Abstract要約: 本研究は,説明可能性と解釈可能性,局所的説明可能性とグローバル的説明可能性,特徴的重要性と特徴的関連性とを区別する。
我々は、様々な説明方法、解釈方法、そして、将来の研究者がこれらの製品を探索できるように完全なPythonパッケージ(scikit-explain)を提供し、それを実証し、視覚化する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: With increasing interest in explaining machine learning (ML) models, the
first part of this two-part study synthesizes recent research on methods for
explaining global and local aspects of ML models. This study distinguishes
explainability from interpretability, local from global explainability, and
feature importance versus feature relevance. We demonstrate and visualize
different explanation methods, how to interpret them, and provide a complete
Python package (scikit-explain) to allow future researchers to explore these
products. We also highlight the frequent disagreement between explanation
methods for feature rankings and feature effects and provide practical advice
for dealing with these disagreements. We used ML models developed for severe
weather prediction and sub-freezing road surface temperature prediction to
generalize the behavior of the different explanation methods. For feature
rankings, there is substantially more agreement on the set of top features
(e.g., on average, two methods agree on 6 of the top 10 features) than on
specific rankings (on average, two methods only agree on the ranks of 2-3
features in the set of top 10 features). On the other hand, two feature effect
curves from different methods are in high agreement as long as the phase space
is well sampled. Finally, a lesser-known method, tree interpreter, was found
comparable to SHAP for feature effects, and with the widespread use of random
forests in geosciences and computational ease of tree interpreter, we recommend
it be explored in future research.
- Abstract（参考訳）: 機械学習(ML)モデルの説明への関心が高まり、この2部研究の第1部は、MLモデルのグローバルおよびローカルな側面を説明する方法に関する最近の研究を合成する。
本研究は,説明可能性と解釈可能性,局所的説明可能性,特徴的重要性と特徴的妥当性を区別する。
我々は、様々な説明方法、解釈方法、そして、将来の研究者がこれらの製品を探索できるように完全なPythonパッケージ(scikit-explain)を提供し、視覚化する。
また,特徴ランクと特徴効果に関する説明方法の相違点が頻繁であることを強調し,これらの相違点に対処するための実践的アドバイスを提供する。
気象予報および路面温度サブフリーズ予測のために開発されたmlモデルを用いて, 異なる説明手法の挙動を一般化した。
機能ランキングについては、特定のランク(平均すると2つのメソッドが上位10のフィーチャーのうち6つに一致する)よりも、上位10のフィーチャのセット(平均すると2つのメソッドが上位10のフィーチャーのセットの2-3のフィーチャのランクに一致する)にかなり多くの合意がある。
一方、位相空間が十分にサンプリングされている限り、異なる方法による2つの特徴効果曲線は高い一致を示す。
最後に、あまり知られていない手法であるツリーインタプリタが、機能効果のためにshapに匹敵するものとして発見され、ジオサイエンスにおけるランダムフォレストの利用や、ツリーインタプリタの計算容易性によって、今後の研究で検討することを推奨する。
関連論文リスト
- GLEAMS: Bridging the Gap Between Local and Global Explanations [6.329021279685856]
本稿では,入力空間を分割し,各サブリージョン内で解釈可能なモデルを学習する新しい手法であるGLEAMSを提案する。
我々は、GLEAMSが合成データと実世界のデータの両方で有効であることを示し、その望ましい特性と人間の理解可能な洞察を強調した。
論文 参考訳（メタデータ） (2024-08-09T13:30:37Z) - MOUNTAINEER: Topology-Driven Visual Analytics for Comparing Local Explanations [6.835413642522898]
トポロジカルデータ解析(TDA)は、属性を一様グラフ表現に変換するために使用できるため、この領域で有効な方法である。
我々は、新しいトポロジ駆動視覚分析ツールであるMountaineerを紹介し、機械学習の実践者がこれらの表現をインタラクティブに分析し比較できるようにする。
我々は、Mountaineerによって、ブラックボックスMLの説明と、異なる説明の相違の原因を識別する領域を比較できることを示す。
論文 参考訳（メタデータ） (2024-06-21T19:28:50Z) - Explainability for Machine Learning Models: From Data Adaptability to
User Perception [0.8702432681310401]
この論文は、すでにデプロイされた機械学習モデルに対する局所的な説明の生成を探求する。
データとユーザ要件の両方を考慮して、意味のある説明を生み出すための最適な条件を特定することを目的としている。
論文 参考訳（メタデータ） (2024-02-16T18:44:37Z) - Comparing Explanation Methods for Traditional Machine Learning Models
Part 2: Quantifying Model Explainability Faithfulness and Improvements with
Dimensionality Reduction [0.0]
忠実さ」または「忠実さ」とは、割り当てられた特徴の重要性と、その特徴のモデル性能への貢献の対応を指す。
本研究は,関係する特徴を限定することによる説明可能性の向上と,異なる説明可能性手法の相対的忠実性を知ることから,初めて説明可能性の向上を定量化した1つである。
論文 参考訳（メタデータ） (2022-11-18T17:15:59Z) - An Additive Instance-Wise Approach to Multi-class Model Interpretation [53.87578024052922]
解釈可能な機械学習は、ブラックボックスシステムの特定の予測を駆動する要因に関する洞察を提供する。
既存の手法は主に、局所的な加法的あるいはインスタンス的なアプローチに従う説明的入力特徴の選択に重点を置いている。
本研究は,両手法の長所を生かし,複数の対象クラスに対する局所的な説明を同時に学習するためのグローバルフレームワークを提案する。
論文 参考訳（メタデータ） (2022-07-07T06:50:27Z) - Learning outside the Black-Box: The pursuit of interpretable models [78.32475359554395]
本稿では,任意の連続ブラックボックス関数の連続的大域的解釈を生成するアルゴリズムを提案する。
我々の解釈は、その芸術の以前の状態から飛躍的な進歩を表している。
論文 参考訳（メタデータ） (2020-11-17T12:39:44Z) - Interpretable Multi-dataset Evaluation for Named Entity Recognition [110.64368106131062]
本稿では,名前付きエンティティ認識(NER)タスクに対する一般的な評価手法を提案する。
提案手法は,モデルとデータセットの違いと,それらの間の相互作用を解釈することを可能にする。
分析ツールを利用可能にすることで、将来の研究者が同様の分析を実行し、この分野の進歩を促進することができる。
論文 参考訳（メタデータ） (2020-11-13T10:53:27Z) - Towards Unifying Feature Attribution and Counterfactual Explanations:
Different Means to the Same End [17.226134854746267]
本稿では,一組の反実例から特徴帰属説明を生成する手法を提案する。
本報告では, 帰属に基づく説明の妥当性を, その必要性と充足性の観点から評価するために, 対実例をいかに活用するかを示す。
論文 参考訳（メタデータ） (2020-11-10T05:41:43Z) - Deducing neighborhoods of classes from a fitted model [68.8204255655161]
本稿では,新しいタイプの解釈可能な機械学習手法を提案する。
量子シフトを用いた分類モデルでは、特徴空間の予測クラスへの分割を理解するのに役立ちます。
基本的に、実際のデータポイント(または特定の関心点)を使用し、特定の特徴をわずかに引き上げたり減少させたりした後の予測の変化を観察する。
論文 参考訳（メタデータ） (2020-09-11T16:35:53Z) - Evaluating Explainable AI: Which Algorithmic Explanations Help Users
Predict Model Behavior? [97.77183117452235]
我々は、モデル解釈性に対するアルゴリズム的説明の影響を分離するために、人体テストを実施している。
方法の有効性の明確な証拠はごく少数にみえる。
以上の結果から,説明がシミュラビリティにどのように影響するかの信頼性と包括的評価が得られた。
論文 参考訳（メタデータ） (2020-05-04T20:35:17Z) - There and Back Again: Revisiting Backpropagation Saliency Methods [87.40330595283969]
正当性法は,各入力サンプルの重要度マップを作成することによって,モデルの予測を説明する。
このような手法の一般的なクラスは、信号のバックプロパゲートと結果の勾配の分析に基づいている。
本稿では,そのような手法を統一可能な単一のフレームワークを提案する。
論文 参考訳（メタデータ） (2020-04-06T17:58:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。