論文の概要: Are machine learning interpretations reliable? A stability study on global interpretations
- arxiv url: http://arxiv.org/abs/2505.15728v1
- Date: Wed, 21 May 2025 16:34:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-22 15:42:59.780031
- Title: Are machine learning interpretations reliable? A stability study on global interpretations
- Title（参考訳）: 機械学習の解釈は信頼できるか? : グローバル解釈の安定性に関する研究
- Authors: Luqin Gan, Tarek M. Zikry, Genevera I. Allen,
- Abstract要約: 我々は、一般的な機械学習のグローバルな解釈に関する、最初の体系的で大規模な実験的安定性の研究を行う。
この結果,一般的な解釈法は予測法よりも不安定であり,特に安定性が低いことが判明した。
ベンチマークデータセットをまたいだ最も安定した解釈を一貫して提供するメソッドは存在しない。
- 参考スコア（独自算出の注目度）: 3.9325957466009207
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As machine learning systems are increasingly used in high-stakes domains, there is a growing emphasis placed on making them interpretable to improve trust in these systems. In response, a range of interpretable machine learning (IML) methods have been developed to generate human-understandable insights into otherwise black box models. With these methods, a fundamental question arises: Are these interpretations reliable? Unlike with prediction accuracy or other evaluation metrics for supervised models, the proximity to the true interpretation is difficult to define. Instead, we ask a closely related question that we argue is a prerequisite for reliability: Are these interpretations stable? We define stability as findings that are consistent or reliable under small random perturbations to the data or algorithms. In this study, we conduct the first systematic, large-scale empirical stability study on popular machine learning global interpretations for both supervised and unsupervised tasks on tabular data. Our findings reveal that popular interpretation methods are frequently unstable, notably less stable than the predictions themselves, and that there is no association between the accuracy of machine learning predictions and the stability of their associated interpretations. Moreover, we show that no single method consistently provides the most stable interpretations across a range of benchmark datasets. Overall, these results suggest that interpretability alone does not warrant trust, and underscores the need for rigorous evaluation of interpretation stability in future work. To support these principles, we have developed and released an open source IML dashboard and Python package to enable researchers to assess the stability and reliability of their own data-driven interpretations and discoveries.
- Abstract（参考訳）: 機械学習システムは、ハイテイクドメインでの利用が増えているため、これらのシステムに対する信頼を高めるために解釈可能にすることに重点が置かれている。
これに対し、ブラックボックスモデルに対する人間の理解可能な洞察を生み出すために、さまざまな解釈可能な機械学習(IML)手法が開発されている。
これらの方法により、根本的な疑問が生じる: これらの解釈は信頼できるか?
教師付きモデルに対する予測精度や他の評価指標とは異なり、真の解釈に近いものは定義が難しい。
その代わり、我々は信頼性の前提条件であると主張する、密接に関連する疑問を問う: これらの解釈は安定しているか?
我々は、安定性を、データやアルゴリズムに対する小さなランダムな摂動の下で、一貫性のある、あるいは信頼性のある結果として定義する。
本研究では,グラフデータ上の教師なしタスクと教師なしタスクの両方に対する,一般的な機械学習グローバル解釈に関する,最初の体系的かつ大規模な実験的安定性研究を行う。
本研究の結果から,一般的な解釈法は予測法よりも不安定であり,その精度と関連する解釈の安定性との間には関連性がないことが明らかとなった。
さらに,ベンチマークデータセット全体にわたって最も安定した解釈を一貫して提供する手法は存在しないことを示す。
これらの結果は,解釈可能性だけでは信頼を保証せず,今後の研究における解釈安定性の厳密な評価の必要性を浮き彫りにしている。
これらの原則をサポートするために、研究者が自身のデータ駆動の解釈と発見の安定性と信頼性を評価できるように、オープンソースのIMLダッシュボードとPythonパッケージを開発し、リリースしました。
関連論文リスト
- Probabilistic Modeling of Disparity Uncertainty for Robust and Efficient Stereo Matching [61.73532883992135]
本稿では,新しい不確実性を考慮したステレオマッチングフレームワークを提案する。
我々はベイズリスクを不確実性の測定として採用し、データを別々に見積もり、不確実性をモデル化する。
論文 参考訳（メタデータ） (2024-12-24T23:28:20Z) - Automated Trustworthiness Testing for Machine Learning Classifiers [3.3423762257383207]
本稿では,テキスト分類器が信頼に値するかどうかを判断する信頼度オラクルを自動生成するTOWERを提案する。
我々の仮説は、その説明中の単語が予測されたクラスと意味的に関連している場合、予測は信頼に値するというものである。
その結果,TOWERはノイズの増加に伴って信頼性の低下を検出することができるが,人為的ラベル付きデータセットに対して評価しても有効ではないことがわかった。
論文 参考訳（メタデータ） (2024-06-07T20:25:05Z) - Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。
本稿では,LLMのための不確実性分解フレームワークについて述べる。
提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
論文 参考訳（メタデータ） (2023-11-15T05:58:35Z) - Reliability-Aware Prediction via Uncertainty Learning for Person Image
Retrieval [51.83967175585896]
UALは、データ不確実性とモデル不確実性を同時に考慮し、信頼性に配慮した予測を提供することを目的としている。
データ不確実性はサンプル固有のノイズを捕捉する」一方、モデル不確実性はサンプルの予測に対するモデルの信頼を表現している。
論文 参考訳（メタデータ） (2022-10-24T17:53:20Z) - Calibrate to Interpret [0.966840768820136]
キャリブレーションと解釈の関係について検討することにより,不確実性と説明可能性の第一の関連性を示す。
画像分類タスクで訓練されたネットワークの文脈において、どの程度解釈が信頼度校正に敏感であるかを示す。
これは、解釈結果を改善するための簡単なプラクティスを提案することにつながります: Calibrate to Interpret。
論文 参考訳（メタデータ） (2022-07-07T14:30:52Z) - Inference for Interpretable Machine Learning: Fast, Model-Agnostic
Confidence Intervals for Feature Importance [1.2891210250935146]
我々は、機械学習の解釈の広く使われている形態、すなわち特徴の重要性に対する信頼区間を発達させる。
ランダムな観察とミニパッチアンサンブルと呼ばれる特徴サブサンプリングの形式を活用することで実現している。
推論に必要な計算が、アンサンブル学習プロセスの一部としてほぼ無償で提供されるため、私たちのアプローチは高速です。
論文 参考訳（メタデータ） (2022-06-05T03:14:48Z) - On the Trustworthiness of Tree Ensemble Explainability Methods [0.9558392439655014]
特徴重要度法(ゲインやSHAPなど)は、このニーズに対処する最も一般的な説明可能性法の一つである。
信頼できる、意味のある説明可能性のテクニックは、正確で安定した説明を提供する必要があります。
シミュレーションと4つの実世界のデータセットを用いた包括的実験により,グローバルな特徴重要度手法の精度と安定性を評価する。
論文 参考訳（メタデータ） (2021-09-30T20:56:37Z) - Reliable Post hoc Explanations: Modeling Uncertainty in Explainability [44.9824285459365]
ブラックボックスの説明は、高レベルの設定でモデルの信頼性を確立するために、ますます採用されている。
先行研究では、最先端の技術が生み出す説明は一貫性がなく不安定であり、その正確性や信頼性についての洞察はほとんど得られないことが示されている。
局所的な説明と関連する不確実性を生成するための新しいベイズ的枠組みを開発する。
論文 参考訳（メタデータ） (2020-08-11T22:52:21Z) - The Curse of Performance Instability in Analysis Datasets: Consequences,
Source, and Suggestions [93.62888099134028]
自然言語推論(NLI)および読み込み(RC)解析/ストレスセットにおける最先端モデルの性能は極めて不安定であることがわかった。
このことは、(1)不安定さがこれらの分析セットに基づいて引き出された結論の信頼性にどのように影響するかという3つの疑問を提起する。
不安定の原因に関する理論的説明と実証的証拠の両方を提示する。
論文 参考訳（メタデータ） (2020-04-28T15:41:12Z) - Statistical stability indices for LIME: obtaining reliable explanations
for Machine Learning models [60.67142194009297]
機械学習技術の利用が絶え間なく増加していることは、このような傾向の最も明白な例である。
アルゴリズムが決定を下した根拠を理解することは極めて困難である。
実践者がこの問題に気付くこと、そしてそれを見つけるためのツールを持つことが重要である。
論文 参考訳（メタデータ） (2020-01-31T10:39:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。