論文の概要: Developing a Fidelity Evaluation Approach for Interpretable Machine Learning

• arxiv url: http://arxiv.org/abs/2106.08492v1
• Date: Wed, 16 Jun 2021 00:21:16 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-17 17:42:41.589550
• Title: Developing a Fidelity Evaluation Approach for Interpretable Machine Learning
• Title（参考訳）: 解釈可能な機械学習のための忠実度評価手法の開発
• Authors: Mythreyi Velmurugan and Chun Ouyang and Catarina Moreira and Renuka Sindhgatta
• Abstract要約: 複雑なモデルの解釈性を改善するために、説明可能なAI(XAI)メソッドが使用される。 特に、ブラックボックスの説明の忠実さを評価するには、さらなる発展が必要である。 本評価は, 基礎となる予測モデルの内部メカニズム, 使用法の内部メカニズム, モデルおよびデータの複雑さが, すべて説明忠実性に影響を与えることを示唆している。
• 参考スコア（独自算出の注目度）: 2.2448567386846916
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Although modern machine learning and deep learning methods allow for complex and in-depth data analytics, the predictive models generated by these methods are often highly complex, and lack transparency. Explainable AI (XAI) methods are used to improve the interpretability of these complex models, and in doing so improve transparency. However, the inherent fitness of these explainable methods can be hard to evaluate. In particular, methods to evaluate the fidelity of the explanation to the underlying black box require further development, especially for tabular data. In this paper, we (a) propose a three phase approach to developing an evaluation method; (b) adapt an existing evaluation method primarily for image and text data to evaluate models trained on tabular data; and (c) evaluate two popular explainable methods using this evaluation method. Our evaluations suggest that the internal mechanism of the underlying predictive model, the internal mechanism of the explainable method used and model and data complexity all affect explanation fidelity. Given that explanation fidelity is so sensitive to context and tools and data used, we could not clearly identify any specific explainable method as being superior to another.
• Abstract（参考訳）: 最近の機械学習とディープラーニングは、複雑で深いデータ分析を可能にするが、これらの方法によって生成された予測モデルは、しばしば非常に複雑であり、透明性を欠いている。 説明可能なAI(XAI)メソッドは、これらの複雑なモデルの解釈可能性を改善するために使用され、それによって透明性が向上する。 しかし、これらの説明可能な方法の固有の適合性を評価するのは難しい。 特に、基礎となるブラックボックスに対する説明の忠実性を評価するには、特に表データに対するさらなる開発が必要である。 本稿では, (a) 評価手法開発のための3段階のアプローチを提案し, (b) 画像およびテキストデータを対象とした既存の評価手法を適用し, (c) 評価手法を用いた2つの一般的な説明可能なモデルの評価を行う。 本評価は, 基礎となる予測モデルの内部メカニズム, 使用法の内部メカニズム, モデルおよびデータの複雑さが, すべて説明忠実性に影響を与えることを示唆している。 説明の忠実さがコンテキストやツールやデータに非常に敏感であることを考えると、特定の説明可能なメソッドが他よりも優れていると明確に識別することはできない。

関連論文リスト

• Beyond the Veil of Similarity: Quantifying Semantic Continuity in Explainable AI [1.628012064605754]
  本稿では,説明可能なAI手法と機械学習モデルにおける意味連続性を測定するための新しい指標を提案する。 我々は、入力の漸進的な変化が、異なるXAI手法によって提供される説明にどのように影響するかを観察する実験を行う。
  論文  参考訳（メタデータ） (2024-07-17T18:32:41Z)
• Exploring the Trade-off Between Model Performance and Explanation Plausibility of Text Classifiers Using Human Rationales [3.242050660144211]
  ホック後説明可能性法は、ますます複雑なNLPモデルを理解するための重要なツールである。 本稿では,人間の判断を説明するテキストアノテーションをテキスト分類モデルに組み込む手法を提案する。
  論文  参考訳（メタデータ） (2024-04-03T22:39:33Z)
• A Survey of Explainable Knowledge Tracing [14.472784840283099]
  本稿では,KTアルゴリズムの解釈可能性について詳細に解析する。 説明可能な知識追跡のための現在の評価方法が不足している。 本稿では,教育関係者の視点から評価手法について考察する。
  論文  参考訳（メタデータ） (2024-03-12T03:17:59Z)
• Explainability for Machine Learning Models: From Data Adaptability to User Perception [0.8702432681310401]
  この論文は、すでにデプロイされた機械学習モデルに対する局所的な説明の生成を探求する。 データとユーザ要件の両方を考慮して、意味のある説明を生み出すための最適な条件を特定することを目的としている。
  論文  参考訳（メタデータ） (2024-02-16T18:44:37Z)
• Evaluating the Utility of Model Explanations for Model Development [54.23538543168767]
  機械学習モデル構築の実践シナリオにおいて、説明が人間の意思決定を改善するかどうかを評価する。 驚いたことに、サリエンシマップが提供されたとき、タスクが大幅に改善されたという証拠は見つからなかった。 以上の結果から,サリエンシに基づく説明における誤解の可能性と有用性について注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2023-12-10T23:13:23Z)
• Explaining Explainability: Towards Deeper Actionable Insights into Deep Learning through Second-order Explainability [70.60433013657693]
  2階説明可能なAI(SOXAI)は、最近インスタンスレベルからデータセットレベルまで説明可能なAI(XAI)を拡張するために提案されている。 そこで本研究では,SOXAIの動作可能な洞察に基づくトレーニングセットから無関係な概念を除外することで,モデルの性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-06-14T23:24:01Z)
• MACE: An Efficient Model-Agnostic Framework for Counterfactual Explanation [132.77005365032468]
  MACE(Model-Agnostic Counterfactual Explanation)の新たな枠組みを提案する。 MACE法では, 優れた反実例を見つけるための新しいRL法と, 近接性向上のための勾配のない降下法を提案する。 公開データセットの実験は、有効性、空間性、近接性を向上して検証する。
  論文  参考訳（メタデータ） (2022-05-31T04:57:06Z)
• Beyond Explaining: Opportunities and Challenges of XAI-Based Model Improvement [75.00655434905417]
  説明可能な人工知能(XAI)は、高度に複雑な機械学習(ML)モデルに透明性をもたらす新たな研究分野である。 本稿では,機械学習モデルの諸特性を改善するために,XAIを実用的に応用する手法を概観する。 実験では,モデル一般化能力や推論などの特性を改善する上で,説明がどのように役立つのかを,おもちゃと現実的な設定で実証的に示す。
  論文  参考訳（メタデータ） (2022-03-15T15:44:28Z)
• Beyond Trivial Counterfactual Explanations with Diverse Valuable Explanations [64.85696493596821]
  コンピュータビジョンの応用において、生成的対実法はモデルの入力を摂動させて予測を変更する方法を示す。 本稿では,多様性強化損失を用いて制約される不連続潜在空間における摂動を学習する反事実法を提案する。 このモデルは, 従来の最先端手法と比較して, 高品質な説明を生産する成功率を向上させる。
  論文  参考訳（メタデータ） (2021-03-18T12:57:34Z)
• Distilling Interpretable Models into Human-Readable Code [71.11328360614479]
  人間可読性は機械学習モデル解釈可能性にとって重要で望ましい標準である。 従来の方法を用いて解釈可能なモデルを訓練し,それを簡潔で可読なコードに抽出する。 本稿では,幅広いユースケースで効率的に,確実に高品質な結果を生成する分別線形曲線フィッティングアルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2021-01-21T01:46:36Z)
• Evaluating Explainable Methods for Predictive Process Analytics: A Functionally-Grounded Approach [2.2448567386846916]
  予測プロセス分析は、ビジネスプロセスの実行インスタンスの将来の状態を予測することに焦点を当てる。 現在のLIMEやSHAPのような説明可能な機械学習手法は、ブラックボックスモデルの解釈に利用できる。 XGBoost上に構築されたプロセス予測モデルの解釈におけるLIMEとSHAPの性能評価に,提案手法を適用した。
  論文  参考訳（メタデータ） (2020-12-08T05:05:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。