論文の概要: The XAISuite framework and the implications of explanatory system dissonance

• arxiv url: http://arxiv.org/abs/2304.08499v1
• Date: Sat, 15 Apr 2023 04:40:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-19 17:00:26.441304
• Title: The XAISuite framework and the implications of explanatory system dissonance
• Title（参考訳）: XAISuiteフレームワークと説明系不協和の意義
• Authors: Shreyan Mitra and Leilani Gilpin
• Abstract要約: 本稿では,2つの説明システムであるSHAPとLIMEを,それぞれの重要度スコアの相関関係に基づいて比較する。 重要性の大きさは、説明の一貫性において重要ではない。 SHAPとLIMEの重要度スコアの類似性は、モデルの精度を予測できない。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Explanatory systems make machine learning models more transparent. However, they are often inconsistent. In order to quantify and isolate possible scenarios leading to this discrepancy, this paper compares two explanatory systems, SHAP and LIME, based on the correlation of their respective importance scores using 14 machine learning models (7 regression and 7 classification) and 4 tabular datasets (2 regression and 2 classification). We make two novel findings. Firstly, the magnitude of importance is not significant in explanation consistency. The correlations between SHAP and LIME importance scores for the most important features may or may not be more variable than the correlation between SHAP and LIME importance scores averaged across all features. Secondly, the similarity between SHAP and LIME importance scores cannot predict model accuracy. In the process of our research, we construct an open-source library, XAISuite, that unifies the process of training and explaining models. Finally, this paper contributes a generalized framework to better explain machine learning models and optimize their performance.
• Abstract（参考訳）: 説明システムは、機械学習モデルをより透明にする。 しかし、それらはしばしば矛盾する。 そこで本研究では,14の機械学習モデル (7回帰と7分類) と4つの表型データセット (2回帰と2分類) を用いて, それぞれの重要度スコアの相関に基づいて, SHAPとLIMEという2つの説明システムを比較した。 2つの新しい発見をしました 第一に、重要度は説明整合性において重要ではない。 shapとlimeの重要度スコアの相関は、すべての機能で平均されるshapとlime重要度スコアの相関よりも可変であるかもしれないし、そうでないかもしれない。 第二に、SHAPとLIMEの重要度スコアの類似性はモデル精度を予測できない。 私たちの研究の過程では、モデルのトレーニングと説明のプロセスを統合するオープンソースライブラリxaisuiteを構築しました。 最後に,機械学習モデルを説明し,その性能を最適化する汎用フレームワークを提案する。

関連論文リスト

• Sample Complexity Characterization for Linear Contextual MDPs [67.79455646673762]
  文脈決定プロセス(CMDP)は、遷移カーネルと報酬関数がコンテキスト変数によってインデックス付けされた異なるMDPで時間とともに変化できる強化学習のクラスを記述する。 CMDPは、時間とともに変化する環境で多くの現実世界のアプリケーションをモデル化するための重要なフレームワークとして機能する。 CMDPを2つの線形関数近似モデルで検討する: 文脈変化表現とすべての文脈に対する共通線形重み付きモデルIと、すべての文脈に対する共通表現と文脈変化線形重み付きモデルIIである。
  論文  参考訳（メタデータ） (2024-02-05T03:25:04Z)
• A novel post-hoc explanation comparison metric and applications [0.0]
  説明システムは、機械学習モデルの振る舞いをより透明にするが、しばしば矛盾する。 本稿では,これらのシステムによって生成される特徴重要度リストの重み付き差に基づく新しい計量であるShreyan Distanceを提案する。
  論文  参考訳（メタデータ） (2023-11-17T18:35:13Z)
• Robust Learning with Progressive Data Expansion Against Spurious Correlation [65.83104529677234]
  本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。 分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。 本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-08T05:44:06Z)
• How robust are pre-trained models to distribution shift? [82.08946007821184]
  自己教師付き学習(SSL)と自己エンコーダベースモデル(AE)の相互関係が相互関係に与える影響を示す。 本研究では, 線形ヘッドの潜在バイアスから事前学習したモデルの性能を分離するために, アウト・オブ・ディストリビューション(OOD)データに基づいて訓練された線形ヘッドを用いた新しい評価手法を開発した。
  論文  参考訳（メタデータ） (2022-06-17T16:18:28Z)
• Using Explainable Boosting Machine to Compare Idiographic and Nomothetic Approaches for Ecological Momentary Assessment Data [2.0824228840987447]
  本稿では,非線形解釈型機械学習(ML)モデルを用いた分類問題について検討する。 木々の様々なアンサンブルは、不均衡な合成データセットと実世界のデータセットを用いて線形モデルと比較される。 2つの実世界のデータセットのうちの1つで、知識蒸留法は改善されたAUCスコアを達成する。
  論文  参考訳（メタデータ） (2022-04-04T17:56:37Z)
• Deep Learning Models for Knowledge Tracing: Review and Empirical Evaluation [2.423547527175807]
  我々は,オープンで広く利用されているデータセットを用いた深層学習知識追跡(DLKT)モデルをレビューし,評価する。 評価されたDLKTモデルは、以前報告した結果の再現性と評価のために再実装されている。
  論文  参考訳（メタデータ） (2021-12-30T14:19:27Z)
• Sparse MoEs meet Efficient Ensembles [49.313497379189315]
  このようなモデルの2つの一般的なクラス、すなわちニューラルネットワークのアンサンブルと専門家のスパースミックス(スパースMoE)の相互作用について研究する。 Efficient Ensemble of Experts (E$3$)は、両モデルのクラスを最大限に活用するスケーラブルでシンプルなMoEのアンサンブルであり、深いアンサンブルよりも最大45%少ないFLOPを使用する。
  論文  参考訳（メタデータ） (2021-10-07T11:58:35Z)
• AES Systems Are Both Overstable And Oversensitive: Explaining Why And Proposing Defenses [66.49753193098356]
  スコアリングモデルの驚くべき逆方向の脆さの原因について検討する。 のモデルとして訓練されているにもかかわらず、単語の袋のように振る舞うことを示唆している。 高い精度で試料を発生させる過敏性と過敏性を検出できる検出ベース保護モデルを提案する。
  論文  参考訳（メタデータ） (2021-09-24T03:49:38Z)
• Ensemble Learning-Based Approach for Improving Generalization Capability of Machine Reading Comprehension Systems [0.7614628596146599]
  機械読み取り(MRC)は、近年、多くの開発が成功した自然言語処理の活発な分野である。 分布精度が高いにもかかわらず、これらのモデルには2つの問題がある。 本稿では,大規模モデルを再学習することなく,MCCシステムの一般化を改善するためのアンサンブル学習手法の効果について検討する。
  論文  参考訳（メタデータ） (2021-07-01T11:11:17Z)
• Interpretable Multi-dataset Evaluation for Named Entity Recognition [110.64368106131062]
  本稿では,名前付きエンティティ認識(NER)タスクに対する一般的な評価手法を提案する。 提案手法は,モデルとデータセットの違いと,それらの間の相互作用を解釈することを可能にする。 分析ツールを利用可能にすることで、将来の研究者が同様の分析を実行し、この分野の進歩を促進することができる。
  論文  参考訳（メタデータ） (2020-11-13T10:53:27Z)
• Towards a More Reliable Interpretation of Machine Learning Outputs for Safety-Critical Systems using Feature Importance Fusion [0.0]
  我々は新しい融合距離を導入し、それを最先端技術と比較する。 我々のアプローチは、地上の真実が知られている合成データで検証される。 その結果、我々の機能重要度アンサンブルフレームワークは、既存の方法に比べて、機能重要度エラーが15%少ないことがわかった。
  論文  参考訳（メタデータ） (2020-09-11T15:51:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。