論文の概要: A novel post-hoc explanation comparison metric and applications
- arxiv url: http://arxiv.org/abs/2311.10811v1
- Date: Fri, 17 Nov 2023 18:35:13 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-22 14:13:08.008423
- Title: A novel post-hoc explanation comparison metric and applications
- Title(参考訳): 新しいポストホックな説明比較指標とその応用
- Authors: Shreyan Mitra and Leilani Gilpin
- Abstract要約: 説明システムは、機械学習モデルの振る舞いをより透明にするが、しばしば矛盾する。
本稿では,これらのシステムによって生成される特徴重要度リストの重み付き差に基づく新しい計量であるShreyan Distanceを提案する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Explanatory systems make the behavior of machine learning models more
transparent, but are often inconsistent. To quantify the differences between
explanatory systems, this paper presents the Shreyan Distance, a novel metric
based on the weighted difference between ranked feature importance lists
produced by such systems. This paper uses the Shreyan Distance to compare two
explanatory systems, SHAP and LIME, for both regression and classification
learning tasks. Because we find that the average Shreyan Distance varies
significantly between these two tasks, we conclude that consistency between
explainers not only depends on inherent properties of the explainers
themselves, but also the type of learning task. This paper further contributes
the XAISuite library, which integrates the Shreyan distance algorithm into
machine learning pipelines.
- Abstract(参考訳): 説明システムは、機械学習モデルの振る舞いをより透明にするが、しばしば矛盾する。
説明システム間の差異を定量化するために,このようなシステムによって生成される特徴重要度リストの重み付け差に基づく新しい指標であるシュレヤン距離を提案する。
本稿では,Shreyan Distanceを用いて2つの説明システム,SHAPとLIMEを比較し,回帰学習と分類学習を行った。
平均シュレーヤン距離は,これら2つの課題間で大きく異なるため,説明者間の一貫性は説明者自身の本質的性質だけでなく,学習課題の種類にも依存していると結論づけた。
本稿では,Shreyan距離アルゴリズムを機械学習パイプラインに統合したXAISuiteライブラリについて述べる。
関連論文リスト
- REBAR: Retrieval-Based Reconstruction for Time-series Contrastive Learning [64.08293076551601]
正の対を識別する学習尺度を新たに提案する。
検索ベースレコンストラクションは2つのシーケンス間の類似度を測定する。
本稿では,REBAR誤差が相互クラスメンバシップの予測因子であることを示す。
論文 参考訳(メタデータ) (2023-11-01T13:44:45Z) - Interpretable Differencing of Machine Learning Models [20.99877540751412]
2つのMLモデルの出力の相似性関数の予測の1つとしてモデル差分問題の定式化を行う。
ジョイントサロゲートツリー(JST)は、この2つのモデルのための2つの連結された決定木サロゲートから構成される。
JSTは違いを直感的に表現し、モデル決定ロジックのコンテキストに変化を配置します。
論文 参考訳(メタデータ) (2023-06-10T16:15:55Z) - SuSana Distancia is all you need: Enforcing class separability in metric
learning via two novel distance-based loss functions for few-shot image
classification [0.9236074230806579]
本稿では,少数のデータ間のクラス内距離とクラス間距離を調べることで,埋め込みベクトルの重要性を考慮に入れた2つの損失関数を提案する。
以上の結果から,miniImagenNetベンチマークの精度は,他のメトリクスベースの数ショット学習手法に比べて2%向上した。
論文 参考訳(メタデータ) (2023-05-15T23:12:09Z) - The XAISuite framework and the implications of explanatory system
dissonance [0.0]
本稿では,2つの説明システムであるSHAPとLIMEを,それぞれの重要度スコアの相関関係に基づいて比較する。
重要性の大きさは、説明の一貫性において重要ではない。
SHAPとLIMEの重要度スコアの類似性は、モデルの精度を予測できない。
論文 参考訳(メタデータ) (2023-04-15T04:40:03Z) - Comparing Feature Importance and Rule Extraction for Interpretability on
Text Data [7.893831644671976]
異なる手法を用いることで、予想外の異なる説明がもたらされることが示される。
この効果を定量化するために,異なる手法による説明を比較するための新しい手法を提案する。
論文 参考訳(メタデータ) (2022-07-04T13:54:55Z) - Adaptive Hierarchical Similarity Metric Learning with Noisy Labels [138.41576366096137]
適応的階層的類似度メトリック学習法を提案する。
ノイズに敏感な2つの情報、すなわち、クラスワイドのばらつきとサンプルワイドの一貫性を考える。
提案手法は,現在の深層学習手法と比較して,最先端の性能を実現する。
論文 参考訳(メタデータ) (2021-10-29T02:12:18Z) - Rethinking Deep Contrastive Learning with Embedding Memory [58.66613563148031]
ペアワイズ損失関数は広く研究され、dml(deep metric learning)のパフォーマンスを継続的に改善することが示されている。
本稿では,様々な対損失関数の重み付け戦略を体系的に研究する新しい手法を提案し,組重み付けを埋め込みメモリで再考する。
論文 参考訳(メタデータ) (2021-03-25T17:39:34Z) - A Taxonomy of Similarity Metrics for Markov Decision Processes [62.997667081978825]
近年、伝達学習は強化学習(RL)アルゴリズムをより効率的にすることに成功した。
本稿では,これらの指標を分類し,これまでに提案されている類似性の定義を分析する。
論文 参考訳(メタデータ) (2021-03-08T12:36:42Z) - Interpretable Multi-dataset Evaluation for Named Entity Recognition [110.64368106131062]
本稿では,名前付きエンティティ認識(NER)タスクに対する一般的な評価手法を提案する。
提案手法は,モデルとデータセットの違いと,それらの間の相互作用を解釈することを可能にする。
分析ツールを利用可能にすることで、将来の研究者が同様の分析を実行し、この分野の進歩を促進することができる。
論文 参考訳(メタデータ) (2020-11-13T10:53:27Z) - Document Modeling with Graph Attention Networks for Multi-grained
Machine Reading Comprehension [127.3341842928421]
Natural Questionsは、新しい挑戦的な機械読解ベンチマークである。
解答は2つあり、長解(典型的には1段落)と短解(長解の内にある1つ以上の実体)である。
既存の方法は、これらの2つのサブタスクをトレーニング中に個別に扱い、依存関係を無視します。
本稿では,文書を階層的にモデル化する多層機械読解フレームワークを提案する。
論文 参考訳(メタデータ) (2020-05-12T14:20:09Z) - Building and Interpreting Deep Similarity Models [0.0]
そこで本稿では,入力機能の観点から説明することで類似性を解釈する手法を提案する。
我々は,2組の入力特徴に対して類似度スコアを系統的に分解する,スケーラブルで理論的に確立された手法であるBiLRPを開発した。
論文 参考訳(メタデータ) (2020-03-11T17:46:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。