論文の概要: Interpretation of Black Box NLP Models: A Survey
- arxiv url: http://arxiv.org/abs/2203.17081v1
- Date: Thu, 31 Mar 2022 14:54:35 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-01 13:48:18.799821
- Title: Interpretation of Black Box NLP Models: A Survey
- Title(参考訳): ブラックボックスNLPモデルの解釈:サーベイ
- Authors: Shivani Choudhary, Niladri Chatterjee, Subir Kumar Saha
- Abstract要約: 摂動に基づくポストホックの説明は、機械学習モデルの構築後に解釈するために広く使われているアプローチである。
本稿では,中心極限定理に基づく仮説テストフレームワークを用いて,解析結果の安定性を保証するのに必要な摂動点数を決定することを提案する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: An increasing number of machine learning models have been deployed in domains
with high stakes such as finance and healthcare. Despite their superior
performances, many models are black boxes in nature which are hard to explain.
There are growing efforts for researchers to develop methods to interpret these
black-box models. Post hoc explanations based on perturbations, such as LIME,
are widely used approaches to interpret a machine learning model after it has
been built. This class of methods has been shown to exhibit large instability,
posing serious challenges to the effectiveness of the method itself and harming
user trust. In this paper, we propose S-LIME, which utilizes a hypothesis
testing framework based on central limit theorem for determining the number of
perturbation points needed to guarantee stability of the resulting explanation.
Experiments on both simulated and real world data sets are provided to
demonstrate the effectiveness of our method.
- Abstract(参考訳): 金融やヘルスケアといった高い利害を持つ領域に機械学習モデルが展開されている。
優れたパフォーマンスにもかかわらず、多くのモデルは本質的に説明が難しいブラックボックスである。
研究者がこれらのブラックボックスモデルを解釈する手法を開発する努力が増えている。
LIMEのような摂動に基づくポストホックの説明は、機械学習モデルの構築後に解釈するために広く使われているアプローチである。
このタイプのメソッドは大きな不安定性を示し、メソッド自体の有効性に深刻な課題を生じさせ、ユーザの信頼を損なうことが示されている。
本稿では,中央極限定理に基づく仮説検定フレームワークを用いて,解の安定性を保証するのに必要な摂動点数を決定するs-limeを提案する。
本手法の有効性を示すため,シミュレーションと実世界の両方のデータセットの実験を行った。
関連論文リスト
- MACE: An Efficient Model-Agnostic Framework for Counterfactual
Explanation [132.77005365032468]
MACE(Model-Agnostic Counterfactual Explanation)の新たな枠組みを提案する。
MACE法では, 優れた反実例を見つけるための新しいRL法と, 近接性向上のための勾配のない降下法を提案する。
公開データセットの実験は、有効性、空間性、近接性を向上して検証する。
論文 参考訳(メタデータ) (2022-05-31T04:57:06Z) - Beyond Explaining: Opportunities and Challenges of XAI-Based Model
Improvement [75.00655434905417]
説明可能な人工知能(XAI)は、高度に複雑な機械学習(ML)モデルに透明性をもたらす新たな研究分野である。
本稿では,機械学習モデルの諸特性を改善するために,XAIを実用的に応用する手法を概観する。
実験では,モデル一般化能力や推論などの特性を改善する上で,説明がどのように役立つのかを,おもちゃと現実的な設定で実証的に示す。
論文 参考訳(メタデータ) (2022-03-15T15:44:28Z) - Hessian-based toolbox for reliable and interpretable machine learning in
physics [58.720142291102135]
本稿では,モデルアーキテクチャの解釈可能性と信頼性,外挿を行うためのツールボックスを提案する。
与えられたテストポイントでの予測に対する入力データの影響、モデル予測の不確実性の推定、およびモデル予測の不可知スコアを提供する。
我々の研究は、物理学やより一般的には科学に適用されたMLにおける解釈可能性と信頼性の方法の体系的利用への道を開く。
論文 参考訳(メタデータ) (2021-08-04T16:32:59Z) - Recurrence-Aware Long-Term Cognitive Network for Explainable Pattern
Classification [0.0]
構造化データの解釈可能なパターン分類のためのLCCNモデルを提案する。
本手法は, 決定過程における各特徴の関連性を定量化し, 説明を提供する独自のメカニズムを提供する。
解釈可能なモデルでは,最先端の白黒ボックスと比較して競争性能が向上する。
論文 参考訳(メタデータ) (2021-07-07T18:14:50Z) - S-LIME: Stabilized-LIME for Model Explanation [7.479279851480736]
摂動に基づくポストホックの説明は、機械学習モデルの構築後に解釈するために広く使われているアプローチである。
本稿では,中心極限定理に基づく仮説テストフレームワークを用いて,解析結果の安定性を保証するのに必要な摂動点数を決定することを提案する。
論文 参考訳(メタデータ) (2021-06-15T04:24:59Z) - Beyond Trivial Counterfactual Explanations with Diverse Valuable
Explanations [64.85696493596821]
コンピュータビジョンの応用において、生成的対実法はモデルの入力を摂動させて予測を変更する方法を示す。
本稿では,多様性強化損失を用いて制約される不連続潜在空間における摂動を学習する反事実法を提案する。
このモデルは, 従来の最先端手法と比較して, 高品質な説明を生産する成功率を向上させる。
論文 参考訳(メタデータ) (2021-03-18T12:57:34Z) - Robust and Stable Black Box Explanations [31.05743211871823]
ブラックボックスモデルの堅牢で安定した説明を生成するための新しいフレームワークを提案する。
我々はこのアルゴリズムを線形モデルと決定セットの形式で説明するためにインスタンス化する。
論文 参考訳(メタデータ) (2020-11-12T02:29:03Z) - MeLIME: Meaningful Local Explanation for Machine Learning Models [2.819725769698229]
我々のアプローチであるMeLIMEは、異なるMLモデル上での他の手法と比較して、より意味のある説明を生成する。
MeLIMEはLIME法を一般化し、より柔軟な摂動サンプリングと異なる局所解釈可能なモデルの使用を可能にした。
論文 参考訳(メタデータ) (2020-09-12T16:06:58Z) - Model extraction from counterfactual explanations [68.8204255655161]
本稿では, 敵が反実的説明によって提供された情報を利用して, 高精度かつ高精度なモデル抽出攻撃を構築する方法を示す。
我々の攻撃は、敵が相手モデルの忠実なコピーを、その偽説明にアクセスして作成することを可能にする。
論文 参考訳(メタデータ) (2020-09-03T19:02:55Z) - Plausible Counterfactuals: Auditing Deep Learning Classifiers with
Realistic Adversarial Examples [84.8370546614042]
ディープラーニングモデルのブラックボックスの性質は、彼らがデータから何を学ぶかについて、未回答の疑問を提起している。
GAN(Generative Adversarial Network)とマルチオブジェクトは、監査されたモデルに妥当な攻撃を与えるために使用される。
その実用性は人間の顔の分類タスクの中で示され、提案されたフレームワークの潜在的可能性を明らかにしている。
論文 参考訳(メタデータ) (2020-03-25T11:08:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。