論文の概要: Contrastive Explanations for Model Interpretability
- arxiv url: http://arxiv.org/abs/2103.01378v1
- Date: Tue, 2 Mar 2021 00:36:45 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-06 06:00:59.678565
- Title: Contrastive Explanations for Model Interpretability
- Title(参考訳): モデル解釈可能性に関する対比的説明
- Authors: Alon Jacovi, Swabha Swayamdipta, Shauli Ravfogel, Yanai Elazar, Yejin
Choi, Yoav Goldberg
- Abstract要約: 分類モデルの対照的説明を生成する手法を提案する。
本手法は潜在空間へのモデル表現の投影に基づいている。
本研究は,モデル決定のより正確できめ細かな解釈性を提供するためのラベルコントラスト的説明の能力に光を当てた。
- 参考スコア(独自算出の注目度): 77.92370750072831
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Contrastive explanations clarify why an event occurred in contrast to
another. They are more inherently intuitive to humans to both produce and
comprehend. We propose a methodology to produce contrastive explanations for
classification models by modifying the representation to disregard
non-contrastive information, and modifying model behavior to only be based on
contrastive reasoning. Our method is based on projecting model representation
to a latent space that captures only the features that are useful (to the
model) to differentiate two potential decisions. We demonstrate the value of
contrastive explanations by analyzing two different scenarios, using both
high-level abstract concept attribution and low-level input token/span
attribution, on two widely used text classification tasks. Specifically, we
produce explanations for answering: for which label, and against which
alternative label, is some aspect of the input useful? And which aspects of the
input are useful for and against particular decisions? Overall, our findings
shed light on the ability of label-contrastive explanations to provide a more
accurate and finer-grained interpretability of a model's decision.
- Abstract(参考訳): 対照的な説明は、ある出来事が他の出来事と対照的に起こった理由を明確にする。
彼らは人間にとってより直感的で、生産も理解もしやすい。
本稿では,非矛盾情報を無視して表現を改変し,コントラスト的推論のみに基づいてモデル行動を変更することにより,分類モデルの対比的説明を作成する手法を提案する。
提案手法はモデル表現を潜在空間に投影し,2つの潜在的な決定を区別するために有用な特徴(モデルに対して)のみをキャプチャする。
2つのテキスト分類タスクにおいて,高レベル抽象概念帰属と低レベル入力トークン/スパン帰属の両方を用いて,コントラスト的説明の価値を示す。
具体的には、どのラベルに対して、どのラベルに対して、入力のいくつかの側面が有用か?
そして、入力のどの側面が特定の決定に役に立ちますか?
全体としては,モデル決定のより正確できめ細かな解釈性を提供するために,ラベルコントラスト的説明の能力に光を当てた。
関連論文リスト
- Explanation Selection Using Unlabeled Data for Chain-of-Thought
Prompting [80.9896041501715]
非専門家によって書かれたオフ・ザ・シェルフの説明のように、タスクのために"チューニング"されていない説明は、中途半端なパフォーマンスをもたらす可能性がある。
本稿では,ブラックボックス方式で説明拡散プロンプトを最適化する方法の課題に対処する。
論文 参考訳(メタデータ) (2023-02-09T18:02:34Z) - Interpreting Language Models with Contrastive Explanations [99.7035899290924]
言語モデルは、音声、数字、時制、意味論など、トークンを予測するための様々な特徴を考慮しなければならない。
既存の説明手法は、これらの特徴の証拠を1つの説明に分割するが、人間の理解には理解できない。
比較的な説明は、主要な文法現象の検証において、非対照的な説明よりも定量的に優れていることを示す。
論文 参考訳(メタデータ) (2022-02-21T18:32:24Z) - VAE-CE: Visual Contrastive Explanation using Disentangled VAEs [3.5027291542274357]
変分自己エンコーダに基づくコントラスト説明(VAE-CE)
本研究では,各次元をアンタングル化するための新しい教師付き手法で拡張した,アンタングル付きVAEを用いたモデルを構築した。
合成データとMNISTの分析は、解離と説明の両方へのアプローチが他の方法よりも有利であることを示している。
論文 参考訳(メタデータ) (2021-08-20T13:15:24Z) - Prompting Contrastive Explanations for Commonsense Reasoning Tasks [74.7346558082693]
大規模事前学習言語モデル(PLM)は、常識推論タスクにおいて、ほぼ人間に近い性能を達成することができる。
人間の解釈可能な証拠を生成するために、同じモデルを使う方法を示す。
論文 参考訳(メタデータ) (2021-06-12T17:06:13Z) - Prediction or Comparison: Toward Interpretable Qualitative Reasoning [16.02199526395448]
現在のアプローチでは、セマンティクスを使用して自然言語入力を論理式に変換するか、あるいは1ステップで解決する"ブラックボックス"モデルを使用する。
本研究では,定性的推論タスクを,予測と比較という2つのタイプに分類する。
特に、2つの推論プロセスをシミュレートするために、エンドツーエンドでトレーニングされたニューラルネットワークモジュールを採用しています。
論文 参考訳(メタデータ) (2021-06-04T10:27:55Z) - Rationalization through Concepts [27.207067974031805]
ConRATという,新しい自己解釈モデルを提案する。
高レベルの決定に対する人間の説明は、しばしば鍵となる概念に基づいており、ConRATはドキュメントに記述されているものを想定している。
2つの正規化器がConRATを駆動して解釈可能な概念を構築する。
論文 参考訳(メタデータ) (2021-05-11T07:46:48Z) - Dependency Decomposition and a Reject Option for Explainable Models [4.94950858749529]
近年のディープラーニングモデルは様々な推論タスクにおいて非常によく機能する。
最近の進歩は特徴を視覚化し、入力の属性を記述する方法を提供します。
本稿では, 目的の画像分類出力に対する確率分布に関する依存性を初めて解析する。
論文 参考訳(メタデータ) (2020-12-11T17:39:33Z) - Leakage-Adjusted Simulatability: Can Models Generate Non-Trivial
Explanations of Their Behavior in Natural Language? [86.60613602337246]
我々はNL説明を評価するためのリーク調整シミュラビリティ(LAS)指標を提案する。
LASは、どのように説明が直接アウトプットをリークするかを制御しながら、オブザーバがモデルのアウトプットを予測するのに役立つかを計測する。
マルチエージェントゲームとしての説明文生成を行い、ラベルリークをペナライズしながら、シミュラビリティの説明を最適化する。
論文 参考訳(メタデータ) (2020-10-08T16:59:07Z) - The Struggles of Feature-Based Explanations: Shapley Values vs. Minimal
Sufficient Subsets [61.66584140190247]
機能に基づく説明は、自明なモデルでも問題を引き起こすことを示す。
そこで本研究では,2つの一般的な説明書クラスであるシェープリー説明書と十分最小限の部分集合説明書が,基本的に異なる基底的説明書のタイプをターゲットにしていることを示す。
論文 参考訳(メタデータ) (2020-09-23T09:45:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。