論文の概要: Dependency Decomposition and a Reject Option for Explainable Models
- arxiv url: http://arxiv.org/abs/2012.06523v1
- Date: Fri, 11 Dec 2020 17:39:33 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-11 03:13:47.449017
- Title: Dependency Decomposition and a Reject Option for Explainable Models
- Title(参考訳): 説明可能なモデルに対する依存分解と拒絶オプション
- Authors: Jan Kronenberger and Anselm Haselhoff
- Abstract要約: 近年のディープラーニングモデルは様々な推論タスクにおいて非常によく機能する。
最近の進歩は特徴を視覚化し、入力の属性を記述する方法を提供します。
本稿では, 目的の画像分類出力に対する確率分布に関する依存性を初めて解析する。
- 参考スコア(独自算出の注目度): 4.94950858749529
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deploying machine learning models in safety-related do-mains (e.g. autonomous
driving, medical diagnosis) demands for approaches that are explainable, robust
against adversarial attacks and aware of the model uncertainty. Recent deep
learning models perform extremely well in various inference tasks, but the
black-box nature of these approaches leads to a weakness regarding the three
requirements mentioned above. Recent advances offer methods to visualize
features, describe attribution of the input (e.g.heatmaps), provide textual
explanations or reduce dimensionality. However,are explanations for
classification tasks dependent or are they independent of each other? For
in-stance, is the shape of an object dependent on the color? What is the effect
of using the predicted class for generating explanations and vice versa? In the
context of explainable deep learning models, we present the first analysis of
dependencies regarding the probability distribution over the desired image
classification outputs and the explaining variables (e.g. attributes, texts,
heatmaps). Therefore, we perform an Explanation Dependency Decomposition (EDD).
We analyze the implications of the different dependencies and propose two ways
of generating the explanation. Finally, we use the explanation to verify
(accept or reject) the prediction
- Abstract(参考訳): 機械学習モデルを安全関連ドメイン(例)にデプロイする
自律運転、医療診断) 説明可能なアプローチを要求し、敵の攻撃に対して堅牢で、モデルの不確実性を認識します。
近年のディープラーニングモデルは様々な推論タスクにおいて非常によく機能するが、これらのアプローチのブラックボックスの性質は上記の3つの要件に関して弱点をもたらす。
近年の進歩は、特徴の可視化、入力の属性(例えば、熱マップ)の記述、テキストによる説明の提供、次元の縮小などを提供する。
しかしながら、分類タスクの説明は依存するのか、それとも相互独立なのか。
インスタンスでは、オブジェクトの形は色に依存していますか?
予測クラスを使用した説明の生成とその逆の効果はどのようなものか?
本稿では,説明可能な深層学習モデルの文脈において,所望の画像分類出力と説明変数(例)の確率分布に関する第1の分析を行う。
属性、テキスト、ヒートマップ)。
そこで,我々は説明依存性分解(edd)を行う。
異なる依存関係の意味を解析し,説明を生成する2つの方法を提案する。
最後に、この説明を用いて予測を検証(承認または拒否)する。
関連論文リスト
- Explaining the Model and Feature Dependencies by Decomposition of the
Shapley Value [3.0655581300025996]
共有値は、複雑なモデルをエンドユーザに説明するためのゴートメソッドの1つになっています。
欠点の1つは、いくつかの機能が欠けている場合、常にモデルの出力を必要とすることである。
しかし、これは非自明な選択をもたらす: 未知の機能に条件を付けるか、しないか?
本稿では,両説明を組み合わせ,選択の負担を軽減し,シェープリー値の説明力を高めるアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-06-19T12:20:23Z) - Are Data-driven Explanations Robust against Out-of-distribution Data? [18.760475318852375]
エンドツーエンドのモデルに依存しない学習フレームワークであるDis Distributionally Robust Explanations (DRE)を提案する。
鍵となる考え方は、分配情報を完全に活用して、人間のアノテーションを使わずに説明の学習のための監視信号を提供することである。
提案手法は,分布変化に対する説明と予測の堅牢性の観点から,モデルの性能を著しく向上することを示す。
論文 参考訳(メタデータ) (2023-03-29T02:02:08Z) - ELUDE: Generating interpretable explanations via a decomposition into
labelled and unlabelled features [23.384134043048807]
モデルの予測を2つの部分に分解する説明フレームワークを開発する。
後者を識別することで、モデルの"説明できない"部分を分析することができます。
また,同機能領域で訓練された複数のモデルに対して,非競合機能セットが一般化可能であることを示す。
論文 参考訳(メタデータ) (2022-06-15T17:36:55Z) - Human Interpretation of Saliency-based Explanation Over Text [65.29015910991261]
テキストデータ上でのサリエンシに基づく説明について検討する。
人はしばしば説明を誤って解釈する。
本稿では,過度知覚と過小認識のモデル推定に基づいて,サリエンシを調整する手法を提案する。
論文 参考訳(メタデータ) (2022-01-27T15:20:32Z) - Beyond Trivial Counterfactual Explanations with Diverse Valuable
Explanations [64.85696493596821]
コンピュータビジョンの応用において、生成的対実法はモデルの入力を摂動させて予測を変更する方法を示す。
本稿では,多様性強化損失を用いて制約される不連続潜在空間における摂動を学習する反事実法を提案する。
このモデルは, 従来の最先端手法と比較して, 高品質な説明を生産する成功率を向上させる。
論文 参考訳(メタデータ) (2021-03-18T12:57:34Z) - Contrastive Explanations for Model Interpretability [77.92370750072831]
分類モデルの対照的説明を生成する手法を提案する。
本手法は潜在空間へのモデル表現の投影に基づいている。
本研究は,モデル決定のより正確できめ細かな解釈性を提供するためのラベルコントラスト的説明の能力に光を当てた。
論文 参考訳(メタデータ) (2021-03-02T00:36:45Z) - Leakage-Adjusted Simulatability: Can Models Generate Non-Trivial
Explanations of Their Behavior in Natural Language? [86.60613602337246]
我々はNL説明を評価するためのリーク調整シミュラビリティ(LAS)指標を提案する。
LASは、どのように説明が直接アウトプットをリークするかを制御しながら、オブザーバがモデルのアウトプットを予測するのに役立つかを計測する。
マルチエージェントゲームとしての説明文生成を行い、ラベルリークをペナライズしながら、シミュラビリティの説明を最適化する。
論文 参考訳(メタデータ) (2020-10-08T16:59:07Z) - The Struggles of Feature-Based Explanations: Shapley Values vs. Minimal
Sufficient Subsets [61.66584140190247]
機能に基づく説明は、自明なモデルでも問題を引き起こすことを示す。
そこで本研究では,2つの一般的な説明書クラスであるシェープリー説明書と十分最小限の部分集合説明書が,基本的に異なる基底的説明書のタイプをターゲットにしていることを示す。
論文 参考訳(メタデータ) (2020-09-23T09:45:23Z) - Deducing neighborhoods of classes from a fitted model [68.8204255655161]
本稿では,新しいタイプの解釈可能な機械学習手法を提案する。
量子シフトを用いた分類モデルでは、特徴空間の予測クラスへの分割を理解するのに役立ちます。
基本的に、実際のデータポイント(または特定の関心点)を使用し、特定の特徴をわずかに引き上げたり減少させたりした後の予測の変化を観察する。
論文 参考訳(メタデータ) (2020-09-11T16:35:53Z) - Counterfactual explanation of machine learning survival models [5.482532589225552]
その結果, 線形制約を伴う標準凸最適化問題に, 逆実説明問題を還元できることが示唆された。
他のブラックボックスモデルでは、よく知られたParticle Swarm Optimizationアルゴリズムを適用することが提案されている。
論文 参考訳(メタデータ) (2020-06-26T19:46:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。