論文の概要: On quantitative aspects of model interpretability

• arxiv url: http://arxiv.org/abs/2007.07584v1
• Date: Wed, 15 Jul 2020 10:05:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-10 04:52:07.210097
• Title: On quantitative aspects of model interpretability
• Title（参考訳）: モデル解釈可能性の定量的側面について
• Authors: An-phi Nguyen, Mar\'ia Rodr\'iguez Mart\'inez
• Abstract要約: これらの次元に沿った手法は、2つの概念的部分、すなわち抽出器と実際の説明可能性法に含めることができると論じる。 異なるベンチマークタスクのメトリクスを実験的に検証し、そのタスクに最も適したメソッドの選択において、実践者の指導にどのように使用できるかを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the growing body of work in interpretable machine learning, it remains unclear how to evaluate different explainability methods without resorting to qualitative assessment and user-studies. While interpretability is an inherently subjective matter, previous works in cognitive science and epistemology have shown that good explanations do possess aspects that can be objectively judged apart from fidelity), such assimplicity and broadness. In this paper we propose a set of metrics to programmatically evaluate interpretability methods along these dimensions. In particular, we argue that the performance of methods along these dimensions can be orthogonally imputed to two conceptual parts, namely the feature extractor and the actual explainability method. We experimentally validate our metrics on different benchmark tasks and show how they can be used to guide a practitioner in the selection of the most appropriate method for the task at hand.
• Abstract（参考訳）: 解釈可能な機械学習における作業の活発化にもかかわらず、定性的な評価やユーザスタディに頼ることなく、異なる説明可能性手法をどのように評価するかは、いまだ不明である。 解釈性は本質的に主観的な問題であるが、認知科学や認識論における以前の研究は、良い説明は誠実さや広さなど、客観的に判断できる側面を持っていることを示している。 本稿では,これらの次元に沿った解釈可能性手法をプログラム的に評価する指標セットを提案する。 特に,これらの次元に沿った手法の性能は,2つの概念的部分,すなわち特徴抽出器と実際の説明可能性法に直交的に説明できると主張している。 異なるベンチマークタスクのメトリクスを実験的に検証し、そのタスクに最も適したメソッドの選択において、実践者の指導にどのように使用できるかを示す。

関連論文リスト

• Toward Understanding the Disagreement Problem in Neural Network Feature Attribution [0.8057006406834466]
  ニューラルネットワークは 複雑なパターンと関係を 生のデータから識別する これらのブラックボックスモデルの内部動作を理解することは、依然として難しいが、高い意思決定には不可欠である。 我々の研究は、説明の基本的な、分布的な振る舞いを調査することによって、この混乱に対処する。
  論文  参考訳（メタデータ） (2024-04-17T12:45:59Z)
• Ensemble Interpretation: A Unified Method for Interpretable Machine Learning [1.276129213205911]
  本稿では,新しい解釈可能な手法であるアンサンブル解釈について述べる。 実験の結果、アンサンブルの解釈はより安定しており、人間の経験や認知と一致していることがわかった。 アプリケーションとして,特徴選択にアンサンブル解釈を用い,それに対応する学習モデルの一般化性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2023-12-11T09:51:24Z)
• Better Understanding Differences in Attribution Methods via Systematic Evaluations [57.35035463793008]
  モデル決定に最も影響を及ぼす画像領域を特定するために、ポストホック属性法が提案されている。 本稿では,これらの手法の忠実度をより確実に評価するための3つの新しい評価手法を提案する。 これらの評価手法を用いて、広範囲のモデルにおいて広く用いられている属性手法の長所と短所について検討する。
  論文  参考訳（メタデータ） (2023-03-21T14:24:58Z)
• Visualizing and Understanding Contrastive Learning [22.553990823550784]
  一対のイメージから類似性学習タスクを理解するのに寄与する視覚的説明法を設計する。 また、画像分類システムの視覚的説明を評価するために用いられる既存のメトリクスを、一対の説明に適合させる。
  論文  参考訳（メタデータ） (2022-06-20T13:01:46Z)
• Towards Better Understanding Attribution Methods [77.1487219861185]
  モデル決定に最も影響を及ぼす画像領域を特定するために、ポストホック属性法が提案されている。 本稿では,これらの手法の忠実度をより確実に評価するための3つの新しい評価手法を提案する。 また,いくつかの属性法の性能を著しく向上する処理後平滑化ステップを提案する。
  論文  参考訳（メタデータ） (2022-05-20T20:50:17Z)
• What I Cannot Predict, I Do Not Understand: A Human-Centered Evaluation Framework for Explainability Methods [6.232071870655069]
  本研究では,実世界のシナリオにおける個人帰属手法の実践的有用性について,説明可能性手法の評価に使用する理論的尺度が不十分であることを示す。 この結果から,より優れた説明可能性手法を開発し,人間中心評価手法を展開させる上で重要な必要性が示唆された。
  論文  参考訳（メタデータ） (2021-12-06T18:36:09Z)
• Discriminative Attribution from Counterfactuals [64.94009515033984]
  本稿では,特徴属性と反実的説明を組み合わせたニューラルネットワークの解釈可能性について述べる。 本手法は,特徴属性法の性能を客観的に評価するために有効であることを示す。
  論文  参考訳（メタデータ） (2021-09-28T00:53:34Z)
• On Sample Based Explanation Methods for NLP:Efficiency, Faithfulness, and Semantic Evaluation [23.72825603188359]
  我々は、任意のテキストシーケンスを説明単位として許容することにより、説明の解釈可能性を向上させることができる。 本研究では,人間による説明の判断に適合する意味に基づく評価指標を提案する。
  論文  参考訳（メタデータ） (2021-06-09T00:49:56Z)
• On the Faithfulness Measurements for Model Interpretations [100.2730234575114]
  ポストホックな解釈は、自然言語処理(NLP)モデルがどのように予測を行うかを明らかにすることを目的とする。 これらの問題に取り組むために,我々は,削除基準,解釈の感度,解釈の安定性という3つの基準から始める。 これらの忠実性概念のデシデラタムに動機づけられ、敵対的領域からのテクニックを採用する新しい解釈方法のクラスを導入する。
  論文  参考訳（メタデータ） (2021-04-18T09:19:44Z)
• Interpretable Multi-dataset Evaluation for Named Entity Recognition [110.64368106131062]
  本稿では,名前付きエンティティ認識(NER)タスクに対する一般的な評価手法を提案する。 提案手法は,モデルとデータセットの違いと,それらの間の相互作用を解釈することを可能にする。 分析ツールを利用可能にすることで、将来の研究者が同様の分析を実行し、この分野の進歩を促進することができる。
  論文  参考訳（メタデータ） (2020-11-13T10:53:27Z)
• A Diagnostic Study of Explainability Techniques for Text Classification [52.879658637466605]
  既存の説明可能性技術を評価するための診断特性のリストを作成する。 そこで本研究では, モデルの性能と有理性との整合性の関係を明らかにするために, 説明可能性手法によって割り当てられた有理性スコアと有理性入力領域の人間のアノテーションを比較した。
  論文  参考訳（メタデータ） (2020-09-25T12:01:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。