論文の概要: Evaluation of Similarity-based Explanations

• arxiv url: http://arxiv.org/abs/2006.04528v2
• Date: Mon, 22 Mar 2021 22:15:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-24 00:31:12.934787
• Title: Evaluation of Similarity-based Explanations
• Title（参考訳）: 類似性に基づく説明の評価
• Authors: Kazuaki Hanawa, Sho Yokoi, Satoshi Hara, Kentaro Inui
• Abstract要約: ユーザに対して合理的な説明を提供するための関連指標について検討した。 実験の結果,損失の勾配のコサイン類似性が最も良好であることが判明した。 テストでパフォーマンスが悪く、失敗の原因を分析したメトリクスもあります。
• 参考スコア（独自算出の注目度）: 36.10585276728203
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Explaining the predictions made by complex machine learning models helps users to understand and accept the predicted outputs with confidence. One promising way is to use similarity-based explanation that provides similar instances as evidence to support model predictions. Several relevance metrics are used for this purpose. In this study, we investigated relevance metrics that can provide reasonable explanations to users. Specifically, we adopted three tests to evaluate whether the relevance metrics satisfy the minimal requirements for similarity-based explanation. Our experiments revealed that the cosine similarity of the gradients of the loss performs best, which would be a recommended choice in practice. In addition, we showed that some metrics perform poorly in our tests and analyzed the reasons of their failure. We expect our insights to help practitioners in selecting appropriate relevance metrics and also aid further researches for designing better relevance metrics for explanations.
• Abstract（参考訳）: 複雑な機械学習モデルによる予測を説明することで、ユーザは予測されたアウトプットを自信を持って理解し、受け入れることができる。 ひとつの有望な方法は、モデル予測をサポートするエビデンスとして、類似性に基づいた説明を提供することである。 この目的のためにいくつかの関連指標が使用される。 本研究では,ユーザに対して合理的な説明を提供する関連指標について検討した。 具体的には,類似性に基づく説明の必要最小限の要件を満たすかを評価するために,3つのテストを適用した。 実験の結果,損失の勾配のコサイン類似性が最適であることが判明した。 さらに、いくつかのメトリクスがテストでパフォーマンスが悪いことを示し、その原因を分析しました。 私たちの洞察は、適切な関連メトリクスの選択を支援するとともに、説明のための適切な関連メトリクスを設計するためのさらなる研究を支援することを期待しています。

関連論文リスト

• Rethinking Distance Metrics for Counterfactual Explainability [53.436414009687]
  本研究では, 反事実を参照領域から独立して引き出すのではなく, 基礎となるデータ分布からの参照と共同してサンプリングする, 反事実生成手法のフレーミングについて検討する。 我々は、幅広い設定に適用可能な、反ファクト的な類似性のために調整された距離メートル法を導出する。
  論文  参考訳（メタデータ） (2024-10-18T15:06:50Z)
• Evaluating the Utility of Model Explanations for Model Development [54.23538543168767]
  機械学習モデル構築の実践シナリオにおいて、説明が人間の意思決定を改善するかどうかを評価する。 驚いたことに、サリエンシマップが提供されたとき、タスクが大幅に改善されたという証拠は見つからなかった。 以上の結果から,サリエンシに基づく説明における誤解の可能性と有用性について注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2023-12-10T23:13:23Z)
• Goodhart's Law Applies to NLP's Explanation Benchmarks [57.26445915212884]
  ERASER(Comprehensiveness and sufficiency)メトリクスとEVAL-X(EVAL-X)メトリクスの2つのセットを批判的に検討する。 実験結果の予測や説明を変えることなく,モデル全体の包括性と充足率を劇的に向上させることができることを示す。 我々の結果は、現在のメトリクスが説明可能性の研究をガイドする能力に疑問を呈し、これらのメトリクスが正確に捉えるものを再評価する必要性を強調します。
  論文  参考訳（メタデータ） (2023-08-28T03:03:03Z)
• The Solvability of Interpretability Evaluation Metrics [7.3709604810699085]
  特徴帰属法は、包括性や充足性などの指標でしばしば評価される。 本稿では,これらの指標の興味深い性質,すなわち可解性について述べる。 このビームサーチの説明器は、一般に現在の選択に匹敵するか、好適であることを示す一連の調査を提示する。
  論文  参考訳（メタデータ） (2022-05-18T02:52:03Z)
• A Unified Study of Machine Learning Explanation Evaluation Metrics [16.4602888153369]
  説明のための既存の指標の多くは,提案手法の副産物として研究者によって導入され,それらの手法の利点を実証している。 確認および正当化されたメトリクスの欠如は、これらの説明方法のベンチマークにおいてカオスをもたらすと我々は主張する。 本稿では、機械学習の説明評価における問題への対処に関するガイドラインを提案し、説明手法やメトリクスを開発する際に、研究者が慎重にこれらの問題に対処するよう促す。
  論文  参考訳（メタデータ） (2022-03-27T10:12:06Z)
• Toward Scalable and Unified Example-based Explanation and Outlier Detection [128.23117182137418]
  我々は,試行錯誤の予測に例ベースの説明を与えることのできる,プロトタイプベースの学生ネットワークのより広範な採用を論じる。 類似カーネル以外のプロトタイプベースのネットワークは,分類精度を損なうことなく,有意義な説明と有望な外乱検出結果が得られることを示す。
  論文  参考訳（メタデータ） (2020-11-11T05:58:17Z)
• Evaluations and Methods for Explanation through Robustness Analysis [117.7235152610957]
  分析による特徴に基づく説明の新たな評価基準を確立する。 我々は、緩やかに必要であり、予測に十分である新しい説明を得る。 我々は、現在の予測をターゲットクラスに移動させる一連の特徴を抽出するために、説明を拡張します。
  論文  参考訳（メタデータ） (2020-05-31T05:52:05Z)
• An end-to-end approach for the verification problem: learning the right distance [15.553424028461885]
  パラメトリックな擬似距離を導入し、エンコーダと共同で学習することで、メトリック学習の設定を強化する。 まず、仮説テストに使用できる確率比を近似して示す。 提案手法では,実際の距離を持つメートル法学習に比べて,学習の簡易化が図られている。
  論文  参考訳（メタデータ） (2020-02-21T18:46:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。