論文の概要: The Disagreement Problem in Faithfulness Metrics

• arxiv url: http://arxiv.org/abs/2311.07763v1
• Date: Mon, 13 Nov 2023 21:26:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-15 16:22:16.217453
• Title: The Disagreement Problem in Faithfulness Metrics
• Title（参考訳）: 忠実度指標における不一致問題
• Authors: Brian Barr, Noah Fatsi, Leif Hancox-Li, Peter Richter, Daniel Proano, and Caleb Mok
• Abstract要約: 本稿では,局所的な説明の忠実度を測定することを目的としたメトリクスの比較に焦点をあてる。 これは、現在のメトリクスが一致せず、ユーザに最も忠実な説明を選択する方法がわからないことを示している。
• 参考スコア（独自算出の注目度）: 0.3958317527488534
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The field of explainable artificial intelligence (XAI) aims to explain how black-box machine learning models work. Much of the work centers around the holy grail of providing post-hoc feature attributions to any model architecture. While the pace of innovation around novel methods has slowed down, the question remains of how to choose a method, and how to make it fit for purpose. Recently, efforts around benchmarking XAI methods have suggested metrics for that purpose -- but there are many choices. That bounty of choice still leaves an end user unclear on how to proceed. This paper focuses on comparing metrics with the aim of measuring faithfulness of local explanations on tabular classification problems -- and shows that the current metrics don't agree; leaving users unsure how to choose the most faithful explanations.
• Abstract（参考訳）: 説明可能な人工知能(XAI)の分野は、ブラックボックス機械学習モデルがどのように機能するかを説明することである。 作業の多くは、あらゆるモデルアーキテクチャにポストホックな特徴を提供するという聖杯を中心にしている。 斬新な方法に関するイノベーションのペースは遅くなっているが、どのようにメソッドを選択するか、どのように目的に適合させるかという疑問は残る。 最近、XAIメソッドのベンチマークに関する取り組みが、その目的のためにメトリクスを提案している。しかし、多くの選択肢がある。この選択の報奨金は、エンドユーザにどのように進むべきかを、まだわからないままだ。この記事では、メトリクスと、表の分類問題に関するローカルな説明の忠実さを測定することに焦点を当て、現在のメトリクスが一致していないことを示し、ユーザが最も忠実な説明を選択する方法を知らないことを示す。

関連論文リスト

• No Regrets: Investigating and Improving Regret Approximations for Curriculum Discovery [53.08822154199948]
  非教師なし環境設計(UED)手法は、エージェントがイン・オブ・アウト・ディストリビューションタスクに対して堅牢になることを約束する適応的カリキュラムとして近年注目を集めている。 本研究は,既存のUEDメソッドがいかにトレーニング環境を選択するかを検討する。 本研究では,学習性の高いシナリオを直接訓練する手法を開発した。
  論文  参考訳（メタデータ） (2024-08-27T14:31:54Z)
• An AI Architecture with the Capability to Explain Recognition Results [0.0]
  本研究は、説明可能性に対するメトリクスの重要性に焦点をあて、性能向上をもたらす2つの方法に貢献する。 第1の方法は説明不能なフローと説明不能なフローの組み合わせを導入し、意思決定の説明容易性を特徴づける指標を提案する。 第2の方法は、システム内のニューラルネットワークの有効性を推定するための古典的なメトリクスを比較し、新しいメトリックをリードパフォーマーとして振る舞う。
  論文  参考訳（メタデータ） (2024-06-13T02:00:13Z)
• A comprehensive study on fidelity metrics for XAI [0.0]
  我々は、フィールド内のオープンな質問であるXAIメソッドを正しく選択する方法に焦点をあてる。 いくつかの著者が、異なるXAI手法の忠実度を近似する指標を提案している。 本稿では,よく知られた透明なモデル,すなわち決定木を用いて,忠実度を検証するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-19T11:35:52Z)
• Evaluating the Utility of Model Explanations for Model Development [54.23538543168767]
  機械学習モデル構築の実践シナリオにおいて、説明が人間の意思決定を改善するかどうかを評価する。 驚いたことに、サリエンシマップが提供されたとき、タスクが大幅に改善されたという証拠は見つからなかった。 以上の結果から,サリエンシに基づく説明における誤解の可能性と有用性について注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2023-12-10T23:13:23Z)
• An Experimental Investigation into the Evaluation of Explainability Methods [60.54170260771932]
  この研究は、9つの最先端XAI法と3つのダミー法(例えば、ランダム・サリエンシ・マップ)に適用された14の異なるメトリクスを比較した。 実験の結果、これらの指標のどれが高い相関関係を示し、潜在的な冗長性を示している。
  論文  参考訳（メタデータ） (2023-05-25T08:07:07Z)
• Learning to Reason and Memorize with Self-Notes [51.17609489687686]
  大規模言語モデルは多段階推論に苦しむことが示されている。 本稿では,これらの問題を解決するための簡単な手法を提案する。
  論文  参考訳（メタデータ） (2023-05-01T14:02:48Z)
• The Solvability of Interpretability Evaluation Metrics [7.3709604810699085]
  特徴帰属法は、包括性や充足性などの指標でしばしば評価される。 本稿では,これらの指標の興味深い性質,すなわち可解性について述べる。 このビームサーチの説明器は、一般に現在の選択に匹敵するか、好適であることを示す一連の調査を提示する。
  論文  参考訳（メタデータ） (2022-05-18T02:52:03Z)
• Who Explains the Explanation? Quantitatively Assessing Feature Attribution Methods [0.0]
  本稿では,説明の忠実度を定量化するための新しい評価指標であるフォーカス(Focus)を提案する。 ランダム化実験によって測定値のロバスト性を示し、次にFocusを用いて3つの一般的な説明可能性手法を評価し比較する。 実験の結果,LRPとGradCAMは一貫性があり信頼性が高いことがわかった。
  論文  参考訳（メタデータ） (2021-09-28T07:10:24Z)
• Search Methods for Sufficient, Socially-Aligned Feature Importance Explanations with In-Distribution Counterfactuals [72.00815192668193]
  特徴重要度(FI)推定は一般的な説明形式であり、テスト時に特定の入力特徴を除去することによって生じるモデル信頼度の変化を計算し、評価することが一般的である。 FIに基づく説明の未探索次元についていくつかの考察を行い、この説明形式に対する概念的および実証的な改善を提供する。
  論文  参考訳（メタデータ） (2021-06-01T20:36:48Z)
• This is not the Texture you are looking for! Introducing Novel Counterfactual Explanations for Non-Experts using Generative Adversarial Learning [59.17685450892182]
  反実用説明システムは、入力画像を変更して反実用推論を可能にする。 本稿では, 対向画像から画像への変換技術に基づく, 対向画像の説明を新たに生成する手法を提案する。 その結果,我々のアプローチは,2つの最先端技術システムよりも,メンタルモデル,説明満足度,信頼度,感情,自己効力に関して有意に優れた結果をもたらすことがわかった。
  論文  参考訳（メタデータ） (2020-12-22T10:08:05Z)
• Explaining Predictions by Approximating the Local Decision Boundary [3.60160227126201]
  局所決定境界近似(DBA)の新しい手法を提案する。 我々は変分オートエンコーダを訓練し、符号化されたデータ表現のユークリッド潜在空間を学習する。 我々は属性アノテーションを利用して、潜在空間をユーザにとって意味のある属性にマッピングします。
  論文  参考訳（メタデータ） (2020-06-14T19:12:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。