Fugu-MT 論文翻訳(概要): The Generalizability of Explanations

論文の概要: The Generalizability of Explanations

arxiv url: http://arxiv.org/abs/2302.11965v1
Date: Thu, 23 Feb 2023 12:25:59 GMT
ステータス: 処理完了
システム内更新日: 2023-02-24 15:25:30.982313
Title: The Generalizability of Explanations
Title（参考訳）: 説明の一般化可能性
Authors: Hanxiao Tan
Abstract要約: 本研究は,一般化可能性の観点から,新しい評価手法を提案する。自動エンコーダを用いて,生成した説明文の分布を学習し,その学習可能性と,学習された分布特徴の妥当性を観察する。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Due to the absence of ground truth, objective evaluation of explainability methods is an essential research direction. So far, the vast majority of evaluations can be summarized into three categories, namely human evaluation, sensitivity testing, and salinity check. This work proposes a novel evaluation methodology from the perspective of generalizability. We employ an Autoencoder to learn the distributions of the generated explanations and observe their learnability as well as the plausibility of the learned distributional features. We first briefly demonstrate the evaluation idea of the proposed approach at LIME, and then quantitatively evaluate multiple popular explainability methods. We also find that smoothing the explanations with SmoothGrad can significantly enhance the generalizability of explanations.
Abstract（参考訳）: 根拠がないため、説明可能性法を客観的に評価することが本質的な研究の方向性である。これまでの評価の大部分は、人間の評価、感度テスト、塩分濃度チェックの3つのカテゴリにまとめることができる。本稿では,一般化可能性の観点から新しい評価手法を提案する。自動エンコーダを用いて,生成した説明の分布を学習し,その学習可能性と学習した分布特性の妥当性を観察する。まず,提案手法の評価アイデアをlimeで簡潔に示し,その後,複数の一般的な説明可能性法を定量的に評価した。また、SmoothGradによる説明の平滑化は、説明の一般化可能性を大幅に向上させる。

関連論文リスト

Evaluating Human Alignment and Model Faithfulness of LLM Rationale [66.75309523854476]
大規模言語モデル(LLM)が,その世代を理論的にどのように説明するかを考察する。提案手法は帰属に基づく説明よりも「偽り」が少ないことを示す。
論文参考訳（メタデータ） (2024-06-28T20:06:30Z)
Evaluating the Utility of Model Explanations for Model Development [54.23538543168767]
機械学習モデル構築の実践シナリオにおいて、説明が人間の意思決定を改善するかどうかを評価する。驚いたことに、サリエンシマップが提供されたとき、タスクが大幅に改善されたという証拠は見つからなかった。以上の結果から,サリエンシに基づく説明における誤解の可能性と有用性について注意が必要であることが示唆された。
論文参考訳（メタデータ） (2023-12-10T23:13:23Z)
Explaining Explainability: Towards Deeper Actionable Insights into Deep Learning through Second-order Explainability [70.60433013657693]
2階説明可能なAI(SOXAI)は、最近インスタンスレベルからデータセットレベルまで説明可能なAI(XAI)を拡張するために提案されている。そこで本研究では,SOXAIの動作可能な洞察に基づくトレーニングセットから無関係な概念を除外することで,モデルの性能を向上させることができることを示す。
論文参考訳（メタデータ） (2023-06-14T23:24:01Z)
On The Coherence of Quantitative Evaluation of Visual Explanations [0.7212939068975619]
視覚的説明の「良さ」を評価するための評価手法が提案されている。我々はImageNet-1k検証セットのサブセットについて検討し、多くの一般的な説明手法を評価した。本研究の結果から, 評価方法のいくつかは, 階調のコヒーレンシーが欠如していることが示唆された。
論文参考訳（メタデータ） (2023-02-14T13:41:57Z)
From Anecdotal Evidence to Quantitative Evaluation Methods: A Systematic Review on Evaluating Explainable AI [3.7592122147132776]
我々は,説明の質を総合的に評価するために評価すべき,コンパクト性や正確性などの12の概念的特性を同定する。その結果,3件中1件が逸話的証拠でのみ評価され,5件中1件がユーザで評価されていることがわかった。この体系的な評価手法の収集は、研究者や実践者に、新しいXAI手法と既存のXAI手法を徹底的に検証、ベンチマーク、比較するための具体的なツールを提供する。
論文参考訳（メタデータ） (2022-01-20T13:23:20Z)
Discriminative Attribution from Counterfactuals [64.94009515033984]
本稿では,特徴属性と反実的説明を組み合わせたニューラルネットワークの解釈可能性について述べる。本手法は,特徴属性法の性能を客観的に評価するために有効であることを示す。
論文参考訳（メタデータ） (2021-09-28T00:53:34Z)
On Sample Based Explanation Methods for NLP:Efficiency, Faithfulness, and Semantic Evaluation [23.72825603188359]
我々は、任意のテキストシーケンスを説明単位として許容することにより、説明の解釈可能性を向上させることができる。本研究では,人間による説明の判断に適合する意味に基づく評価指標を提案する。
論文参考訳（メタデータ） (2021-06-09T00:49:56Z)
Evaluating Explanations: How much do explanations from the teacher aid students? [103.05037537415811]
本研究では,説明が生徒の学習モデルを改善する程度を測る学生-教師パラダイムを用いて,説明の価値を定式化する。説明を評価するための従来の提案とは異なり、我々のアプローチは容易にゲーム化できず、原則付き、スケーラブルで、属性の自動評価を可能にします。
論文参考訳（メタデータ） (2020-12-01T23:40:21Z)
Evaluations and Methods for Explanation through Robustness Analysis [117.7235152610957]
分析による特徴に基づく説明の新たな評価基準を確立する。我々は、緩やかに必要であり、予測に十分である新しい説明を得る。我々は、現在の予測をターゲットクラスに移動させる一連の特徴を抽出するために、説明を拡張します。
論文参考訳（メタデータ） (2020-05-31T05:52:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。