論文の概要: Good-looking but Lacking Faithfulness: Understanding Local Explanation
Methods through Trend-based Testing
- arxiv url: http://arxiv.org/abs/2309.05679v1
- Date: Sat, 9 Sep 2023 14:44:39 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-13 15:50:26.478629
- Title: Good-looking but Lacking Faithfulness: Understanding Local Explanation
Methods through Trend-based Testing
- Title（参考訳）: 良いが怠慢:トレンドベーステストによる局所的説明法を理解する
- Authors: Jinwen He, Kai Chen, Guozhu Meng, Jiangshan Zhang, Congyi Li
- Abstract要約: 我々は,説明手法の忠実さを評価し,従来の信頼度試験がランダムな支配問題に遭遇していることを見出した。
傾向試験に適合し, 複雑なデータに対する説明手法を初めて評価した。
- 参考スコア（独自算出の注目度）: 13.076171586649528
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While enjoying the great achievements brought by deep learning (DL), people
are also worried about the decision made by DL models, since the high degree of
non-linearity of DL models makes the decision extremely difficult to
understand. Consequently, attacks such as adversarial attacks are easy to carry
out, but difficult to detect and explain, which has led to a boom in the
research on local explanation methods for explaining model decisions. In this
paper, we evaluate the faithfulness of explanation methods and find that
traditional tests on faithfulness encounter the random dominance problem, \ie,
the random selection performs the best, especially for complex data. To further
solve this problem, we propose three trend-based faithfulness tests and
empirically demonstrate that the new trend tests can better assess faithfulness
than traditional tests on image, natural language and security tasks. We
implement the assessment system and evaluate ten popular explanation methods.
Benefiting from the trend tests, we successfully assess the explanation methods
on complex data for the first time, bringing unprecedented discoveries and
inspiring future research. Downstream tasks also greatly benefit from the
tests. For example, model debugging equipped with faithful explanation methods
performs much better for detecting and correcting accuracy and security
problems.
- Abstract（参考訳）: ディープラーニング(DL)によってもたらされた大きな成果を享受しながらも、DLモデルの非線形性が高いため、DLモデルによる決定を心配する人もいる。
その結果、敵対的な攻撃のような攻撃は実行が容易であるが、検出と説明が困難であり、モデル決定を説明するための局所的な説明方法の研究が盛んになった。
本稿では, 説明法の忠実性を評価し, 従来の忠実性テストでは, ランダム支配問題, \ie, ランダム選択が特に複雑なデータに対して最適であることを示す。
この問題を解決するために,我々は3つの傾向ベースの忠実性テストを提案し,新たな傾向テストが画像,自然言語,セキュリティタスクにおける従来のテストよりも忠実性を評価することができることを実証的に示す。
評価システムを実装し,10の一般的な説明方法を評価する。
傾向試験に適合し, 複雑なデータの説明手法を初めて評価し, 先例のない発見をもたらし, 今後の研究を刺激する。
下流のタスクもテストの恩恵を受けます。
例えば、忠実な説明メソッドを備えたモデルデバッグは、精度とセキュリティの問題の検出と修正にずっと適しています。
関連論文リスト
- R-Tuning: Instructing Large Language Models to Say `I Don't Know' [66.11375475253007]
大きな言語モデル(LLM)は、優れたパフォーマンスで多くのドメインに革命をもたらしたが、それでもその課題に直面している。
事前の指導チューニング方法は、モデルが知識を知っているかどうかに関わらず、モデルに文章を完成させるよう強制する。
我々はRefusal-Aware Instruction Tuning (R-Tuning)と呼ばれる新しいアプローチを提案する。
実験の結果、R-Tuningは、既知の質問に答えたり、未知の質問に答えるのを控えるモデルの能力を効果的に改善することを示した。
論文 参考訳（メタデータ） (2023-11-16T08:45:44Z) - Testing for Overfitting [0.0]
オーバーフィッティング問題について議論し、トレーニングデータによる評価に標準値と集中値が成立しない理由を説明する。
本稿では,モデルの性能をトレーニングデータを用いて評価できる仮説テストを紹介し,議論する。
論文 参考訳（メタデータ） (2023-05-09T22:49:55Z) - Delving into Identify-Emphasize Paradigm for Combating Unknown Bias [52.76758938921129]
同定精度を高めるため,有効バイアス強調スコアリング法(ECS)を提案する。
また, マイニングされたバイアスアライメントとバイアスコンプリケート試料のコントリビューションのバランスをとるために, 勾配アライメント(GA)を提案する。
様々な環境で複数のデータセットで実験を行い、提案されたソリューションが未知のバイアスの影響を軽減することを実証した。
論文 参考訳（メタデータ） (2023-02-22T14:50:24Z) - A Call to Reflect on Evaluation Practices for Failure Detection in Image
Classification [0.491574468325115]
本稿では,信頼度評価関数のベンチマーク化を初めて実現した大規模実証的研究について述べる。
簡便なソフトマックス応答ベースラインを全体の最高の実行方法として明らかにすることは、現在の評価の劇的な欠点を浮き彫りにする。
論文 参考訳（メタデータ） (2022-11-28T12:25:27Z) - Reliability-Aware Prediction via Uncertainty Learning for Person Image
Retrieval [51.83967175585896]
UALは、データ不確実性とモデル不確実性を同時に考慮し、信頼性に配慮した予測を提供することを目的としている。
データ不確実性はサンプル固有のノイズを捕捉する」一方、モデル不確実性はサンプルの予測に対するモデルの信頼を表現している。
論文 参考訳（メタデータ） (2022-10-24T17:53:20Z) - A Unified End-to-End Retriever-Reader Framework for Knowledge-based VQA [67.75989848202343]
本稿では,知識に基づくVQAに向けて,エンド・ツー・エンドのレトリバー・リーダー・フレームワークを提案する。
我々は、視覚言語による事前学習モデルからの多モーダルな暗黙の知識に光を当て、知識推論の可能性を掘り下げた。
提案手法では,知識検索のガイダンスを提供するだけでなく,質問応答に対してエラーが発生しやすいケースも排除できる。
論文 参考訳（メタデータ） (2022-06-30T02:35:04Z) - Challenges in Applying Explainability Methods to Improve the Fairness of
NLP Models [7.022948483613113]
説明可能な人工知能(XAI)の手法へのモチベーションは、しばしばバイアスの検出、定量化、緩和を含む。
本稿では,NLP研究における説明可能性と公正性の傾向を概観し,バイアスの検出・緩和に説明可能性手法が適用されている現状を検証し,公平性問題に対処する上でXAI手法がより広く使用されることを防ぐ障壁について検討する。
論文 参考訳（メタデータ） (2022-06-08T15:09:04Z) - Principled Knowledge Extrapolation with GANs [92.62635018136476]
我々は,知識外挿の新たな視点から,対実合成を研究する。
本稿では, 知識外挿問題に対処するために, クローズド形式判別器を用いた対角ゲームが利用可能であることを示す。
提案手法は,多くのシナリオにおいて,エレガントな理論的保証と優れた性能の両方を享受する。
論文 参考訳（メタデータ） (2022-05-21T08:39:42Z) - Explain, Edit, and Understand: Rethinking User Study Design for
Evaluating Model Explanations [97.91630330328815]
我々はクラウドソーシング研究を行い、真偽のホテルレビューと偽のホテルレビューを区別するために訓練された詐欺検出モデルと対話する。
単語の線形バッグモデルでは、トレーニング中に特徴係数にアクセスした参加者は、非説明制御と比較して、テストフェーズにおいてモデルの信頼性が大幅に低下する可能性があることを観察する。
論文 参考訳（メタデータ） (2021-12-17T18:29:56Z) - Multicriteria interpretability driven Deep Learning [0.0]
ディープラーニングの手法はパフォーマンスで有名だが、その解釈可能性の欠如は、高い文脈での学習を妨げている。
近年のモデル手法では、モデルの内部動作をリバースエンジニアリングすることで、ポストホック解釈可能性法を提供することでこの問題に対処している。
本稿では,目的関数に知識を注入することで,モデルの結果に特徴的影響を制御できるマルチクレータ非依存手法を提案する。
論文 参考訳（メタデータ） (2021-11-28T09:41:13Z) - Uncertainty-Aware Reliable Text Classification [21.517852608625127]
ディープニューラルネットワークは、分類タスクの予測精度の成功に大きく貢献している。
ドメインシフトやアウト・オブ・ディストリビューション(out-of-distribution)の例が存在する現実の環境では、過度に信頼された予測を行う傾向があります。
補助外乱と擬似外乱サンプルを併用して, あるクラスの事前知識でモデルを訓練する, 安価なフレームワークを提案する。
論文 参考訳（メタデータ） (2021-07-15T04:39:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。