論文の概要: Estimation of Concept Explanations Should be Uncertainty Aware
- arxiv url: http://arxiv.org/abs/2312.08063v2
- Date: Fri, 5 Apr 2024 13:42:27 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-08 18:35:30.400743
- Title: Estimation of Concept Explanations Should be Uncertainty Aware
- Title(参考訳): 不確かさに注意すべき概念記述の推定
- Authors: Vihari Piratla, Juyeon Heo, Katherine M. Collins, Sukriti Singh, Adrian Weller,
- Abstract要約: 概念説明(Concept Explanations)と呼ばれる特定の概念について研究し、人間の理解可能な概念を用いてモデルを解釈することを目的としている。
簡単な解釈で人気があるが、概念的な説明は騒々しいことが知られている。
本稿では,これらの問題に対処する不確実性を考慮したベイズ推定手法を提案する。
- 参考スコア(独自算出の注目度): 39.598213804572396
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Model explanations can be valuable for interpreting and debugging predictive models. We study a specific kind called Concept Explanations, where the goal is to interpret a model using human-understandable concepts. Although popular for their easy interpretation, concept explanations are known to be noisy. We begin our work by identifying various sources of uncertainty in the estimation pipeline that lead to such noise. We then propose an uncertainty-aware Bayesian estimation method to address these issues, which readily improved the quality of explanations. We demonstrate with theoretical analysis and empirical evaluation that explanations computed by our method are robust to train-time choices while also being label-efficient. Further, our method proved capable of recovering relevant concepts amongst a bank of thousands, in an evaluation with real-datasets and off-the-shelf models, demonstrating its scalability. We believe the improved quality of uncertainty-aware concept explanations make them a strong candidate for more reliable model interpretation. We release our code at https://github.com/vps-anonconfs/uace.
- Abstract(参考訳): モデル説明は予測モデルの解釈とデバッグに有用である。
概念説明(Concept Explanations)と呼ばれる特定の概念について研究し、人間の理解可能な概念を用いてモデルを解釈することを目的としている。
簡単な解釈で人気があるが、概念的な説明は騒々しいことが知られている。
このようなノイズに繋がる推定パイプラインにおける様々な不確実性源を特定することで作業を開始します。
次に,これらの問題に対処する不確実性を考慮したベイズ推定手法を提案する。
本研究では,提案手法によって計算された説明が,ラベル効率も高いとともに,列車時の選択に頑健であることを示す理論的解析と経験的評価を行った。
さらに,本手法は,実データモデルとオフザシェルフモデルを用いて,数千銀行間の関係概念を復元し,そのスケーラビリティを実証する。
我々は、不確実性を考慮した概念説明の質の向上により、より信頼性の高いモデル解釈の候補となると信じている。
コードについてはhttps://github.com/vps-anonconfs/uace.comで公開しています。
関連論文リスト
- Evaluating Readability and Faithfulness of Concept-based Explanations [35.48852504832633]
概念に基づく説明は、大規模言語モデルによって学習された高レベルのパターンを説明するための有望な道として現れます。
現在の手法は、統一的な形式化を欠いた異なる視点から概念にアプローチする。
これにより、概念の中核となる尺度、すなわち忠実さや可読性を評価するのが難しくなります。
論文 参考訳(メタデータ) (2024-04-29T09:20:25Z) - An Axiomatic Approach to Model-Agnostic Concept Explanations [67.84000759813435]
本稿では、線形性、再帰性、類似性という3つの自然な公理を満たす概念的説明へのアプローチを提案する。
次に、従来の概念的説明手法とのつながりを確立し、それらの意味の異なる意味についての洞察を提供する。
論文 参考訳(メタデータ) (2024-01-12T20:53:35Z) - Evaluating the Utility of Model Explanations for Model Development [54.23538543168767]
機械学習モデル構築の実践シナリオにおいて、説明が人間の意思決定を改善するかどうかを評価する。
驚いたことに、サリエンシマップが提供されたとき、タスクが大幅に改善されたという証拠は見つからなかった。
以上の結果から,サリエンシに基づく説明における誤解の可能性と有用性について注意が必要であることが示唆された。
論文 参考訳(メタデータ) (2023-12-10T23:13:23Z) - Sound Explanation for Trustworthy Machine Learning [11.779125616468194]
我々は、入力成分にスコアを割り当てることでブラックボックスモデルを解釈する実践に反対する。
次に,先行研究で非公式に採用された音声説明の概念を定式化する。
本稿では,がん予測モデルにおける特徴選択を音響的説明として応用し,臨床医間の信頼を育む。
論文 参考訳(メタデータ) (2023-06-08T19:58:30Z) - Statistically Significant Concept-based Explanation of Image Classifiers
via Model Knockoffs [22.576922942465142]
概念に基づく説明は、非関連概念を予測タスクにとって重要であると誤解する偽陽性を引き起こす可能性がある。
深層学習モデルを用いて画像概念を学習し,Knockoffサンプルを用いて予測のための重要な概念を選択する手法を提案する。
論文 参考訳(メタデータ) (2023-05-27T05:40:05Z) - Overlooked factors in concept-based explanations: Dataset choice,
concept learnability, and human capability [25.545486537295144]
概念に基づく解釈可能性法は、事前に定義されたセマンティック概念のセットを使用して、ディープニューラルネットワークモデル予測を説明することを目的としている。
その人気にもかかわらず、文学によって十分に理解され、明瞭化されていない限界に悩まされている。
概念に基づく説明において、よく見過ごされる3つの要因を分析した。
論文 参考訳(メタデータ) (2022-07-20T01:59:39Z) - Logical Satisfiability of Counterfactuals for Faithful Explanations in
NLI [60.142926537264714]
本稿では, 忠実度スルー・カウンタファクトの方法論について紹介する。
これは、説明に表される論理述語に基づいて、反実仮説を生成する。
そして、そのモデルが表現された論理と反ファクトの予測が一致しているかどうかを評価する。
論文 参考訳(メタデータ) (2022-05-25T03:40:59Z) - Beyond Trivial Counterfactual Explanations with Diverse Valuable
Explanations [64.85696493596821]
コンピュータビジョンの応用において、生成的対実法はモデルの入力を摂動させて予測を変更する方法を示す。
本稿では,多様性強化損失を用いて制約される不連続潜在空間における摂動を学習する反事実法を提案する。
このモデルは, 従来の最先端手法と比較して, 高品質な説明を生産する成功率を向上させる。
論文 参考訳(メタデータ) (2021-03-18T12:57:34Z) - Debiasing Concept-based Explanations with Causal Analysis [4.911435444514558]
本研究は,特徴の相違する情報と相関する概念の問題点について考察する。
観測されていない変数の影響をモデル化するための新しい因果前グラフを提案する。
提案手法は,概念が完成していない場合に有効であることを示す。
論文 参考訳(メタデータ) (2020-07-22T15:42:46Z) - Evaluations and Methods for Explanation through Robustness Analysis [117.7235152610957]
分析による特徴に基づく説明の新たな評価基準を確立する。
我々は、緩やかに必要であり、予測に十分である新しい説明を得る。
我々は、現在の予測をターゲットクラスに移動させる一連の特徴を抽出するために、説明を拡張します。
論文 参考訳(メタデータ) (2020-05-31T05:52:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。