論文の概要: Sum-of-Parts: Faithful Attributions for Groups of Features
- arxiv url: http://arxiv.org/abs/2310.16316v2
- Date: Wed, 02 Oct 2024 23:37:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-04 23:30:53.653847
- Title: Sum-of-Parts: Faithful Attributions for Groups of Features
- Title(参考訳): 部品の要約: 特徴群に対する忠実な帰属
- Authors: Weiqiu You, Helen Qu, Marco Gatti, Bhuvnesh Jain, Eric Wong,
- Abstract要約: Sum-of-Parts(SOP)は、任意の差別化可能なモデルを、機能群に起因する予測を持つ自己説明モデルに変換するフレームワークである。
SOPは、ImageNetとCosmoGridの忠実度指標に関して高いスコアを得ながら、最高のパフォーマンスを達成する。
我々は,SOPが学習したグループの有用性を,高い純度,強い人間区別能力,科学的発見における実用性を通じて検証した。
- 参考スコア(独自算出の注目度): 8.68707471649733
- License:
- Abstract: Feature attributions explain machine learning predictions by assigning importance scores to input features. While faithful attributions accurately reflect feature contributions to the model's prediction, unfaithful ones can lead to misleading interpretations, making them unreliable in high-stake domains. The challenge of unfaithfulness of post-hoc attributions led to the development of self-explaining models. However, self-explaining models often trade-off performance for interpretability. In this work, we develop Sum-of-Parts (SOP), a new framework that transforms any differentiable model into a self-explaining model whose predictions can be attributed to groups of features. The SOP framework leverages pretrained deep learning models with custom attention modules to learn useful feature groups end-to-end without direct supervision. With these capabilities, SOP achieves highest performance while also scoring high with respect to faithfulness metrics on both ImageNet and CosmoGrid. We validate the usefulness of the groups learned by SOP through their high purity, strong human distinction ability, and practical utility in scientific discovery. In a case study, we show how SOP assists cosmologists in uncovering new insights about galaxy formation.
- Abstract(参考訳): 特徴属性は、重要点を入力特徴に割り当てることで、機械学習の予測を説明する。
忠実な属性はモデルの予測に対する特徴的貢献を正確に反映するが、不誠実な属性は誤解を招く解釈をもたらす可能性があるため、高信頼のドメインでは信頼できない。
ポストホック属性の不誠実さの課題は、自己説明型モデルの開発に繋がった。
しかし、自己説明型モデルは、しばしば解釈可能性のためのトレードオフ性能を持つ。
本研究では,任意の微分可能なモデルを,特徴群による予測が可能な自己説明モデルに変換する新しいフレームワークであるSum-of-Parts (SOP) を開発する。
SOPフレームワークは、トレーニング済みのディープラーニングモデルとカスタムアテンションモジュールを活用して、直接の監督なしに有用な機能グループをエンドツーエンドで学習する。
これらの機能により、SOPは、ImageNetとCosmoGridの両方の忠実度指標に対して高いスコアを得ながら、最高のパフォーマンスを達成する。
我々は,SOPが学習したグループの有用性を,高い純度,強い人間区別能力,科学的発見における実用性を通じて検証した。
ケーススタディでは、SOPが銀河形成に関する新たな知見を明らかにするのに、どのように宇宙学者を支援するかを示す。
関連論文リスト
- Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。
本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
論文 参考訳(メタデータ) (2024-06-05T16:35:30Z) - LaPLACE: Probabilistic Local Model-Agnostic Causal Explanations [1.0370398945228227]
本稿では,機械学習モデルに対する確率論的原因・効果説明を提供するLaPLACE-Explainerを紹介する。
LaPLACE-Explainerコンポーネントはマルコフ毛布の概念を利用して、関連する特徴と非関連する特徴の間の統計的境界を確立する。
提案手法は,LIME と SHAP の局所的精度と特徴の整合性の観点から,因果的説明と性能を向上する。
論文 参考訳(メタデータ) (2023-10-01T04:09:59Z) - Explaining Explainability: Towards Deeper Actionable Insights into Deep
Learning through Second-order Explainability [70.60433013657693]
2階説明可能なAI(SOXAI)は、最近インスタンスレベルからデータセットレベルまで説明可能なAI(XAI)を拡張するために提案されている。
そこで本研究では,SOXAIの動作可能な洞察に基づくトレーニングセットから無関係な概念を除外することで,モデルの性能を向上させることができることを示す。
論文 参考訳(メタデータ) (2023-06-14T23:24:01Z) - On the Joint Interaction of Models, Data, and Features [82.60073661644435]
本稿では,データとモデル間の相互作用を実験的に解析する新しいツールであるインタラクションテンソルを紹介する。
これらの観測に基づいて,特徴学習のための概念的枠組みを提案する。
この枠組みの下では、一つの仮説に対する期待された精度と一対の仮説に対する合意はどちらも閉形式で導出することができる。
論文 参考訳(メタデータ) (2023-06-07T21:35:26Z) - TsSHAP: Robust model agnostic feature-based explainability for time
series forecasting [6.004928390125367]
我々は,ブラックボックス予測モデルの予測を説明できる機能ベースの説明可能性アルゴリズムTsSHAPを提案する。
我々は、時系列予測の文脈において、局所的、半局所的、グローバルな説明の概念を定式化する。
論文 参考訳(メタデータ) (2023-03-22T05:14:36Z) - Understanding Post-hoc Explainers: The Case of Anchors [6.681943980068051]
本稿では,テキストの判断を説明するために,少数の単語群をハイライトする規則に基づく解釈可能性法の理論解析を行う。
アルゴリズムを定式化し有用な洞察を提供した後、数学的にアンカーが有意義な結果をもたらすことを示す。
論文 参考訳(メタデータ) (2023-03-15T17:56:34Z) - Interpretable Data-Based Explanations for Fairness Debugging [7.266116143672294]
Gopherは、バイアスや予期せぬモデルの振る舞いに関するコンパクトで解釈可能な、因果的な説明を生成するシステムである。
我々は,学習データに介入する程度を,サブセットの削除や更新によって定量化する因果責任の概念を導入し,バイアスを解消する。
この概念に基づいて、モデルバイアスを説明するトップkパターンを生成するための効率的なアプローチを開発する。
論文 参考訳(メタデータ) (2021-12-17T20:10:00Z) - Partial Order in Chaos: Consensus on Feature Attributions in the
Rashomon Set [50.67431815647126]
ポストホックなグローバル/ローカルな特徴属性法は、機械学習モデルを理解するために徐々に採用されている。
この手法により局所的・言語的特徴の半順序が生じることを示す。
これらの部分的な順序に現れる特徴間の関係は、既存のアプローチによって提供されたランクにも当てはまることを示す。
論文 参考訳(メタデータ) (2021-10-26T02:53:14Z) - The Struggles of Feature-Based Explanations: Shapley Values vs. Minimal
Sufficient Subsets [61.66584140190247]
機能に基づく説明は、自明なモデルでも問題を引き起こすことを示す。
そこで本研究では,2つの一般的な説明書クラスであるシェープリー説明書と十分最小限の部分集合説明書が,基本的に異なる基底的説明書のタイプをターゲットにしていることを示す。
論文 参考訳(メタデータ) (2020-09-23T09:45:23Z) - Adversarial Infidelity Learning for Model Interpretation [43.37354056251584]
本稿では,モデル解釈のためのモデル非依存能率直接(MEED)FSフレームワークを提案する。
我々のフレームワークは、正当性、ショートカット、モデルの識別可能性、情報伝達に関する懸念を緩和する。
我々のAILメカニズムは、選択した特徴と目標の間の条件分布を学習するのに役立ちます。
論文 参考訳(メタデータ) (2020-06-09T16:27:17Z) - Evaluations and Methods for Explanation through Robustness Analysis [117.7235152610957]
分析による特徴に基づく説明の新たな評価基準を確立する。
我々は、緩やかに必要であり、予測に十分である新しい説明を得る。
我々は、現在の予測をターゲットクラスに移動させる一連の特徴を抽出するために、説明を拡張します。
論文 参考訳(メタデータ) (2020-05-31T05:52:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。