論文の概要: Sufficient and Necessary Explanations (and What Lies in Between)
- arxiv url: http://arxiv.org/abs/2409.20427v1
- Date: Mon, 30 Sep 2024 15:50:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-10-02 06:50:32.297621
- Title: Sufficient and Necessary Explanations (and What Lies in Between)
- Title(参考訳): 十分で必要な説明(そしてその中間にあるもの)
- Authors: Beepul Bharti, Paul Yi, Jeremias Sulam,
- Abstract要約: 本稿では,汎用機械学習モデルにおける特徴重要度に関する2つの正確な概念について考察する。
本稿では,必要十分軸に沿って連続体を探索することによって,これらの制限を回避することの重要性の統一概念を提案する。
- 参考スコア(独自算出の注目度): 6.9035001722324685
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As complex machine learning models continue to find applications in high-stakes decision-making scenarios, it is crucial that we can explain and understand their predictions. Post-hoc explanation methods provide useful insights by identifying important features in an input $\mathbf{x}$ with respect to the model output $f(\mathbf{x})$. In this work, we formalize and study two precise notions of feature importance for general machine learning models: sufficiency and necessity. We demonstrate how these two types of explanations, albeit intuitive and simple, can fall short in providing a complete picture of which features a model finds important. To this end, we propose a unified notion of importance that circumvents these limitations by exploring a continuum along a necessity-sufficiency axis. Our unified notion, we show, has strong ties to other popular definitions of feature importance, like those based on conditional independence and game-theoretic quantities like Shapley values. Crucially, we demonstrate how a unified perspective allows us to detect important features that could be missed by either of the previous approaches alone.
- Abstract(参考訳): 複雑な機械学習モデルは、高い意思決定シナリオにおけるアプリケーションを見つけ続けるため、これらの予測を説明し、理解することが不可欠である。
ポストホックな説明法は、入力 $\mathbf{x}$ の重要な特徴をモデル出力 $f(\mathbf{x})$ に関して識別することで有用な洞察を提供する。
本研究では,汎用機械学習モデルにおける特徴重要度という2つの正確な概念を定式化し,研究する。
これらの2つのタイプの説明(直感的かつ単純ではあるが)は、モデルが重要とみなす特徴の完全なイメージを提供するのに不足する可能性があることを実証する。
そこで本研究では,必要十分軸に沿って連続体を探索することによって,これらの制約を回避することの重要性の統一概念を提案する。
私たちの統一概念は、条件付き独立やShapley値のようなゲーム理論量に基づくものなど、他の一般的な機能の重要性の定義と強く結びついています。
重要なことは、統合された視点が、以前のアプローチだけで見逃される可能性のある重要な特徴をどうやって検出できるかを実証する。
関連論文リスト
- Explaining the Model and Feature Dependencies by Decomposition of the
Shapley Value [3.0655581300025996]
共有値は、複雑なモデルをエンドユーザに説明するためのゴートメソッドの1つになっています。
欠点の1つは、いくつかの機能が欠けている場合、常にモデルの出力を必要とすることである。
しかし、これは非自明な選択をもたらす: 未知の機能に条件を付けるか、しないか?
本稿では,両説明を組み合わせ,選択の負担を軽減し,シェープリー値の説明力を高めるアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-06-19T12:20:23Z) - Explaining Explainability: Towards Deeper Actionable Insights into Deep
Learning through Second-order Explainability [70.60433013657693]
2階説明可能なAI(SOXAI)は、最近インスタンスレベルからデータセットレベルまで説明可能なAI(XAI)を拡張するために提案されている。
そこで本研究では,SOXAIの動作可能な洞察に基づくトレーニングセットから無関係な概念を除外することで,モデルの性能を向上させることができることを示す。
論文 参考訳(メタデータ) (2023-06-14T23:24:01Z) - Interpretability in the Wild: a Circuit for Indirect Object
Identification in GPT-2 small [68.879023473838]
間接オブジェクト識別 (IOI) と呼ばれる自然言語タスクにおいて, GPT-2 の小型化が果たす役割について解説する。
我々の知る限り、この調査は言語モデルにおいて「野生」の自然な振る舞いをリバースエンジニアリングする最大のエンドツーエンドの試みである。
論文 参考訳(メタデータ) (2022-11-01T17:08:44Z) - ExSum: From Local Explanations to Model Understanding [6.23934576145261]
ブラックボックスモデルの動作メカニズムを理解するために,解釈可能性法を開発した。
この目標をフルフィルするには、これらのメソッドによって生成された説明が正しいことと、人々が容易に確実に理解できることの両方が必要である。
本稿では,モデル理解の定量化のための数学的枠組みである説明要約(ExSum)を紹介する。
論文 参考訳(メタデータ) (2022-04-30T02:07:20Z) - Beyond Trivial Counterfactual Explanations with Diverse Valuable
Explanations [64.85696493596821]
コンピュータビジョンの応用において、生成的対実法はモデルの入力を摂動させて予測を変更する方法を示す。
本稿では,多様性強化損失を用いて制約される不連続潜在空間における摂動を学習する反事実法を提案する。
このモデルは, 従来の最先端手法と比較して, 高品質な説明を生産する成功率を向上させる。
論文 参考訳(メタデータ) (2021-03-18T12:57:34Z) - Fundamental Limits and Tradeoffs in Invariant Representation Learning [99.2368462915979]
多くの機械学習アプリケーションは、2つの競合する目標を達成する表現を学習する。
ミニマックスゲーム理論の定式化は、精度と不変性の基本的なトレードオフを表す。
分類と回帰の双方において,この一般的かつ重要な問題を情報論的に解析する。
論文 参考訳(メタデータ) (2020-12-19T15:24:04Z) - Bayesian Importance of Features (BIF) [11.312036995195594]
ディリクレ分布を用いて入力特徴の重要性を定義し、近似ベイズ推論により学習する。
学習された重要性は確率論的解釈を持ち、モデルの出力に対する各入力特徴の相対的な重要性を提供する。
本手法は, 各種合成および実データに対する有効性を示す。
論文 参考訳(メタデータ) (2020-10-26T19:55:58Z) - The Struggles of Feature-Based Explanations: Shapley Values vs. Minimal
Sufficient Subsets [61.66584140190247]
機能に基づく説明は、自明なモデルでも問題を引き起こすことを示す。
そこで本研究では,2つの一般的な説明書クラスであるシェープリー説明書と十分最小限の部分集合説明書が,基本的に異なる基底的説明書のタイプをターゲットにしていることを示す。
論文 参考訳(メタデータ) (2020-09-23T09:45:23Z) - Problems with Shapley-value-based explanations as feature importance
measures [12.08945475767566]
機能の重要性のゲーム理論の定式化は、機械学習モデルを"説明"する方法として人気を集めている。
特徴量としてシェープ値が用いられる場合に数学的な問題が生じることを示す。
我々は、Shapley値が人間中心の説明可能性の目標に合った説明を提供していないと論じる。
論文 参考訳(メタデータ) (2020-02-25T18:51:14Z) - Value-driven Hindsight Modelling [68.658900923595]
値推定は強化学習(RL)パラダイムの重要な構成要素である。
モデル学習は、観測系列に存在する豊富な遷移構造を利用することができるが、このアプローチは通常、報酬関数に敏感ではない。
この2つの極点の間に位置するRLにおける表現学習のアプローチを開発する。
これにより、タスクに直接関連し、値関数の学習を加速できる、抽出可能な予測ターゲットが提供される。
論文 参考訳(メタデータ) (2020-02-19T18:10:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。