論文の概要: Impossibility Theorems for Feature Attribution
- arxiv url: http://arxiv.org/abs/2212.11870v2
- Date: Tue, 11 Apr 2023 13:55:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-12 18:28:24.820655
- Title: Impossibility Theorems for Feature Attribution
- Title（参考訳）: 特徴帰属に対する不可能定理
- Authors: Blair Bilodeau, Natasha Jaques, Pang Wei Koh, Been Kim
- Abstract要約: そこで本研究では,適度にリッチなモデルクラスでは,任意の特徴属性法がモデル振る舞いを推測するランダムな推測において,確実に改善できないことを示す。
本研究は, 局所モデル行動の特徴付け, 突発的特徴の同定, アルゴリズム的リコースなど, 一般的なエンドタスクに適用する。
- 参考スコア（独自算出の注目度）: 32.959499677777714
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite a sea of interpretability methods that can produce plausible
explanations, the field has also empirically seen many failure cases of such
methods. In light of these results, it remains unclear for practitioners how to
use these methods and choose between them in a principled way. In this paper,
we show that for moderately rich model classes (easily satisfied by neural
networks), any feature attribution method that is complete and linear -- for
example, Integrated Gradients and SHAP -- can provably fail to improve on
random guessing for inferring model behaviour. Our results apply to common
end-tasks such as characterizing local model behaviour, identifying spurious
features, and algorithmic recourse. One takeaway from our work is the
importance of concretely defining end-tasks: once such an end-task is defined,
a simple and direct approach of repeated model evaluations can outperform many
other complex feature attribution methods.
- Abstract（参考訳）: 妥当な説明を生成できる解釈可能性手法の海にもかかわらず、この分野はそのような手法の多くの失敗事例を経験的に見てきた。
これらの結果を踏まえて、実践者がこれらの手法をどのように利用し、それらを原則的に選択するかは定かではない。
本稿では、中程度にリッチなモデルクラス(ニューラルネットワークにより容易に満足できる)において、完全で線形な特徴属性(例えば、積分勾配とSHAP)は、モデル振る舞いを推測するランダムな推測において確実に改善できないことを示す。
本研究は, 局所モデル行動の特徴付け, 突発的特徴の同定, アルゴリズム的リコースなど, 一般的なエンドタスクに適用する。
このようなエンドタスクが定義されれば、繰り返しモデル評価の単純かつ直接的なアプローチが、他の多くの複雑な機能帰属メソッドを上回ることができるのです。
関連論文リスト
- Understanding prompt engineering may not require rethinking
generalization [56.38207873589642]
言語モデルによって与えられるPAC-Bayesと組み合わさったプロンプトの離散的性質は、文献の標準によって非常に厳密な一般化境界をもたらすことを示す。
この研究は、プロンプトエンジニアリングの広範な実践を正当化する可能性がある。
論文 参考訳（メタデータ） (2023-10-06T00:52:48Z) - An Additive Instance-Wise Approach to Multi-class Model Interpretation [53.87578024052922]
解釈可能な機械学習は、ブラックボックスシステムの特定の予測を駆動する要因に関する洞察を提供する。
既存の手法は主に、局所的な加法的あるいはインスタンス的なアプローチに従う説明的入力特徴の選択に重点を置いている。
本研究は,両手法の長所を生かし,複数の対象クラスに対する局所的な説明を同時に学習するためのグローバルフレームワークを提案する。
論文 参考訳（メタデータ） (2022-07-07T06:50:27Z) - Deciding What to Model: Value-Equivalent Sampling for Reinforcement
Learning [21.931580762349096]
本稿では,エージェントが真のモデルの代わりにターゲットにできるような,ほぼ等価でロッキーな環境圧縮を計算するアルゴリズムを提案する。
有限水平, エピソディックな逐次決定問題を解くアルゴリズムに対して, 情報理論的, ベイズ的後悔を証明した。
論文 参考訳（メタデータ） (2022-06-04T23:36:38Z) - On Modality Bias Recognition and Reduction [70.69194431713825]
マルチモーダル分類の文脈におけるモダリティバイアス問題について検討する。
本稿では,各ラベルの特徴空間を適応的に学習するプラグアンドプレイ損失関数法を提案する。
本手法は, ベースラインに比べ, 顕著な性能向上を実現している。
論文 参考訳（メタデータ） (2022-02-25T13:47:09Z) - Sampling from Arbitrary Functions via PSD Models [55.41644538483948]
まず確率分布をモデル化し,そのモデルからサンプリングする。
これらのモデルでは, 少数の評価値を用いて, 高精度に多数の密度を近似することが可能であることが示され, それらのモデルから効果的にサンプルする簡単なアルゴリズムが提示される。
論文 参考訳（メタデータ） (2021-10-20T12:25:22Z) - Contrastive Learning for Fair Representations [50.95604482330149]
訓練された分類モデルは、意図せずバイアスのある表現や予測につながる可能性がある。
対戦訓練のような既存の分類モデルのデバイアス化手法は、訓練に高価であり、最適化が困難であることが多い。
比較学習を取り入れたバイアス軽減手法を提案し、同じクラスラベルを共有するインスタンスに類似した表現を推奨する。
論文 参考訳（メタデータ） (2021-09-22T10:47:51Z) - Network Estimation by Mixing: Adaptivity and More [2.3478438171452014]
我々は、利用可能な任意のモデルを利用して、個々のパフォーマンスを改善する混合戦略を提案する。
提案手法は計算効率が高く,チューニングがほとんどない。
提案手法は,真のモデルが個々の候補に含まれる場合のオラクル推定と同等に動作することを示す。
論文 参考訳（メタデータ） (2021-06-05T05:17:04Z) - An Empirical Comparison of Instance Attribution Methods for NLP [62.63504976810927]
本研究は,トレーニングサンプルの重要性に関して,異なるインスタンス属性が一致した度合いを評価する。
単純な検索メソッドは、グラデーションベースの方法によって識別されたものと異なるトレーニングインスタンスを生成する。
論文 参考訳（メタデータ） (2021-04-09T01:03:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。