論文の概要: Scrutinizing XAI using linear ground-truth data with suppressor variables

• arxiv url: http://arxiv.org/abs/2111.07473v1
• Date: Sun, 14 Nov 2021 23:02:02 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-16 13:22:22.229777
• Title: Scrutinizing XAI using linear ground-truth data with suppressor variables
• Title（参考訳）: サプレッサー変数を用いた線形地中データを用いたxaiの精査
• Authors: Rick Wilming, C\'eline Budding, Klaus-Robert M\"uller, Stefan Haufe
• Abstract要約: 重要度」の指標による入力特徴のランク付け方法 予測対象(圧力変数)と統計的に無関係な特徴を強調できるサリエンシ法が存在することが実証されている。
• 参考スコア（独自算出の注目度）: 1.1470070927586016
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Machine learning (ML) is increasingly often used to inform high-stakes decisions. As complex ML models (e.g., deep neural networks) are often considered black boxes, a wealth of procedures has been developed to shed light on their inner workings and the ways in which their predictions come about, defining the field of 'explainable AI' (XAI). Saliency methods rank input features according to some measure of 'importance'. Such methods are difficult to validate since a formal definition of feature importance is, thus far, lacking. It has been demonstrated that some saliency methods can highlight features that have no statistical association with the prediction target (suppressor variables). To avoid misinterpretations due to such behavior, we propose the actual presence of such an association as a necessary condition and objective preliminary definition for feature importance. We carefully crafted a ground-truth dataset in which all statistical dependencies are well-defined and linear, serving as a benchmark to study the problem of suppressor variables. We evaluate common explanation methods including LRP, DTD, PatternNet, PatternAttribution, LIME, Anchors, SHAP, and permutation-based methods with respect to our objective definition. We show that most of these methods are unable to distinguish important features from suppressors in this setting.
• Abstract（参考訳）: 機械学習(ML)は、高い意思決定を伝えるために使われることが多い。 複雑なMLモデル(例えば、ディープニューラルネットワーク)はブラックボックスと見なされることが多いため、内部の動作や予測の方法に光を当てるための豊富な手順が開発され、"説明可能なAI"(XAI)の分野を定義している。 衛生手法は「重要」の指標によって入力特徴をランク付けする。 このような手法は、機能の重要性の正式な定義が欠如しているため、検証が難しい。 予測対象(圧力変数)と統計的に無関係な特徴を強調できるサリエンシ法が存在することが実証されている。 このような振る舞いによる誤解を避けるために,このような関連の存在を必要条件として,特徴量に対する客観的な予備定義として提案する。 我々は、全ての統計依存が十分に定義され線形である基底データセットを慎重に作成し、抑圧変数の問題を研究するためのベンチマークとして機能した。 目的の定義に関して, lrp, dtd, patternnet, patternattribution, lime, anchors, shap, and permutation-based methodsなどの一般的な説明法を評価した。 これらの手法のほとんどは,この設定において重要な特徴と抑制要因を区別できないことを示す。

関連論文リスト

• Explainable AI needs formal notions of explanation correctness [2.1309989863595677]
  医学のような重要な分野における機械学習はリスクをもたらし、規制を必要とする。 1つの要件は、リスクの高いアプリケーションにおけるMLシステムの決定は、人間に理解可能なものであるべきです。 現在の形式では、XAIはMLの品質管理に不適であり、それ自体は精査が必要である。
  論文  参考訳（メタデータ） (2024-09-22T20:47:04Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• LoRA-Ensemble: Efficient Uncertainty Modelling for Self-attention Networks [52.46420522934253]
  本稿では,自己注意ネットワークのためのパラメータ効率の高いディープアンサンブル手法であるLoRA-Ensembleを紹介する。 全メンバー間で重みを共有できる1つの事前学習型自己注意ネットワークを利用することで、注意投影のために、メンバー固有の低ランク行列を訓練する。 提案手法は明示的なアンサンブルよりも優れたキャリブレーションを示し,様々な予測タスクやデータセットに対して類似あるいは良好な精度を実現する。
  論文  参考訳（メタデータ） (2024-05-23T11:10:32Z)
• XAL: EXplainable Active Learning Makes Classifiers Better Low-resource Learners [71.8257151788923]
  低リソーステキスト分類のための新しい説明可能なアクティブラーニングフレームワーク(XAL)を提案する。 XALは分類器に対して、推論を正当化し、合理的な説明ができないラベルのないデータを掘り下げることを推奨している。 6つのデータセットの実験では、XALは9つの強いベースラインに対して一貫した改善を達成している。
  論文  参考訳（メタデータ） (2023-10-09T08:07:04Z)
• CLIMAX: An exploration of Classifier-Based Contrastive Explanations [5.381004207943597]
  我々は,ブラックボックスの分類を正当化する対照的な説明を提供する,ポストホックモデルXAI手法を提案する。 CLIMAXと呼ばれる手法は,局所的な分類法に基づく。 LIME, BayLIME, SLIMEなどのベースラインと比較して, 一貫性が向上することを示す。
  論文  参考訳（メタデータ） (2023-07-02T22:52:58Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• Interpretability at Scale: Identifying Causal Mechanisms in Alpaca [62.65877150123775]
  本研究では、Boundless DASを用いて、命令に従う間、大規模言語モデルにおける解釈可能な因果構造を効率的に探索する。 私たちの発見は、成長し、最も広くデプロイされている言語モデルの内部構造を忠実に理解するための第一歩です。
  論文  参考訳（メタデータ） (2023-05-15T17:15:40Z)
• BASED-XAI: Breaking Ablation Studies Down for Explainable Artificial Intelligence [1.2948254191169823]
  様々な摂動が、潜在的に欠陥のある結論を避けるのにどのように役立つかを示す。 また,ホック後の説明可能性とアブレーション研究において,カテゴリー変数の扱いが重要であることも明らかにした。
  論文  参考訳（メタデータ） (2022-07-12T14:38:37Z)
• Overcoming the curse of dimensionality with Laplacian regularization in semi-supervised learning [80.20302993614594]
  ラプラシア正規化の欠点を克服するための統計的解析を提供する。 望ましい振る舞いを示すスペクトルフィルタリング法を多数発表する。 我々は,本手法を大量のデータで利用できるようにするために,現実的な計算ガイドラインを提供する。
  論文  参考訳（メタデータ） (2020-09-09T14:28:54Z)
• Explaining Predictions by Approximating the Local Decision Boundary [3.60160227126201]
  局所決定境界近似(DBA)の新しい手法を提案する。 我々は変分オートエンコーダを訓練し、符号化されたデータ表現のユークリッド潜在空間を学習する。 我々は属性アノテーションを利用して、潜在空間をユーザにとって意味のある属性にマッピングします。
  論文  参考訳（メタデータ） (2020-06-14T19:12:42Z)
• Post-hoc explanation of black-box classifiers using confident itemsets [12.323983512532651]
  ブラックボックス人工知能(AI)法は予測モデルの構築に広く利用されている。 内部動作や決定ロジックがユーザから隠されているため,そのような方法による決定を信頼することは困難である。
  論文  参考訳（メタデータ） (2020-05-05T08:11:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。