論文の概要: Where do Models go Wrong? Parameter-Space Saliency Maps for Explainability

• arxiv url: http://arxiv.org/abs/2108.01335v1
• Date: Tue, 3 Aug 2021 07:32:34 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-04 14:06:22.686266
• Title: Where do Models go Wrong? Parameter-Space Saliency Maps for Explainability
• Title（参考訳）: モデルはどこへ行くのか? 説明可能性のためのパラメータ空間塩分マップ
• Authors: Roman Levin, Manli Shu, Eitan Borgnia, Furong Huang, Micah Goldblum, Tom Goldstein
• Abstract要約: 私たちは、入力ではなく、ネットワークパラメータを識別し分析する、サリエンシに対する別のアプローチを取ります。 類似したパラメータを誤動作させるサンプルが意味的に類似していることが判明した。 また、間違った分類されたサンプルに対して最も健全なパラメータをプルーニングすることは、しばしばモデルの振る舞いを改善することを示す。
• 参考スコア（独自算出の注目度）: 47.18202269163001
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Conventional saliency maps highlight input features to which neural network predictions are highly sensitive. We take a different approach to saliency, in which we identify and analyze the network parameters, rather than inputs, which are responsible for erroneous decisions. We find that samples which cause similar parameters to malfunction are semantically similar. We also show that pruning the most salient parameters for a wrongly classified sample often improves model behavior. Furthermore, fine-tuning a small number of the most salient parameters on a single sample results in error correction on other samples that are misclassified for similar reasons. Based on our parameter saliency method, we also introduce an input-space saliency technique that reveals how image features cause specific network components to malfunction. Further, we rigorously validate the meaningfulness of our saliency maps on both the dataset and case-study levels.
• Abstract（参考訳）: 従来のサリエンシーマップは、ニューラルネットワークの予測が高感度な入力特徴を強調している。 私たちは、ネットワークパラメータを入力ではなく識別し、分析し、誤った決定に責任を負うという、サリエンシーに対する別のアプローチを取ります。 類似したパラメータを誤動作させるサンプルは意味的に類似していることがわかった。 また、間違った分類されたサンプルに対して最も健全なパラメータをプルーニングすることは、しばしばモデルの振る舞いを改善することを示す。 さらに、1つのサンプルで最も有望なパラメータを微調整すると、同様の理由で誤分類された他のサンプルでエラー訂正が行われる。 提案手法では,画像特徴がどのように特定のネットワークコンポーネントの動作不良を引き起こすかを明らかにするインプットスペースサリエンシー手法も導入する。 さらに、データセットとケーススタディレベルの両方において、サリエンシマップの意義を厳格に検証する。

関連論文リスト

• Quantifying lottery tickets under label noise: accuracy, calibration, and complexity [6.232071870655069]
  ディープニューラルネットワークのプルーニングは、機械学習の計算負担を軽減するために広く利用されている戦略である。 スパース二重降下法を用いて一意的に同定し,分類タスクに付随するプルーンドモデルを特徴付ける。
  論文  参考訳（メタデータ） (2023-06-21T11:35:59Z)
• Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
  ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。 提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。 我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
  論文  参考訳（メタデータ） (2022-09-26T17:59:58Z)
• Classification and Adversarial examples in an Overparameterized Linear Model: A Signal Processing Perspective [10.515544361834241]
  最先端のディープラーニング分類器は、無限の逆境摂動に非常に敏感である。 学習されたモデルは、分類が一般化するが回帰はしない中間体制の敵に感受性がある。 敵対的感受性にもかかわらず、これらの特徴による分類は、より一般的に研究されている「非依存的特徴」モデルよりも容易である。
  論文  参考訳（メタデータ） (2021-09-27T17:35:42Z)
• Training on Test Data with Bayesian Adaptation for Covariate Shift [96.3250517412545]
  ディープニューラルネットワークは、信頼できない不確実性推定で不正確な予測を行うことが多い。 分布シフトの下でのラベルなし入力とモデルパラメータとの明確に定義された関係を提供するベイズモデルを導出する。 本手法は精度と不確実性の両方を向上することを示す。
  論文  参考訳（メタデータ） (2021-09-27T01:09:08Z)
• Predicting Unreliable Predictions by Shattering a Neural Network [145.3823991041987]
  線形ニューラルネットワークは、サブファンクションに分割することができる。 サブファンクションは、独自のアクティベーションパターン、ドメイン、経験的エラーを持っている。 完全なネットワークに対する経験的エラーは、サブファンクションに対する期待として記述できる。
  論文  参考訳（メタデータ） (2021-06-15T18:34:41Z)
• Investigating sanity checks for saliency maps with image and text classification [1.836681984330549]
  サリエンシマップは、特に画像の文脈でモデル予測を説明するのに有用であり、誤解を招くものであることが示されている。 本研究では, 類似度スコア, 最大感度, 不忠実度評価指標を用いて, 入力乗数の影響を解析した。
  論文  参考訳（メタデータ） (2021-06-08T23:23:42Z)
• Toward Scalable and Unified Example-based Explanation and Outlier Detection [128.23117182137418]
  我々は,試行錯誤の予測に例ベースの説明を与えることのできる,プロトタイプベースの学生ネットワークのより広範な採用を論じる。 類似カーネル以外のプロトタイプベースのネットワークは,分類精度を損なうことなく,有意義な説明と有望な外乱検出結果が得られることを示す。
  論文  参考訳（メタデータ） (2020-11-11T05:58:17Z)
• An Investigation of Why Overparameterization Exacerbates Spurious Correlations [98.3066727301239]
  この動作を駆動するトレーニングデータの2つの重要な特性を特定します。 モデルの"記憶"に対する帰納的バイアスが,パラメータ化の超過を損なう可能性を示す。
  論文  参考訳（メタデータ） (2020-05-09T01:59:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。