論文の概要: Rethinking interpretation: Input-agnostic saliency mapping of deep
visual classifiers
- arxiv url: http://arxiv.org/abs/2303.17836v1
- Date: Fri, 31 Mar 2023 06:58:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-03 15:10:49.892168
- Title: Rethinking interpretation: Input-agnostic saliency mapping of deep
visual classifiers
- Title（参考訳）: 解釈の再考:深部視覚分類器の入力非依存性マッピング
- Authors: Naveed Akhtar, Mohammad A. A. K. Jalwana
- Abstract要約: Saliencyメソッドは、入力特徴をモデル出力に寄与させることで、ポストホックモデルの解釈を提供する。
入力特異性マッピングは本質的に誤解を招く特徴の帰属に影響を受けやすいことを示す。
本稿では,モデルが持つ高次特徴をその出力に対して計算的に推定する,入力非依存のサリエンシマッピングの新たな視点を紹介する。
- 参考スコア（独自算出の注目度）: 28.28834523468462
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Saliency methods provide post-hoc model interpretation by attributing input
features to the model outputs. Current methods mainly achieve this using a
single input sample, thereby failing to answer input-independent inquiries
about the model. We also show that input-specific saliency mapping is
intrinsically susceptible to misleading feature attribution. Current attempts
to use 'general' input features for model interpretation assume access to a
dataset containing those features, which biases the interpretation. Addressing
the gap, we introduce a new perspective of input-agnostic saliency mapping that
computationally estimates the high-level features attributed by the model to
its outputs. These features are geometrically correlated, and are computed by
accumulating model's gradient information with respect to an unrestricted data
distribution. To compute these features, we nudge independent data points over
the model loss surface towards the local minima associated by a
human-understandable concept, e.g., class label for classifiers. With a
systematic projection, scaling and refinement process, this information is
transformed into an interpretable visualization without compromising its
model-fidelity. The visualization serves as a stand-alone qualitative
interpretation. With an extensive evaluation, we not only demonstrate
successful visualizations for a variety of concepts for large-scale models, but
also showcase an interesting utility of this new form of saliency mapping by
identifying backdoor signatures in compromised classifiers.
- Abstract（参考訳）: saliencyメソッドは、入力特徴をモデル出力に関連付けることで、hocモデル解釈を提供する。
現在の方法は、主に単一の入力サンプルを使用してこれを達成するため、モデルに関する入力非依存の問い合わせに答えられない。
また,入力特化唾液度マッピングは,誤帰的特徴帰属の影響を受けやすいことを示した。
現在、モデル解釈に「一般的な」入力機能を使用する試みでは、これらの特徴を含むデータセットへのアクセスを想定している。
そこで本研究では,モデルが出力にもたらした高レベル特徴を計算的に推定する,入力非依存なサリエンシーマッピングの新たな視点を提案する。
これらの特徴は幾何学的に相関しており、非制限データ分布に関するモデルの勾配情報を蓄積することで計算される。
これらの特徴を計算するために、モデル損失面上の独立したデータポイントを、人間が理解可能な概念(例えば分類器のクラスラベル)に関連付けられたローカルミニマに向けて取得する。
体系的なプロジェクション、スケーリング、リファインメントのプロセスでは、この情報はモデル忠実性を損なうことなく、解釈可能な視覚化に変換されます。
可視化は独立した定性解釈として機能する。
広範囲な評価を行ない,大規模モデルにおける様々な概念の可視化を成功させるだけでなく,漏洩した分類器のバックドアシグネチャを識別することで,この新たな形のサリエンシマッピングの興味深い有用性を示す。
関連論文リスト
- Interpretable Network Visualizations: A Human-in-the-Loop Approach for Post-hoc Explainability of CNN-based Image Classification [5.087579454836169]
State-of-the-art explainability Method は、特定のクラスが特定された場所を示すために、サリエンシマップを生成する。
本稿では,畳み込みニューラルネットワークの機能抽出プロセス全体を説明するポストホック手法を提案する。
また,複数の画像にラベルを集約することで,グローバルな説明を生成する手法を提案する。
論文 参考訳（メタデータ） (2024-05-06T09:21:35Z) - Prospector Heads: Generalized Feature Attribution for Large Models & Data [82.02696069543454]
本稿では,説明に基づく帰属手法の効率的かつ解釈可能な代替手段であるプロスペクタヘッドを紹介する。
入力データにおけるクラス固有のパターンの解釈と発見を、プロファイラヘッドがいかに改善できるかを実証する。
論文 参考訳（メタデータ） (2024-02-18T23:01:28Z) - Generalizing Backpropagation for Gradient-Based Interpretability [103.2998254573497]
モデルの勾配は、半環を用いたより一般的な定式化の特別な場合であることを示す。
この観測により、バックプロパゲーションアルゴリズムを一般化し、他の解釈可能な統計を効率的に計算することができる。
論文 参考訳（メタデータ） (2023-07-06T15:19:53Z) - ChiroDiff: Modelling chirographic data with Diffusion Models [132.5223191478268]
チャーログラフィーデータのための強力なモデルクラスである「拡散確率モデル(Denoising Diffusion Probabilistic Models)」やDDPMを導入している。
我々のモデルは「ChiroDiff」と呼ばれ、非自己回帰的であり、全体論的概念を捉えることを学び、したがって高い時間的サンプリングレートに回復する。
論文 参考訳（メタデータ） (2023-04-07T15:17:48Z) - Learning Debiased and Disentangled Representations for Semantic
Segmentation [52.35766945827972]
セマンティックセグメンテーションのためのモデルに依存しない訓練手法を提案する。
各トレーニングイテレーションで特定のクラス情報をランダムに除去することにより、クラス間の機能依存を効果的に削減する。
提案手法で訓練したモデルは,複数のセマンティックセグメンテーションベンチマークにおいて強い結果を示す。
論文 参考訳（メタデータ） (2021-10-31T16:15:09Z) - Towards Open-World Feature Extrapolation: An Inductive Graph Learning
Approach [80.8446673089281]
グラフ表現と学習を伴う新しい学習パラダイムを提案する。
本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
論文 参考訳（メタデータ） (2021-10-09T09:02:45Z) - Shared Interest: Large-Scale Visual Analysis of Model Behavior by
Measuring Human-AI Alignment [15.993648423884466]
健全性(Saliency)は、モデル出力における入力特徴の重要性を特定する技術である。
共有興味:人間の注釈付き真実と唾液度を比較するための指標のセットを提示する。
モデルの信頼性に対する信頼を急速に発展または失うために、Shared Interestがどのように使用できるかを示す。
論文 参考訳（メタデータ） (2021-07-20T02:44:39Z) - Building Reliable Explanations of Unreliable Neural Networks: Locally
Smoothing Perspective of Model Interpretation [0.0]
本稿では,ニューラルネットワークの予測を確実に説明するための新しい手法を提案する。
本手法は,モデル予測の損失関数における平滑な景観の仮定に基づいて構築される。
論文 参考訳（メタデータ） (2021-03-26T08:52:11Z) - A Framework to Learn with Interpretation [2.3741312212138896]
本稿では,予測モデルとその関連解釈モデルを共同で学習する新しい枠組みを提案する。
我々は,選択した隠れ層の出力を入力として取り込む,高レベル属性関数の小型辞書を求める。
学習した機能を視覚化する詳細なパイプラインも開発されている。
論文 参考訳（メタデータ） (2020-10-19T09:26:28Z) - Out-of-distribution Generalization via Partial Feature Decorrelation [72.96261704851683]
本稿では,特徴分解ネットワークと対象画像分類モデルとを協調的に最適化する,PFDL(Partial Feature Deorrelation Learning)アルゴリズムを提案する。
実世界のデータセットを用いた実験により,OOD画像分類データセットにおけるバックボーンモデルの精度が向上することを示した。
論文 参考訳（メタデータ） (2020-07-30T05:48:48Z) - Adversarial Infidelity Learning for Model Interpretation [43.37354056251584]
本稿では,モデル解釈のためのモデル非依存能率直接(MEED)FSフレームワークを提案する。
我々のフレームワークは、正当性、ショートカット、モデルの識別可能性、情報伝達に関する懸念を緩和する。
我々のAILメカニズムは、選択した特徴と目標の間の条件分布を学習するのに役立ちます。
論文 参考訳（メタデータ） (2020-06-09T16:27:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。