論文の概要: The Manifold Hypothesis for Gradient-Based Explanations
- arxiv url: http://arxiv.org/abs/2206.07387v1
- Date: Wed, 15 Jun 2022 08:49:24 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-16 13:26:36.336285
- Title: The Manifold Hypothesis for Gradient-Based Explanations
- Title(参考訳): 勾配に基づく説明のためのマニフォールド仮説
- Authors: Sebastian Bordt, Uddeshya Upadhyay, Zeynep Akata, Ulrike von Luxburg
- Abstract要約: 勾配に基づく説明アルゴリズムは意味のある説明を提供する。
特徴属性がデータの接空間と一致すればなるほど、構造的かつ説明的になりがちであることを示す。
部分的には、敵対的なトレーニングによって達成できるため、すべてのデータセットの整合性が向上する。
- 参考スコア(独自算出の注目度): 47.51736323833013
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: When do gradient-based explanation algorithms provide meaningful
explanations? We propose a necessary criterion: their feature attributions need
to be aligned with the tangent space of the data manifold. To provide evidence
for this hypothesis, we introduce a framework based on variational autoencoders
that allows to estimate and generate image manifolds. Through experiments
across a range of different datasets -- MNIST, EMNIST, CIFAR10, X-ray pneumonia
and Diabetic Retinopathy detection -- we demonstrate that the more a feature
attribution is aligned with the tangent space of the data, the more structured
and explanatory it tends to be. In particular, the attributions provided by
popular post-hoc methods such as Integrated Gradients, SmoothGrad and Input
$\times$ Gradient tend to be more strongly aligned with the data manifold than
the raw gradient. As a consequence, we suggest that explanation algorithms
should actively strive to align their explanations with the data manifold. In
part, this can be achieved by adversarial training, which leads to better
alignment across all datasets. Some form of adjustment to the model
architecture or training algorithm is necessary, since we show that
generalization of neural networks alone does not imply the alignment of model
gradients with the data manifold.
- Abstract(参考訳): 勾配に基づく説明アルゴリズムはいつ意味のある説明を与えるのか?
それらの特徴の帰属はデータ多様体の接空間と一致する必要がある。
この仮説の証拠を提供するため、変動オートエンコーダに基づく枠組みを導入し、画像多様体を推定し生成する。
さまざまなデータセット(MNIST、EMNIST、CIFAR10、X線肺炎、糖尿病網膜症検出)にわたる実験を通じて、特徴属性がデータの接点空間と一致している場合、より構造化され説明される傾向にあることを示す。
特に、Integrated Gradients、SmoothGrad、Input $\times$ Gradientといった一般的なポストホックメソッドによって提供される属性は、生の勾配よりもデータ多様体に強く適合する傾向にある。
その結果、説明アルゴリズムは、その説明とデータ多様体との整合を積極的に進めるべきである。
部分的には、敵対的なトレーニングによって達成できるため、すべてのデータセットの整合性が向上する。
モデルアーキテクチャやトレーニングアルゴリズムへの何らかの調整は、ニューラルネットワークの一般化だけでは、モデル勾配とデータ多様体のアライメントを含まないことを示すため必要である。
関連論文リスト
- Learning to Approximate Adaptive Kernel Convolution on Graphs [4.434835769977399]
本稿では,拡散カーネルのスケールによって特徴集約の範囲を制御できる拡散学習フレームワークを提案する。
本モデルは,最先端データセットの性能評価のためのノードワイズ分類のための様々な標準で検証されている。
グラフ分類のための実世界の脳ネットワークデータにも検証され、アルツハイマー分類の実用性を実証している。
論文 参考訳(メタデータ) (2024-01-22T10:57:11Z) - Improving embedding of graphs with missing data by soft manifolds [51.425411400683565]
グラフ埋め込みの信頼性は、連続空間の幾何がグラフ構造とどの程度一致しているかに依存する。
我々は、この問題を解決することができる、ソフト多様体と呼ばれる新しい多様体のクラスを導入する。
グラフ埋め込みにソフト多様体を用いることで、複雑なデータセット上のデータ解析における任意のタスクを追求するための連続空間を提供できる。
論文 参考訳(メタデータ) (2023-11-29T12:48:33Z) - Geometrically Aligned Transfer Encoder for Inductive Transfer in
Regression Tasks [5.038936775643437]
微分幾何学に基づく新しい移動法,すなわち幾何学的配向変換(GATE)を提案する。
すべての任意の点が重なり合う領域の局所平坦な座標に写像されることを保証するために、タスクのペア間の適切な微分同相性を見つけ、ソースからターゲットデータへの知識の伝達を可能にする。
GATEは従来の手法より優れ、様々な分子グラフデータセットの潜伏空間と外挿領域の両方で安定した振る舞いを示す。
論文 参考訳(メタデータ) (2023-10-10T07:11:25Z) - Gradient-Based Feature Learning under Structured Data [57.76552698981579]
異方性設定では、一般的に使用される球面勾配力学は真の方向を回復できないことがある。
バッチ正規化を連想させる適切な重み正規化は、この問題を軽減することができることを示す。
特に、スパイクモデルの下では、勾配に基づくトレーニングのサンプルの複雑さは情報指数とは独立にできる。
論文 参考訳(メタデータ) (2023-09-07T16:55:50Z) - Multi-Linear Kernel Regression and Imputation in Data Manifolds [12.15802365851407]
本稿では、データ回帰とインプットのための効率的なマルチ線形非パラメトリック近似フレームワークとその動的磁気共鳴イメージング(dMRI)への応用について紹介する。
データ特徴は、ヒルベルト空間を再現するカーネルに埋め込まれた滑らかな多様体に、あるいは近くに存在すると仮定される。ランドマーク点は、接空間の概念を滑らかに模倣する線形近似パッチにより、特徴の点雲を記述するために特定される。
マルチ線形モデルは次元の削減に影響を及ぼし、効率的な計算を可能にし、トレーニングデータや追加情報なしでデータパターンとその幾何学を抽出する。
論文 参考訳(メタデータ) (2023-04-06T12:58:52Z) - Convolutional Filtering on Sampled Manifolds [122.06927400759021]
サンプル多様体上の畳み込みフィルタリングは連続多様体フィルタリングに収束することを示す。
本研究は,ナビゲーション制御の問題点を実証的に明らかにした。
論文 参考訳(メタデータ) (2022-11-20T19:09:50Z) - Inferring Manifolds From Noisy Data Using Gaussian Processes [15.54399517426726]
ほとんどの既存の多様体学習アルゴリズムは、元のデータを低次元座標で置き換える。
本稿では,これらの問題に対処するための新しい手法を提案する。
論文 参考訳(メタデータ) (2021-10-14T15:50:38Z) - Hyperbolic Graph Embedding with Enhanced Semi-Implicit Variational
Inference [48.63194907060615]
半単純グラフ変分自動エンコーダを用いて,低次元グラフ潜在表現における高次統計量を取得する。
我々は、階層構造を示すグラフを効率的に表現するために、ポインケア埋め込みを通して潜在空間に双曲幾何学を組み込む。
論文 参考訳(メタデータ) (2020-10-31T05:48:34Z) - Graph Embedding with Data Uncertainty [113.39838145450007]
スペクトルベースのサブスペース学習は、多くの機械学習パイプラインにおいて、一般的なデータ前処理ステップである。
ほとんどの部分空間学習法は、不確実性の高いデータにつながる可能性のある測定の不正確さやアーティファクトを考慮していない。
論文 参考訳(メタデータ) (2020-09-01T15:08:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。