論文の概要: The SVD of Convolutional Weights: A CNN Interpretability Framework
- arxiv url: http://arxiv.org/abs/2208.06894v1
- Date: Sun, 14 Aug 2022 18:23:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-16 12:56:10.425423
- Title: The SVD of Convolutional Weights: A CNN Interpretability Framework
- Title（参考訳）: 畳み込み重みのSVD:CNN解釈可能性フレームワーク
- Authors: Brenda Praggastis, Davis Brown, Carlos Ortiz Marrero, Emilie Purvine,
Madelyn Shapiro, and Bei Wang
- Abstract要約: 本稿では,ハイパーグラフを用いてクラス分離をモデル化する手法を提案する。
ネットワークを説明するためにアクティベーションを見るのではなく、各線形層に対して最大の対応する特異値を持つ特異ベクトルを用いて、ネットワークにとって最も重要な特徴を識別する。
- 参考スコア（独自算出の注目度）: 3.5783190448496343
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep neural networks used for image classification often use convolutional
filters to extract distinguishing features before passing them to a linear
classifier. Most interpretability literature focuses on providing semantic
meaning to convolutional filters to explain a model's reasoning process and
confirm its use of relevant information from the input domain. Fully connected
layers can be studied by decomposing their weight matrices using a singular
value decomposition, in effect studying the correlations between the rows in
each matrix to discover the dynamics of the map. In this work we define a
singular value decomposition for the weight tensor of a convolutional layer,
which provides an analogous understanding of the correlations between filters,
exposing the dynamics of the convolutional map. We validate our definition
using recent results in random matrix theory. By applying the decomposition
across the linear layers of an image classification network we suggest a
framework against which interpretability methods might be applied using
hypergraphs to model class separation. Rather than looking to the activations
to explain the network, we use the singular vectors with the greatest
corresponding singular values for each linear layer to identify those features
most important to the network. We illustrate our approach with examples and
introduce the DeepDataProfiler library, the analysis tool used for this study.
- Abstract（参考訳）: 画像分類に用いられるディープニューラルネットワークは、線形分類器に渡す前に特徴を識別するために畳み込みフィルタを使用することが多い。
ほとんどの解釈可能性文献は、モデルの推論プロセスを説明し、入力ドメインから関連する情報の使用を確認するために畳み込みフィルタに意味的意味を提供することに焦点を当てている。
完全連結層は、特異値分解を用いて重み行列を分解し、マップのダイナミクスを発見するために各行列の行間の相関を研究することで研究することができる。
本研究では、畳み込み層の重み付けテンソルに対する特異値分解を定義し、畳み込み写像のダイナミックスを明らかにすることにより、フィルタ間の相関の類似した理解を提供する。
我々はランダム行列理論の最近の結果を用いて定義を検証する。
画像分類ネットワークの線形層に分解を適用することにより,ハイパーグラフを用いた解釈可能性手法をモデルクラス分離に適用可能なフレームワークを提案する。
ネットワークを説明するためにアクティベーションを見るのではなく、各線形層に対して最大の対応する特異値を持つ特異ベクトルを用いて、ネットワークにとって最も重要な特徴を識別する。
本稿では,本研究に使用する分析ツールであるdeepdataprofilerライブラリを例示して紹介する。
関連論文リスト
- Linking in Style: Understanding learned features in deep learning models [0.0]
畳み込みニューラルネットワーク(CNN)は抽象的な特徴を学び、オブジェクト分類を行う。
本稿では,CNNにおける学習特徴を可視化し,体系的に解析する自動手法を提案する。
論文 参考訳（メタデータ） (2024-09-25T12:28:48Z) - Classification of Buried Objects from Ground Penetrating Radar Images by using Second Order Deep Learning Models [3.332733725674752]
埋蔵物を分類するために,共分散行列に基づく新しい分類モデルを構築した。
提案手法はGPRデータ用に設計された浅層ネットワークよりも優れていることを示す。
また、異なる気象モードや考慮事項から、トレーニングデータとテストセットが得られた場合のモデルの関心についても説明する。
論文 参考訳（メタデータ） (2024-09-20T08:42:30Z) - A Library of Mirrors: Deep Neural Nets in Low Dimensions are Convex Lasso Models with Reflection Features [54.83898311047626]
2層から有限層まで線形に活性化するニューラルネットワークについて検討する。
まず, 分岐深さの離散辞書を用いたLassoモデルについて検討した。
論文 参考訳（メタデータ） (2024-03-02T00:33:45Z) - Deciphering 'What' and 'Where' Visual Pathways from Spectral Clustering of Layer-Distributed Neural Representations [15.59251297818324]
本稿では,ニューラルネットワークのアクティベーションに含まれる情報をグループ化する手法を提案する。
すべてのレイヤの機能を利用して、モデルのどの部分が関連する情報を含んでいるのかを推測する必要をなくします。
論文 参考訳（メタデータ） (2023-12-11T01:20:34Z) - Hodge-Aware Contrastive Learning [101.56637264703058]
単純コンプレックスは、マルチウェイ依存によるデータのモデリングに有効である。
我々は、単純なデータを処理するための対照的な自己教師付き学習手法を開発した。
論文 参考訳（メタデータ） (2023-09-14T00:40:07Z) - Hidden Classification Layers: Enhancing linear separability between
classes in neural networks layers [0.0]
トレーニング手法の深層ネットワーク性能への影響について検討する。
本稿では,全てのネットワークレイヤの出力を含むエラー関数を誘導するニューラルネットワークアーキテクチャを提案する。
論文 参考訳（メタデータ） (2023-06-09T10:52:49Z) - Extracting Semantic Knowledge from GANs with Unsupervised Learning [65.32631025780631]
GAN(Generative Adversarial Networks)は、特徴写像のセマンティクスを線形に分離可能な形でエンコードする。
本稿では,線形分離性を利用してGANの特徴をクラスタリングする新しいクラスタリングアルゴリズムKLiSHを提案する。
KLiSHは、さまざまなオブジェクトのデータセットに基づいてトレーニングされたGANのきめ細かいセマンティクスの抽出に成功している。
論文 参考訳（メタデータ） (2022-11-30T03:18:16Z) - Graph Polynomial Convolution Models for Node Classification of
Non-Homophilous Graphs [52.52570805621925]
本研究では,高階グラフ畳み込みからの効率的な学習と,ノード分類のための隣接行列から直接学習する。
得られたモデルが新しいグラフと残留スケーリングパラメータをもたらすことを示す。
提案手法は,非親和性パラメータのノード分類における精度の向上を実証する。
論文 参考訳（メタデータ） (2022-09-12T04:46:55Z) - Graph Kernel Neural Networks [53.91024360329517]
本稿では、グラフ上の内部積を計算するカーネル関数であるグラフカーネルを用いて、標準畳み込み演算子をグラフ領域に拡張することを提案する。
これにより、入力グラフの埋め込みを計算する必要のない完全に構造的なモデルを定義することができる。
私たちのアーキテクチャでは,任意の種類のグラフカーネルをプラグインすることが可能です。
論文 参考訳（メタデータ） (2021-12-14T14:48:08Z) - Interpreting intermediate convolutional layers in unsupervised acoustic
word classification [0.0]
本稿では、教師なし深層畳み込みニューラルネットワークの中間層を可視化し、解釈する手法を提案する。
GANベースのアーキテクチャ(ciwGAN arXiv:2006.02951)はTIMITの未ラベルのスライスされた語彙で訓練された。
論文 参考訳（メタデータ） (2021-10-05T21:53:32Z) - Eigendecomposition-Free Training of Deep Networks for Linear
Least-Square Problems [107.3868459697569]
我々は、ディープネットワークのトレーニングに固有分解のないアプローチを導入する。
この手法は固有分解の明示的な微分よりもはるかに堅牢であることを示す。
我々の手法は収束特性が良く、最先端の結果が得られます。
論文 参考訳（メタデータ） (2020-04-15T04:29:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。