論文の概要: Subspace Clustering Based Analysis of Neural Networks
- arxiv url: http://arxiv.org/abs/2107.01296v1
- Date: Fri, 2 Jul 2021 22:46:40 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-07 11:50:32.434584
- Title: Subspace Clustering Based Analysis of Neural Networks
- Title（参考訳）: ニューラルネットワークのサブスペースクラスタリングに基づく解析
- Authors: Uday Singh Saini, Pravallika Devineni, Evangelos E. Papalexakis
- Abstract要約: 入力セット上でトレーニングされたニューラルネットワーク層の潜在構造から親和性グラフを学習する。
次に、コミュニティ検出のツールを使用して、入力に存在する構造を定量化します。
ネットワークの最終畳み込み層の学習親和性グラフを解析し、入力の局所的近傍がネットワークによる分類にどのように影響するかを示す。
- 参考スコア（独自算出の注目度）: 7.451579925406617
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Tools to analyze the latent space of deep neural networks provide a step
towards better understanding them. In this work, we motivate sparse subspace
clustering (SSC) with an aim to learn affinity graphs from the latent structure
of a given neural network layer trained over a set of inputs. We then use tools
from Community Detection to quantify structures present in the input. These
experiments reveal that as we go deeper in a network, inputs tend to have an
increasing affinity to other inputs of the same class. Subsequently, we utilise
matrix similarity measures to perform layer-wise comparisons between affinity
graphs. In doing so we first demonstrate that when comparing a given layer
currently under training to its final state, the shallower the layer of the
network, the quicker it is to converge than the deeper layers. When performing
a pairwise analysis of the entire network architecture, we observe that, as the
network increases in size, it reorganises from a state where each layer is
moderately similar to its neighbours, to a state where layers within a block
have high similarity than to layers in other blocks. Finally, we analyze the
learned affinity graphs of the final convolutional layer of the network and
demonstrate how an input's local neighbourhood affects its classification by
the network.
- Abstract（参考訳）: ディープニューラルネットワークの潜在空間を分析するツールは、それらを理解するためのステップを提供する。
本研究では,入力セット上で訓練されたニューラルネットワーク層の潜在構造から親和性グラフを学習することを目的として,スパース部分空間クラスタリング(ssc)の動機付けを行う。
次に、コミュニティ検出のツールを使用して、入力に存在する構造を定量化する。
これらの実験は、ネットワークの奥深くに進むにつれて、入力は同じクラスの他の入力と親和性が高まる傾向があることを示しています。
次に,アフィニティグラフ間の層間比較を行うために,行列類似度尺度を利用する。
そうすることで、我々はまず、トレーニング中のある層を最終状態と比較すると、ネットワークの層が浅いほど、より深い層よりも収束が早いことを実証する。
ネットワークアーキテクチャ全体のペアワイズ分析を行う場合、ネットワークのサイズが大きくなるにつれて、各レイヤが隣のレイヤと適度に類似している状態から、ブロック内のレイヤが他のブロックのレイヤと高い類似度を持つ状態へと再編成されるのが観察される。
最後に,ネットワークの最終畳み込み層の学習された親和性グラフを分析し,入力の局所的近傍がネットワークの分類にどのように影響するかを示す。
関連論文リスト
- Neural Collapse in the Intermediate Hidden Layers of Classification
Neural Networks [0.0]
(NC)は、分類ニューラルネットワークの最終的な隠蔽層におけるクラスの表現を正確に記述する。
本稿では,中間層におけるNCの出現を包括的に解析する。
論文 参考訳（メタデータ） (2023-08-05T01:19:38Z) - Rank Diminishing in Deep Neural Networks [71.03777954670323]
ニューラルネットワークのランクは、層をまたがる情報を測定する。
これは機械学習の幅広い領域にまたがる重要な構造条件の例である。
しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
論文 参考訳（メタデータ） (2022-06-13T12:03:32Z) - Similarity and Matching of Neural Network Representations [0.0]
我々は、深層ニューラルネットワークにおける表現の類似性を分析するために、Frankenstein博士と呼ばれるツールセットを使用します。
我々は、2つのトレーニングニューラルネットワークの与えられた層上でのアクティベーションを、縫合層で結合することで一致させることを目指している。
論文 参考訳（メタデータ） (2021-10-27T17:59:46Z) - Dive into Layers: Neural Network Capacity Bounding using Algebraic
Geometry [55.57953219617467]
ニューラルネットワークの学習性はそのサイズと直接関連していることを示す。
入力データとニューラルネットワークのトポロジ的幾何学的複雑さを測定するためにベッチ数を用いる。
実世界のデータセットMNISTで実験を行い、分析結果と結論を検証した。
論文 参考訳（メタデータ） (2021-09-03T11:45:51Z) - Hierarchical Graph Neural Networks [0.0]
本稿では,従来のニューラルネットワークとグラフニューラルネットワークアーキテクチャの点を結びつけることを目的とする。
従来の入力ネットワーク層を補助ネットワーク層の階層構造で補完する階層型グラフニューラルネットワークアーキテクチャを提案する。
これにより、個々のノードの特徴と集約されたネットワークの特徴を可変解像度で同時学習し、個々のノードの特徴学習の収束と安定性を改善することができる。
論文 参考訳（メタデータ） (2021-05-07T16:47:18Z) - Dynamic Graph: Learning Instance-aware Connectivity for Neural Networks [78.65792427542672]
動的グラフネットワーク(DG-Net)は完全な有向非巡回グラフであり、ノードは畳み込みブロックを表し、エッジは接続経路を表す。
ネットワークの同じパスを使用する代わりに、DG-Netは各ノードの機能を動的に集約する。
論文 参考訳（メタデータ） (2020-10-02T16:50:26Z) - On the use of local structural properties for improving the efficiency
of hierarchical community detection methods [77.34726150561087]
本研究では,階層型コミュニティ検出の効率向上のために,局所構造ネットワーク特性をプロキシとして利用する方法について検討する。
また,ネットワークプルーニングの性能への影響を,階層的コミュニティ検出をより効率的にするための補助的手法として検証する。
論文 参考訳（メタデータ） (2020-09-15T00:16:12Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳（メタデータ） (2020-08-19T04:53:31Z) - Locality Guided Neural Networks for Explainable Artificial Intelligence [12.435539489388708]
LGNN(Locality Guided Neural Network)と呼ばれる,バック伝搬のための新しいアルゴリズムを提案する。
LGNNはディープネットワークの各層内の隣接ニューロン間の局所性を保っている。
実験では,CIFAR100 上の画像分類のための様々な VGG と Wide ResNet (WRN) ネットワークを訓練した。
論文 参考訳（メタデータ） (2020-07-12T23:45:51Z) - A Multiscale Graph Convolutional Network Using Hierarchical Clustering [0.0]
マルチスケールの分解によってこの情報を活用する新しいアーキテクチャを探索する。
デンドログラムは、Girvan-Newman階層的クラスタリングアルゴリズムによって生成される。
アーキテクチャはベンチマーク引用ネットワーク上でテストされ、競合性能を実証する。
論文 参考訳（メタデータ） (2020-06-22T18:13:03Z) - Fitting the Search Space of Weight-sharing NAS with Graph Convolutional
Networks [100.14670789581811]
サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。
この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
論文 参考訳（メタデータ） (2020-04-17T19:12:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。