論文の概要: A topological approach to exploring convolutional neural networks
- arxiv url: http://arxiv.org/abs/2011.00789v1
- Date: Mon, 2 Nov 2020 07:37:31 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-30 11:20:15.279118
- Title: A topological approach to exploring convolutional neural networks
- Title（参考訳）: 畳み込みニューラルネットワークのトポロジカルアプローチ
- Authors: Yang Zhao and Hao Zhang
- Abstract要約: トポロジカルデータ解析を用いて2つのトピックを解釈する2つの理論的枠組みを提案する。
まず、CNNフィルタの本質を明らかにする。
2つ目は、モデルに依存しない方法でクラス間の区別可能性を調べることである。
- 参考スコア（独自算出の注目度）: 16.4654807047138
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Motivated by the elusive understanding concerning convolution neural networks
(CNNs) in view of topology, we present two theoretical frameworks to interpret
two topics by using topological data analysis. The first one reveals the
topological essence of CNN filters. Our theory first abstracts a topological
representation of how the features locate for a CNN filter, named feature
topology, and characterises it by defining the starting edge density. We reveal
a principle of CNN filters: tending to organize the feature topologies for the
same category, and thus propose the SED Distribution to statistically describe
such an organization. We demonstrate the effectiveness of CNN filters reflects
in the compactness of SED Distribution, and introduce filter entropy to measure
it. Remarkably, the variation of filter entropy during training reveals the
essence of CNN training: a filter-entropy-decrease process. Also, based on the
principle, we give a metric to assess the filter performance. The second one
investigates the inter-class distinguishability in a model-agnostic way. For
each class, we propose the MBC Distribution, a distribution that could
differentiate categories by characterising the intrinsic organization of the
given category. As for multi-classes, we introduce the category distance which
metricizes the distance between two categories, and moreover propose the CD
Matrix that comprehensively evaluates not just the distinguishability between
each two category pair but the distinguishable degree for each category.
Finally, our experiment results confirm our theories.
- Abstract（参考訳）: トポロジの観点からは,畳み込みニューラルネットワーク(CNN)に関する理解を深め,トポロジ的データ分析を用いて2つのトピックを解釈する理論的枠組みを提示する。
まず、cnnフィルタのトポロジカルな本質を明らかにする。
提案理論はまず,CNNフィルタにおける特徴位置のトポロジ的表現,特徴トポロジ(特徴トポロジ)を抽象化し,開始端密度を定義することによって特徴付ける。
我々は,CNNフィルタの原理を明らかにする。同じカテゴリの特徴トポロジを整理する傾向があるため,そのような組織を統計的に記述するSEDディストリビューションを提案する。
sed分布のコンパクト性におけるcnnフィルタの効果を実証し,それを測定するためにフィルタエントロピーを導入する。
注目すべきことに、トレーニング中のフィルタエントロピーの変化は、cnnトレーニングの本質であるフィルタエントロピー-デフレアーゼプロセスを明らかにする。
また,この原理に基づき,フィルタ性能を評価するための指標を与える。
第2の方法は、モデルに依存しない方法でクラス間識別性を調査する。
各クラスについて,与えられたカテゴリの固有構造を特徴付けることでカテゴリを区別できる分布であるmbc分布を提案する。
マルチクラスについては、2つのカテゴリ間の距離を測るカテゴリ距離を導入し、さらに、各カテゴリの区別可能性だけでなく、各カテゴリの区別可能な程度を総合的に評価するCD行列を提案する。
最後に、実験結果は我々の理論を裏付ける。
関連論文リスト
- Two-Phase Dynamics of Interactions Explains the Starting Point of a DNN Learning Over-Fitted Features [68.3512123520931]
深層ニューラルネットワーク(DNN)学習相互作用のダイナミクスについて検討する。
本稿では,DNNが2段階の相互作用を学習していることを明らかにする。
第1相は主に中位と高位の相互作用を罰し、第2相は徐々に増加する順序の相互作用を学習する。
論文 参考訳（メタデータ） (2024-05-16T17:13:25Z) - Deep Neural Networks via Complex Network Theory: a Perspective [3.1023851130450684]
ディープニューラルネットワーク(DNN)は、リンクと頂点が反復的にデータを処理し、タスクを亜最適に解くグラフとして表現することができる。複雑なネットワーク理論(CNT)は、統計物理学とグラフ理論を融合させ、その重みとニューロン構造を分析してニューラルネットワークを解釈する方法を提供する。
本研究では,DNNのトレーニング分布から抽出した測定値を用いて既存のCNTメトリクスを拡張し,純粋なトポロジカル解析からディープラーニングの解釈可能性へ移行する。
論文 参考訳（メタデータ） (2024-04-17T08:42:42Z) - Rethinking the Relationship between Recurrent and Non-Recurrent Neural Networks: A Study in Sparsity [0.0]
我々は、リカレントニューラルネットワーク(RNN)など、多くの一般的なニューラルネットワークモデルが反復写像として表現可能であることを示す。
RNNはチューリング完全であることが知られており、計算可能な関数を表現できる。
この視点は、NNの理論的側面と実践的側面の両方を照らすいくつかの洞察につながります。
論文 参考訳（メタデータ） (2024-04-01T03:18:42Z) - Transferability of coVariance Neural Networks and Application to
Interpretable Brain Age Prediction using Anatomical Features [119.45320143101381]
グラフ畳み込みネットワーク(GCN)は、トポロジー駆動のグラフ畳み込み演算を利用して、推論タスクのためにグラフをまたいだ情報を結合する。
我々は、共分散行列をグラフとして、共分散ニューラルネットワーク(VNN)の形でGCNを研究した。
VNNは、GCNからスケールフリーなデータ処理アーキテクチャを継承し、ここでは、共分散行列が極限オブジェクトに収束するデータセットに対して、VNNが性能の転送可能性を示すことを示す。
論文 参考訳（メタデータ） (2023-05-02T22:15:54Z) - Tensor Networks Meet Neural Networks: A Survey and Future Perspectives [27.878669143107885]
テンソルニューラルネットワーク(TNN)とニューラルネットワーク(NN)は2つの基本的なデータモデリングアプローチである。
TNは指数的な数の次元を複雑さに変換することによって、大規模テンソルの次元性の呪いを解決する。
NNは、コンピュータビジョン、自然言語処理、ロボット工学の研究など、様々な応用において優れたパフォーマンスを示している。
論文 参考訳（メタデータ） (2023-01-22T17:35:56Z) - Graph Neural Networks are Inherently Good Generalizers: Insights by
Bridging GNNs and MLPs [71.93227401463199]
本稿では、P(ropagational)MLPと呼ばれる中間モデルクラスを導入することにより、GNNの性能向上を本質的な能力に向ける。
PMLPは、トレーニングにおいてはるかに効率的でありながら、GNNと同等(あるいはそれ以上)に動作することを観察する。
論文 参考訳（メタデータ） (2022-12-18T08:17:32Z) - Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a
Polynomial Net Study [55.12108376616355]
NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。
本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。
我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
論文 参考訳（メタデータ） (2022-09-16T06:36:06Z) - Deep Neural Networks as Complex Networks [1.704936863091649]
我々は、重み付きグラフとしてディープニューラルネットワーク(DNN)を表現するために複雑ネットワーク理論を用いる。
我々は、DNNを動的システムとして研究するためのメトリクスを導入し、その粒度は、重みから神経細胞を含む層まで様々である。
我々の測定値が低性能ネットワークと高パフォーマンスネットワークを区別していることが示される。
論文 参考訳（メタデータ） (2022-09-12T16:26:04Z) - On Feature Learning in Neural Networks with Global Convergence
Guarantees [49.870593940818715]
勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。
入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。
また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
論文 参考訳（メタデータ） (2022-04-22T15:56:43Z) - Confidence Dimension for Deep Learning based on Hoeffding Inequality and
Relative Evaluation [44.393256948610016]
我々は,新しい信頼度次元(CD)の概念に基づいて,ディープニューラルネットワーク(DNN)の相対的一般化を測定し,ランク付けするために,複数の因子を用いることを提案する。
我々のCDは、全タスクにおいて完全精度のDNNとバイナリニューラルネットワーク(BNN)の両方に対して、一貫した信頼性のある測定値とランキングを得る。
論文 参考訳（メタデータ） (2022-03-17T04:43:43Z) - Exploiting Heterogeneity in Operational Neural Networks by Synaptic
Plasticity [87.32169414230822]
最近提案されたネットワークモデルであるオペレーショナルニューラルネットワーク(ONN)は、従来の畳み込みニューラルネットワーク(CNN)を一般化することができる。
本研究では, 生体ニューロンにおける本質的な学習理論を示すSynaptic Plasticityパラダイムに基づいて, ネットワークの隠蔽ニューロンに対する最強演算子集合の探索に焦点をあてる。
高難易度問題に対する実験結果から、神経細胞や層が少なくても、GISベースのONNよりも優れた学習性能が得られることが示された。
論文 参考訳（メタデータ） (2020-08-21T19:03:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。