論文の概要: Inter-layer Information Similarity Assessment of Deep Neural Networks Via Topological Similarity and Persistence Analysis of Data Neighbour Dynamics

• arxiv url: http://arxiv.org/abs/2012.03793v1
• Date: Mon, 7 Dec 2020 15:34:58 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-16 21:40:04.255305
• Title: Inter-layer Information Similarity Assessment of Deep Neural Networks Via Topological Similarity and Persistence Analysis of Data Neighbour Dynamics
• Title（参考訳）: 深部ニューラルネットワークの層間情報相似性評価 : トポロジカル類似性とデータ近傍ダイナミクスの永続解析
• Authors: Andrew Hryniowski and Alexander Wong
• Abstract要約: ディープニューラルネットワーク(DNN)による情報構造の定量的解析により、DNNアーキテクチャの理論的性能に関する新たな知見が明らかにされる。 量的情報構造解析のためのLSとIDの戦略に着想を得て, 層間情報類似度評価のための2つの新しい補完手法を提案する。 本研究では,画像データを用いた深層畳み込みニューラルネットワークのアーキテクチャ解析を行い,その効果を実証する。
• 参考スコア（独自算出の注目度）: 93.4221402881609
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The quantitative analysis of information structure through a deep neural network (DNN) can unveil new insights into the theoretical performance of DNN architectures. Two very promising avenues of research towards quantitative information structure analysis are: 1) layer similarity (LS) strategies focused on the inter-layer feature similarity, and 2) intrinsic dimensionality (ID) strategies focused on layer-wise data dimensionality using pairwise information. Inspired by both LS and ID strategies for quantitative information structure analysis, we introduce two novel complimentary methods for inter-layer information similarity assessment premised on the interesting idea of studying a data sample's neighbourhood dynamics as it traverses through a DNN. More specifically, we introduce the concept of Nearest Neighbour Topological Similarity (NNTS) for quantifying the information topology similarity between layers of a DNN. Furthermore, we introduce the concept of Nearest Neighbour Topological Persistence (NNTP) for quantifying the inter-layer persistence of data neighbourhood relationships throughout a DNN. The proposed strategies facilitate the efficient inter-layer information similarity assessment by leveraging only local topological information, and we demonstrate their efficacy in this study by performing analysis on a deep convolutional neural network architecture on image data to study the insights that can be gained with respect to the theoretical performance of a DNN.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)による情報構造の定量的解析により、DNNアーキテクチャの理論的性能に関する新たな知見が明らかにされる。 定量的情報構造解析に向けた2つの非常に有望な研究は、1)層間特徴類似性に着目した層類似性(ls)戦略、2)層間情報を用いた層間データ次元性に着目した固有次元性(id)戦略である。 定量的情報構造解析のためのLSとIDの戦略に着想を得て,DNNを経由するデータサンプルの近傍のダイナミクスを研究する興味深いアイデアに基づく,層間情報類似性評価のための2つの新しい補完手法を提案する。 具体的には、DNNの層間の情報トポロジ的類似性を定量化するためのNearest Neighbour Topological similarity(NNTS)の概念を紹介する。 さらに、DNN全体のデータ近傍関係の層間永続性を定量化するためのNearest Neighbour Topological Persistence(NNTP)の概念を導入する。 提案手法は,局所的なトポロジカル情報のみを活用し,効率的な層間情報類似度評価を促進するとともに,画像データ上の深層畳み込みニューラルネットワークアーキテクチャの解析を行い,dnnの理論的性能に関する洞察を得ることにより,その効果を実証する。

関連論文リスト

• Deep Neural Networks via Complex Network Theory: a Perspective [3.1023851130450684]
  ディープニューラルネットワーク(DNN)は、リンクと頂点が反復的にデータを処理し、タスクを亜最適に解くグラフとして表現することができる。複雑なネットワーク理論(CNT)は、統計物理学とグラフ理論を融合させ、その重みとニューロン構造を分析してニューラルネットワークを解釈する方法を提供する。 本研究では,DNNのトレーニング分布から抽出した測定値を用いて既存のCNTメトリクスを拡張し,純粋なトポロジカル解析からディープラーニングの解釈可能性へ移行する。
  論文  参考訳（メタデータ） (2024-04-17T08:42:42Z)
• Topological Data Analysis for Neural Network Analysis: A Comprehensive Survey [35.29334376503123]
  このサーベイは、ニューラルネットワーク分析におけるトポロジカルデータ分析(TDA)の適用を包括的に調査する。 我々は、TDAを用いて、データとニューラルネットワークから位相情報を得るための様々な戦略について議論する。 深層学習の実践的意義を考察し、特に敵対的検出やモデル選択といった分野に焦点を当てる。
  論文  参考訳（メタデータ） (2023-12-10T09:50:57Z)
• Deep Learning-based Analysis of Basins of Attraction [49.812879456944984]
  本研究は,様々な力学系における盆地の複雑さと予測不可能性を特徴づけることの課題に対処する。 主な焦点は、この分野における畳み込みニューラルネットワーク(CNN)の効率性を示すことである。
  論文  参考訳（メタデータ） (2023-09-27T15:41:12Z)
• Deep neural networks architectures from the perspective of manifold learning [0.0]
  本稿では,ゲノメトリとトポロジの観点から,ニューラルネットワークアーキテクチャの包括的比較と記述を行う。 我々は、ニューラルネットワークの内部表現と、異なる層上のデータ多様体のトポロジーと幾何学の変化のダイナミクスに焦点を当てる。
  論文  参考訳（メタデータ） (2023-06-06T04:57:39Z)
• Experimental Observations of the Topology of Convolutional Neural Network Activations [2.4235626091331737]
  トポロジカル・データ解析は、複雑な構造のコンパクトでノイズ・ロバストな表現を提供する。 ディープニューラルネットワーク(DNN)は、モデルアーキテクチャによって定義された一連の変換に関連する数百万のパラメータを学習する。 本稿では,画像分類に使用される畳み込みニューラルネットワークの解釈可能性に関する知見を得る目的で,TDAの最先端技術を適用した。
  論文  参考訳（メタデータ） (2022-12-01T02:05:44Z)
• Knowledge Enhanced Neural Networks for relational domains [83.9217787335878]
  我々は、ニューラルネットワークに事前論理的知識を注入するニューラルネットワークアーキテクチャであるKENNに焦点を当てる。 本稿では,関係データに対するKENNの拡張を提案する。
  論文  参考訳（メタデータ） (2022-05-31T13:00:34Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• Activation Landscapes as a Topological Summary of Neural Network Performance [0.0]
  我々は、ディープニューラルネットワーク(DNN)の連続層を通過するデータがどのように変換されるかを研究する。 ネットワークの各層におけるアクティベーションデータの永続的ホモロジーを計算し、その情報を永続的景観を用いて要約する。 得られた特徴マップは、ネットワークの視覚的情報化と、統計分析と機械学習のためのカーネルの両方を提供する。
  論文  参考訳（メタデータ） (2021-10-19T17:45:36Z)
• Fusing the Old with the New: Learning Relative Camera Pose with Geometry-Guided Uncertainty [91.0564497403256]
  本稿では,ネットワークトレーニング中の2つの予測系間の確率的融合を含む新しい枠組みを提案する。 本ネットワークは,異なる対応間の強い相互作用を強制することにより学習を駆動する自己追跡グラフニューラルネットワークを特徴とする。 学習に適したモーションパーマリゼーションを提案し、難易度の高いDeMoNおよびScanNetデータセットで最新のパフォーマンスを達成できることを示します。
  論文  参考訳（メタデータ） (2021-04-16T17:59:06Z)
• PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning [109.84770951839289]
  歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。 本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-03-17T08:28:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。