論文の概要: Activation Landscapes as a Topological Summary of Neural Network Performance

• arxiv url: http://arxiv.org/abs/2110.10136v1
• Date: Tue, 19 Oct 2021 17:45:36 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-20 15:07:23.588396
• Title: Activation Landscapes as a Topological Summary of Neural Network Performance
• Title（参考訳）: ニューラルネットワーク性能のトポロジ的概要としての活性化景観
• Authors: Matthew Wheeler, Jose Bouza, Peter Bubenik
• Abstract要約: 我々は、ディープニューラルネットワーク(DNN)の連続層を通過するデータがどのように変換されるかを研究する。 ネットワークの各層におけるアクティベーションデータの永続的ホモロジーを計算し、その情報を永続的景観を用いて要約する。 得られた特徴マップは、ネットワークの視覚的情報化と、統計分析と機械学習のためのカーネルの両方を提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We use topological data analysis (TDA) to study how data transforms as it passes through successive layers of a deep neural network (DNN). We compute the persistent homology of the activation data for each layer of the network and summarize this information using persistence landscapes. The resulting feature map provides both an informative visual- ization of the network and a kernel for statistical analysis and machine learning. We observe that the topological complexity often increases with training and that the topological complexity does not decrease with each layer.
• Abstract（参考訳）: 我々は、トポロジカルデータ分析(TDA)を用いて、ディープニューラルネットワーク(DNN)の連続層を通過するデータがどのように変化するかを研究する。 ネットワークの各層におけるアクティベーションデータの永続的ホモロジーを計算し、その情報を永続的景観を用いて要約する。 得られた特徴マップは、ネットワークの視覚的情報化と、統計分析と機械学習のためのカーネルの両方を提供する。 トポロジカルな複雑性はしばしばトレーニングによって増大し、トポロジカルな複雑性は各層で減少しない。

関連論文リスト

• Deep neural networks architectures from the perspective of manifold learning [0.0]
  本稿では,ゲノメトリとトポロジの観点から,ニューラルネットワークアーキテクチャの包括的比較と記述を行う。 我々は、ニューラルネットワークの内部表現と、異なる層上のデータ多様体のトポロジーと幾何学の変化のダイナミクスに焦点を当てる。
  論文  参考訳（メタデータ） (2023-06-06T04:57:39Z)
• Persistence-based operators in machine learning [62.997667081978825]
  永続性に基づくニューラルネットワークレイヤのクラスを導入します。 永続化ベースのレイヤにより、ユーザは、データによって尊重される対称性に関する知識を容易に注入でき、学習可能なウェイトを備え、最先端のニューラルネットワークアーキテクチャで構成できる。
  論文  参考訳（メタデータ） (2022-12-28T18:03:41Z)
• Rethinking Persistent Homology for Visual Recognition [27.625893409863295]
  本稿では,様々な訓練シナリオにおける画像分類におけるトポロジ的特性の有効性を詳細に分析する。 例えば、小さなデータセット上で単純なネットワークをトレーニングするなど、トポロジ的特徴から最も恩恵を受けるシナリオを特定します。
  論文  参考訳（メタデータ） (2022-07-09T08:01:11Z)
• Topological Data Analysis of Neural Network Layer Representations [0.0]
  単純なフィードフォワードニューラルネットワークの、クラインボトルのようなねじれのある修正トーラスの層表現の位相的特徴を計算した。 結果として生じるノイズは、これらの特徴を計算するための永続的ホモロジーの能力を妨げた。
  論文  参考訳（メタデータ） (2022-07-01T00:51:19Z)
• Decomposing neural networks as mappings of correlation functions [57.52754806616669]
  本研究では,ディープフィードフォワードネットワークによって実装された確率分布のマッピングについて検討する。 ニューラルネットワークで使用できる異なる情報表現と同様に、データに不可欠な統計を識別する。
  論文  参考訳（メタデータ） (2022-02-10T09:30:31Z)
• PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning [109.84770951839289]
  歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。 本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-03-17T08:28:30Z)
• Topological obstructions in neural networks learning [67.8848058842671]
  損失勾配関数フローのグローバル特性について検討する。 損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
  論文  参考訳（メタデータ） (2020-12-31T18:53:25Z)
• Inter-layer Information Similarity Assessment of Deep Neural Networks Via Topological Similarity and Persistence Analysis of Data Neighbour Dynamics [93.4221402881609]
  ディープニューラルネットワーク(DNN)による情報構造の定量的解析により、DNNアーキテクチャの理論的性能に関する新たな知見が明らかにされる。 量的情報構造解析のためのLSとIDの戦略に着想を得て, 層間情報類似度評価のための2つの新しい補完手法を提案する。 本研究では,画像データを用いた深層畳み込みニューラルネットワークのアーキテクチャ解析を行い,その効果を実証する。
  論文  参考訳（メタデータ） (2020-12-07T15:34:58Z)
• Neural networks adapting to datasets: learning network size and topology [77.34726150561087]
  ニューラルネットワークは、勾配に基づくトレーニングの過程で、そのサイズとトポロジの両方を学習できるフレキシブルなセットアップを導入します。 結果として得られるネットワークは、特定の学習タスクとデータセットに合わせたグラフの構造を持つ。
  論文  参考訳（メタデータ） (2020-06-22T12:46:44Z)
• PLLay: Efficient Topological Layer based on Persistence Landscapes [24.222495922671442]
  PLLayは、永続化ランドスケープに基づいた一般的なディープラーニングモデルのための新しいトポロジ的レイヤである。 任意の濾過を伴う一般的な永続ホモロジーに対して、層入力に関する微分可能性を示す。
  論文  参考訳（メタデータ） (2020-02-07T13:34:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。