論文の概要: Topological Data Analysis of Neural Network Layer Representations

• arxiv url: http://arxiv.org/abs/2208.06438v1
• Date: Fri, 1 Jul 2022 00:51:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-07 01:50:39.090212
• Title: Topological Data Analysis of Neural Network Layer Representations
• Title（参考訳）: ニューラルネットワーク層表現のトポロジ的データ解析
• Authors: Archie Shahidullah
• Abstract要約: 単純なフィードフォワードニューラルネットワークの、クラインボトルのようなねじれのある修正トーラスの層表現の位相的特徴を計算した。 結果として生じるノイズは、これらの特徴を計算するための永続的ホモロジーの能力を妨げた。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper is a cursory study on how topological features are preserved within the internal representations of neural network layers. Using techniques from topological data analysis, namely persistent homology, the topological features of a simple feedforward neural network's layer representations of a modified torus with a Klein bottle-like twist were computed. The network appeared to approximate homeomorphisms in early layers, before significantly changing the topology of the data in deeper layers. The resulting noise hampered the ability of persistent homology to compute these features, however similar topological features seemed to persist longer in a network with a bijective activation function.
• Abstract（参考訳）: 本稿では,ニューラルネットワーク層の内部表現においてトポロジ的特徴がどのように保存されているかを示す。 トポロジ的データ解析、すなわち永続ホモロジーの技法を用いて、クラインボトルのようなねじれを持つ修正トーラスの単純なフィードフォワードニューラルネットワークの層表現のトポロジ的特徴を計算した。 ネットワークは、より深い層でデータのトポロジーを大きく変える前に、初期の層で近似的な同相体のように見えた。 結果として生じるノイズは、これらの特徴を計算する永続的ホモロジーの能力を妨げるが、類似した位相的特徴は、単射活性化関数を持つネットワークにおいて長く持続するように見える。

関連論文リスト

• A rank decomposition for the topological classification of neural representations [0.0]
  この研究では、ニューラルネットワークが連続的なピースワイズアフィンマップと等価であるという事実を活用している。 多様体 $mathcalM$ と部分集合 $A$ の商のホモロジー群を研究し、これらの空間上のいくつかの極小性質を仮定する。 ランダムに狭いネットワークでは、データ多様体の(コ)ホモロジー群が変化する領域が存在することを示す。
  論文  参考訳（メタデータ） (2024-04-30T17:01:20Z)
• Topological Expressivity of ReLU Neural Networks [0.0]
  本稿では,2値分類問題の設定におけるReLUニューラルネットワークの表現性について,トポロジ的観点から検討する。 その結果、深部ReLUニューラルネットワークは、トポロジカル単純化の観点から、浅部よりも指数関数的に強力であることがわかった。
  論文  参考訳（メタデータ） (2023-10-17T10:28:00Z)
• Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
  神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。 単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。 これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
  論文  参考訳（メタデータ） (2023-07-20T13:34:11Z)
• Data Topology-Dependent Upper Bounds of Neural Network Widths [52.58441144171022]
  まず、3層ニューラルネットワークがコンパクトな集合上のインジケータ関数を近似するように設計可能であることを示す。 その後、これは単純複体へと拡張され、その位相構造に基づいて幅の上界が導かれる。 トポロジカルアプローチを用いて3層ReLUネットワークの普遍近似特性を証明した。
  論文  参考訳（メタデータ） (2023-05-25T14:17:15Z)
• Rethinking Persistent Homology for Visual Recognition [27.625893409863295]
  本稿では,様々な訓練シナリオにおける画像分類におけるトポロジ的特性の有効性を詳細に分析する。 例えば、小さなデータセット上で単純なネットワークをトレーニングするなど、トポロジ的特徴から最も恩恵を受けるシナリオを特定します。
  論文  参考訳（メタデータ） (2022-07-09T08:01:11Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Activation Landscapes as a Topological Summary of Neural Network Performance [0.0]
  我々は、ディープニューラルネットワーク(DNN)の連続層を通過するデータがどのように変換されるかを研究する。 ネットワークの各層におけるアクティベーションデータの永続的ホモロジーを計算し、その情報を永続的景観を用いて要約する。 得られた特徴マップは、ネットワークの視覚的情報化と、統計分析と機械学習のためのカーネルの両方を提供する。
  論文  参考訳（メタデータ） (2021-10-19T17:45:36Z)
• Localized Persistent Homologies for more Effective Deep Learning [60.78456721890412]
  ネットワークトレーニング中の位置を考慮に入れた新しいフィルタ機能を利用する手法を提案する。 この方法で訓練されたネットワークが抽出した曲線構造のトポロジを回復するのに役立つ道路の2次元画像と神経過程の3次元画像スタックを実験的に実証した。
  論文  参考訳（メタデータ） (2021-10-12T19:28:39Z)
• Going beyond p-convolutions to learn grayscale morphological operators [64.38361575778237]
  p-畳み込み層と同じ原理に基づく2つの新しい形態層を提示する。 本研究では, p-畳み込み層と同じ原理に基づく2つの新しい形態層を示す。
  論文  参考訳（メタデータ） (2021-02-19T17:22:16Z)
• Topological obstructions in neural networks learning [67.8848058842671]
  損失勾配関数フローのグローバル特性について検討する。 損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
  論文  参考訳（メタデータ） (2020-12-31T18:53:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。